교육을 안 받았다면 어땠을까, 반사실로 읽는 교육 효과 분석

교육 후 평균 점수가 올랐다는 보고서를 받으셨다면, 가장 먼저 물어야 할 것은 "점수가 올랐는가"가 아니라 "교육을 받지 않았다면 어땠을까"입니다. 이 질문을 반사실 질문이라 부릅니다. 보고서 한 장을 이 질문으로 따라가 보면, 점수 10점 가운데 교육의 몫이 얼마인지 묻는 법이 보입니다.

왜 지금인가

교육 담당자가 받는 요구는 "교육을 했다"에서 "교육이 성과를 바꿨다는 증거를 보이라"로 옮겨 가고 있습니다. 문제는 가장 흔한 증거가 사전·사후 점수 비교라는 점입니다. 아래 보고서 한 장을 보겠습니다. 모두 설명을 위한 가상 예시입니다.

신임 팀장 리더십 교육 참가자 평균 점수가 사전 대비 사후에 10점 올랐습니다. 교육이 효과적이었습니다.

이 문장은 틀리지 않았을 수 있지만, 근거가 부족합니다. 참가자가 교육을 받지 않았더라도 점수가 올랐을 가능성을 배제하지 못하기 때문입니다.

숫자로 보는 현황

중소벤처기업부 조사(KOSIS, 2024년 기준, 업체 수 386,335개)에서 직무관련 교육·훈련 실시 업체는 59.3%이지만, 이 통계로는 효과를 비교 집단으로 검증했는지 알 수 없습니다. 논지와 직결되는 통계는 이번 글에서 확인하지 못했습니다. 커크패트릭 4단계 모형(반응·학습·행동·결과)으로 보면 위 보고서는 2단계, 곧 학습 점수 보고서이며, 이 점수가 오르는 이유는 교육 말고도 세 가지가 있습니다.

커크패트릭 모형의 단계 구분은 Training Industry의 정리를 따랐습니다.

점수가 오르는 세 가지 다른 이유

평균 회귀: 바닥은 올라오기 마련입니다

사전 점수가 유난히 낮아서 교육 대상으로 뽑힌 팀장들은 교육이 없어도 다음 측정에서 평균 쪽으로 돌아오기 쉽습니다. 시험 당일 컨디션이 나빴던 사람이 다음에는 평소 실력대로 나오는 것과 같습니다. 성과 부진자를 골라 교육한 뒤 "크게 올랐다"고 보고하는 경우가 전형적입니다.

자기선택: 의욕 높은 사람이 신청합니다

교육을 희망자 신청제로 모았다면, 참가자는 처음부터 성장 의지가 강한 팀장들일 수 있습니다. 이들은 교육이 없어도 더 빨리 성장했을 수 있습니다. 이 경우 교육 효과와 '의욕'의 효과가 한 덩어리로 뭉쳐 보입니다.

같은 기간의 다른 변화

교육 기간에 새 평가 제도가 도입되거나, 팀 개편이 있었거나, 업무 시간이 늘었다면 이 모두가 사후 점수에 영향을 줍니다. 시간이 지나며 자연스럽게 숙련되는 효과도 있습니다. 전후 비교는 이런 요인을 전혀 걸러 내지 못합니다.

이 보고서에 적용하면

앞의 가상 보고서에 대입해 보겠습니다. 요인별로 점수가 어느 쪽으로 틀어지는지만 짚습니다.

• 성과가 낮아 지정된 팀장들이라면: 평균 회귀 때문에 교육 효과가 실제보다 크게 읽힙니다.
• 희망자 신청제라면: 자기선택 때문에 교육 효과가 실제보다 크게 읽힙니다.
• 같은 기간의 다른 변화: 제도나 업무량 변화가 사후 점수를 교육과 무관하게 움직입니다.

어느 요인이 큰지는 신청 방식을 확인해야 판단할 수 있고, 교육의 몫이 얼마인지는 다음 절의 비교 집단으로 가늠합니다.

어떤 비교 집단이 필요한가: 대조군, DiD, 성향점수 매칭

'교육 덕분'이라고 말하려면 교육을 받지 않은 비교 집단이 필요합니다. 가상 예시로 돌아가 보겠습니다. 참가자가 10점 올랐을 때 비슷한 비교 집단이 같은 기간에 7점 올랐다면, 교육의 몫은 약 3점으로 줄어듭니다. 나머지 7점은 시간 경과나 환경 변화로 설명될 수 있습니다. 다만 표본이 작으면 이 3점도 우연한 변동일 수 있으니, 확정된 효과가 아니라 추정치로 읽으셔야 합니다.

이 3점이 우연한 변동인지 가늠해 보겠습니다. 가상 조건으로 각 집단 30명, 사람별 변화량의 표준편차를 12점이라 하면, 95% 오차 범위는 엑셀에서 =1.96*SQRT(12^2/30+12^2/30)로 계산하며 약 ±6점입니다. 따라서 차이는 3±6점, 곧 구간이 약 -3~9점입니다. 이 구간은 0을 포함하므로 이 3점만으로 효과가 있다고 말하기 어렵습니다.

표 1. 비교 설계별 쓰임새와 핵심 가정

출처: 방법별 개념은 Cunningham, Causal Inference: The Mixtape(DiD 장) 등의 일반적 설명을 바탕으로 필자가 정리했습니다.

비교 집단이 없을 때는 다음 순서로 고르시기 바랍니다. 먼저 대기자 명단처럼 순서를 추첨으로 정할 수 있으면 추첨으로 나눕니다. 추첨이 어렵다면 교육받지 않은 집단의 전후 자료를 구해 DiD를 씁니다. 전후 자료조차 없는 비교 대상뿐이라면, 마지막으로 비슷한 특성의 비참가자를 찾는 성향점수 매칭을 쓰되 측정하지 못한 요인은 남는다는 한계를 적습니다.

DiD가 하는 일은 단순합니다. 교육받은 집단의 전후 변화에서 비교 집단의 전후 변화를 뺍니다. 예를 들어 같은 해 A지사에서만 신임 팀장 교육을 했고 B지사는 하지 않았다고 해 보겠습니다. A지사 점수의 전후 변화에서 B지사 점수의 전후 변화를 빼면 교육의 몫이 남습니다. 이 계산이 맞으려면 교육이 없었다면 A지사도 B지사와 같은 폭으로 올랐을 것이라는 평행 추세 가정이 필요합니다. 이 가정은 관측으로 직접 증명할 수 없습니다. 교육 전 여러 시점의 추세가 두 집단에서 비슷했는지 보는 것은 가정이 그럴듯한지 점검하는 보조 수단일 뿐입니다. 비슷하게 움직였다고 해서 가정이 증명되지는 않습니다.

엑셀로 계산하는 순서는 다음과 같으며, 이 계산이 DiD입니다. ① 사람별 변화량(사후-사전) 열을 만듭니다. ② 집단별로 AVERAGE, STDEV.S, COUNT를 구합니다. ③ 참가 집단 평균 변화에서 비교 집단 평균 변화를 빼 차이를 구하고, 오차는 =1.96*SQRT(참가SD^2/참가N+비교SD^2/비교N)로 계산해 ±로 붙입니다.

현장 사례: 신임 팀장 보고서를 고쳐 쓰면

앞의 보고서를 비교 집단을 넣어 고쳐 쓰면 다음과 같습니다. 수치는 모두 가상입니다.

수정 전: 신임 팀장 리더십 교육 참가자 평균 점수가 사전 대비 사후에 10점 올랐습니다. 교육이 효과적이었습니다.

수정 후: 희망자 신청으로 모인 신임 팀장 30명의 평균 점수가 60점에서 70점으로 10점 올랐습니다. 같은 기간 교육을 받지 않은 비슷한 직급 30명은 7점 올랐습니다. 차이는 3점이고 95% 오차 범위는 ±6점 안팎이어서 0을 포함하므로, 교육 효과를 단정하기 어렵습니다. 신청제여서 자기선택이 섞였을 수 있습니다.

참고로 Google의 Project Oxygen(HBR, Garvin 2013)은 설문과 성과평가로 우수 관리자의 행동을 도출한 사례이며, 보고된 개선(호감도 중앙값 2010~2012년 83%→88%)은 대조군이 언급되지 않은 전후 비교였습니다.

국내 대기업·공공기관이 비교 집단을 두고 교육 효과를 검증해 공개한 사례는 이번 글에서 확인하지 못했습니다. 잘 알려진 사례조차 전후 비교에 머문다는 점이, 이 글이 비교 집단을 강조하는 이유입니다.

시사점: 우리가 갖춰야 할 것

다음 네 가지는 엑셀과 기초 통계 수준에서 오늘 점검할 수 있는 항목이며, 아래 서식으로 보고서에 붙여 쓰실 수 있습니다.

• 비교 대상이 있는가. 교육을 받지 않은 비슷한 사람들의 같은 기간 점수를 구해 보세요. 참가자 변화에서 그 변화를 빼는 계산만으로도 보고서의 시야가 달라집니다.
• 어떻게 신청했는가. 희망자 신청인지, 성과가 낮아 지정된 것인지 확인하세요. 신청 방식에 따라 자기선택이나 평균 회귀의 위험이 달라집니다.
• 교육 외에 무엇이 바뀌었는가. 같은 기간의 제도 변경, 인사이동, 업무량 변화를 목록으로 적어 보세요. 목록이 길수록 전후 차이를 교육 몫으로 돌리기 어렵습니다. 점수(2단계)보다 행동(3단계)이나 결과(4단계)를 보고할수록 상사 교체, 시장 상황 같은 요인이 더 많이 섞인다는 점도 필자 해석으로 함께 적어 두세요.
• 교육 전 추세는 어땠는가. 교육 이전 여러 시점의 점수를 두 집단에서 비교해 비슷하게 움직였는지 그래프로 보세요. 앞서 말했듯 가정의 증명이 아니라 점검입니다.

복사해 쓰는 서식입니다.

[평가 설계 점검]
1. 비교 집단: □ 있음(구성: _, N=_) □ 없음 → 한계: "비교 집단이 없어 시간 경과 효과를 분리하지 못했습니다."
2. 참가 방식: □ 희망자 신청 □ 성과 기준 지정 → 위험: □ 자기선택 □ 평균 회귀
3. 같은 기간 변화: (제도, 인사이동, 업무량)
4. 교육 전 추세: □ 확인함(비슷함/다름) □ 자료 없음
결론 문안: "참가자 점수는 __점, 비교 집단은 __점 올라 차이는 __점(±)이며, 위 이유로 교육만의 효과로 보기는 어렵습니다."

맺음말

완벽한 설계가 없어도 보고서는 개선할 수 있습니다. 대조군을 만들기 어렵고 표본이 작은 현장이 많지만, 그럴수록 "비교 집단이 없다", "신청제여서 선택 편향이 있을 수 있다"처럼 한계를 보고서에 밝히는 것이 필요합니다. 불확실성을 숨기지 않고 쓰면 '교육 덕분'이라는 단정 대신 '교육과 함께 이 정도가 달라졌고 이런 이유로 교육만의 효과로 보기는 어렵다'라고 말할 수 있습니다. 이번 주에 받는 교육 보고서에 위 서식의 네 항목을 채워 붙여 보시기 바랍니다.

참고 자료

• 중소벤처기업부, 「직무관련 교육·훈련 실시여부 및 형태(중복응답)」, 국가통계포털(KOSIS), 2024년 기준 (https://kosis.kr/statHtml/statHtml.do?orgId=142&tblId=DT_G26040)
• Training Industry, 「The Kirkpatrick Model」 (https://trainingindustry.com/wiki/evaluation/the-kirkpatrick-model/)
• Scott Cunningham, 『Causal Inference: The Mixtape』 Difference-in-Differences 장 (https://mixtape.scunning.com/09-difference_in_differences)
• David A. Garvin, 「How Google Sold Its Engineers on Management」, Harvard Business Review, 2013 (https://hbr.org/2013/12/how-google-sold-its-engineers-on-management)

테크창 연구팀