3·4단계 교육평가 보고서, 이렇게 읽으세요

결재 문서에 '교육 전 팀 성과 3.1점, 교육 후 3.6점'이라는 표 한 장이 올라왔는데, 같은 기간 평가제도가 바뀌었는지, 참여하지 않은 팀은 어땠는지는 어디에도 없습니다. 교육 효과 보고서를 받으면 이 세 가지부터 보십시오. 비교 대상이 적혀 있는지, 참여자가 어떻게 뽑혔는지, 같은 기간에 다른 일이 겹치지 않았는지입니다. 이중차분법의 개념은 기존 칼럼 「숫자 뒤에 숨은 맥락, 인과추론이 온다」에서 다루었으므로, 이 글은 원리 설명을 줄이고 보고서를 읽는 점검표를 차별점으로 삼습니다.

왜 지금인가

커크패트릭 4단계 모형(반응·학습·행동·결과)은 교육 평가의 표준 틀로 오래 쓰여 왔습니다. 1·2단계인 만족도와 사후 시험은 LMS에서 쉽게 뽑히지만, 3·4단계는 "교육이 없었어도 그랬을까?"라는 질문에 답해야 합니다. 참여자의 전후 변화에는 교육 효과뿐 아니라 시장 상황, 제도 변화, 자원자 특성이 함께 섞여 있기 때문입니다.

엑셀과 BI 도구로 인사 데이터를 바로 뽑을 수 있게 되면서 전후 비교표는 빠르고 그럴듯하게 만들어집니다. 표를 만드는 속도가 비교 대상을 따지는 속도보다 빨라지기 쉬운 환경입니다. 그래서 보고서를 받는 사람의 읽는 기준이 더 중요해졌습니다.

3·4단계 보고서의 핵심은 "교육 후에 얼마나 올랐는가"가 아니라 "교육을 받지 않은 비슷한 사람은 어땠는가"입니다.

숫자로 보는 현황

국내 현황은 고용노동부·한국산업인력공단의 「2025년 기업직업훈련 실태조사」(국가승인통계, 10인 이상 기업 4,500곳 표본, 2024년 기준, 2026년 3월 23일 발표)로 확인할 수 있습니다.

• 재직자 교육훈련을 실시한 기업은 2022년 39.4%, 2023년 43.7%, 2024년 51.8%였습니다.
• 교육훈련을 실시한 기업 중 원격훈련을 한 곳은 58.4%(전년 38.6%), 현장훈련(OJT)을 한 곳은 71.1%(전년 60.4%)였습니다.
• 교육훈련 효과로 '직원들의 직무능력 향상'을 꼽은 기업은 78.6%로, 가장 많은 응답이었습니다.

핵심은 78.6%의 성격입니다. 이 수치는 기업이 '느낀' 효과를 물은 응답이라 비교집단이 없습니다. 이 응답만으로는 교육 덕분인지 알 수 없으니, 교육이 3년 새 크게 늘어난 만큼(39.4%→51.8%) 보고서를 받으면 비교 대상부터 확인하자는 것이 이 글의 출발점입니다. 기업들이 효과를 잘못 판단한다는 뜻은 아닙니다. 이 응답이 효과를 확인한 방법까지 알려 주지는 않는다는 뜻입니다.

설명을 위한 가상 예시를 하나 들겠습니다. 참여 팀 매출 지수가 100에서 112로 올랐다면 크게 오른 것으로 읽힙니다. 그런데 비참여 팀도 100에서 111로 올랐다면 교육 몫으로 볼 수 있는 것은 두 변화의 차이뿐입니다.

그림 1. 재직자 교육훈련 실시 기업 비율 추이

재직자 교육훈련을 실시한 기업은 2022년 39.4%에서 2024년 51.8%로 3년 새 12.4%p 늘었습니다.

단위: %. 출처: 고용노동부·한국산업인력공단, 「2025년 기업직업훈련 실태조사」(2026년 3월 발표, 10인 이상 기업 4,500곳 표본).

3·4단계 보고서 읽기: 비교집단 체크리스트

개념 설명: 출발선이 달랐다는 사실

카드와 크루거(1994)는 최저임금을 올린 미국 뉴저지와 올리지 않은 이웃 펜실베이니아의 패스트푸드점 고용(점포당 평균 직원 수)을 인상 전후로 비교했습니다.

뉴저지만 보면 고용이 조금 늘었다는 데서 끝나지만, 이웃 주가 같은 기간 줄었다는 사실이 붙으면 해석이 달라집니다. 이 사례가 교육 평가에 주는 시사점은 두 가지입니다. 하나는 뉴저지를 '교육 참여 팀', 펜실베이니아를 '비참여 팀'으로 바꿔 읽으면 가상 예시와 같은 구조라는 점입니다. 다른 하나는 인상 전부터 펜실베이니아가 뉴저지보다 약 2.9명 많았다는 점입니다. 출발선이 다르면 사후 수준끼리 비교할 것이 아니라 변화끼리 비교해야 합니다.

보고서에서 먼저 볼 세 가지

첫째, 비교 대상이 적혀 있는지 봅니다. '참여자 평균이 12% 올랐다'는 문장 옆에 비참여자 수치가 없다면 그것은 효과가 아니라 변화입니다. 둘째, 참여자가 어떻게 선발되었는지 봅니다. 자율 신청제라면 학습 의욕이 높거나 업무 여유가 있는 사람이 먼저 지원하는 자기선택 편향이 들어 있을 가능성이 큽니다. 셋째, 같은 기간에 바뀐 다른 요인이 없었는지 봅니다. 평가제도 개편이나 조직 개편, 시장 호황이 겹쳤다면 4단계 성과는 교육 몫과 구분되지 않습니다.

비교 대상이 있다면 사전 프로필 비교표로 출발선을 확인합니다. 엑셀 하나로 충분합니다. 행에는 교육 전 성과, 직급, 근속, 부서, 상사 평가를 놓고, 열에는 참여자 평균, 비참여자 평균, 차이를 둡니다. 차이가 크면 교육 전부터 다른 집단이라는 뜻이므로 사후 격차를 교육 효과로 읽어서는 안 됩니다. 가능하면 교육 전 두세 시점의 지표를 선 그래프로 겹쳐 두 집단이 비슷한 방향으로 움직였는지 눈으로 확인하시기 바랍니다.

한계: 비교집단을 붙여도 남는 문제

비교집단이 있어도 해석을 유보해야 할 때가 있습니다. 직업훈련 평가에서는 참여자의 소득이 훈련 직전에 일시적으로 떨어지는 경향이 알려져 있어(Ashenfelter, 1978), 사전 시점을 어디로 잡느냐에 따라 효과가 부풀 수 있습니다. 상사의 지원이나 동기 같은 관측되지 않은 요인이 참여자의 성장을 따로 끌어올렸다면 이중차분 추정치도 과대해집니다. 그래서 결과는 '확정된 효과'가 아니라 '단순 비교보다 믿을 만한 추정치'로 보고하는 것이 정직합니다.

현장의 변화

실태조사가 보여 주는 현재의 변화는 "교육이 늘고 있다"입니다. 교육을 실시하는 기업이 3년 새 12.4%p 늘었고, 실시 기업 중 원격훈련은 19.8%p, 현장훈련(OJT)은 10.7%p 늘었습니다. 교육이 늘어나는 만큼 효과를 어떻게 확인하는지가 중요해집니다.

다만 이 조사는 기업이 효과를 어떤 방법으로 확인했는지는 묻지 않으므로, 평가가 교육 확대를 따라오는지는 이 조사만으로 알 수 없습니다. 원격훈련이나 업무 중 OJT는 누가 얼마나 받았는지 기록이 남지 않는 경우가 많아, 참여자와 비참여자를 가르기 어려울 가능성이 있습니다. 비교집단이 없는 평가가 늘 수 있는 조건이므로, 보고서를 읽는 사람의 점검이 한층 중요해졌습니다.

검증 설계의 기준이 된 사례

아래 사례는 1980년대~2000년대 후반 발표된 연구로, 현재 상황의 근거가 아니라 평가 설계를 판단하는 기준점으로 소개합니다. 사례마다 보고서 점검 항목을 하나씩 붙였습니다.

사례 1. 무작위 실험을 기준 삼은 검증 (LaLonde, 1986). 미국 직업훈련 실험 프로그램(NSW)은 지원자를 무작위로 나눈 보기 드문 설계였습니다. 랄론드는 이 결과를 기준으로 비실험 자료의 비교집단 추정이 얼마나 맞는지 따져 보았고, 크게 어긋나는 경우가 많다는 결과가 나왔습니다. 점검 항목: 비참여자 비교가 없는 결과는 의심하십시오. 비교가 있더라도 선발 방식이 다르면 크게 어긋날 수 있으니 선발 방식을 함께 확인하시기 바랍니다.

사례 2. 효과의 수명 (Job Corps, Schochet 외, 2008). 미국 청년 직업훈련 프로그램 Job Corps는 신청자를 무작위로 배정한 전국 단위 평가를 거쳤습니다. 훈련 이후 몇 해는 소득 효과가 나타났지만 시간이 지나며 대부분 줄었고, 20~24세 집단에서만 이후에도 이어졌습니다. 점검 항목: 효과가 몇 년 가는지 확인하십시오. 한 시점의 숫자 하나로는 알 수 없습니다.

사례 3. 같은 설계, 다른 자료 (Card & Krueger, 1994). 설계는 앞 절에서 설명했으므로 재분석 논쟁만 짚습니다. 노이마크와 바셔(2000)는 점포 급여대장으로 재분석해 다른 방향의 결과를 제시했고, 카드와 크루거(2000)는 노동통계국 자료로 반박했습니다. 지표를 어떻게 모으느냐에 따라 결론이 갈린 것입니다. 점검 항목: 도입 전 두 집단의 차이를 먼저 보십시오.

시사점: 우리가 갖춰야 할 것

• 보고서에서 비교집단부터 찾기. 3·4단계 표를 받으면 평균보다 먼저 비참여자 수치가 있는지 확인합니다. 없다면 그 사실을 보고서에 적고, 결과를 '효과'가 아니라 '변화'라고 부릅니다.
• 사전 프로필과 추세 확인하기. 참여자와 비참여자의 성과, 직급, 근속, 상사 평가를 나란히 놓고, 교육 전 두세 시점의 선 그래프가 비슷하게 움직였는지 봅니다. 격차가 크거나 추세가 다르면 단순 비교를 결론으로 쓰지 않는다는 기준을 미리 합의해 둡니다.
• 4단계 지표의 출처 보기. 설문 응답인지 인사·재무 기록인지 확인합니다. 자기보고만으로 쓴 결론은 '인식'으로 읽는 편이 안전합니다. 실태조사의 78.6%도 같은 방식으로, 기업이 느낀 효과를 묻는 문항으로 읽어야 합니다.
• 도입 설계로 편향 줄이기. 신청자가 정원보다 많다면 추첨으로 선발하고, 어렵다면 부서별 교육 시작 시점을 달리하는 단계적 도입을 제안해 보십시오. 아직 교육받지 않은 부서가 비교 후보가 됩니다. 다만 분석 방식은 전문가와 함께 정하시기 바랍니다.
• 결론의 수위를 근거에 맞추기. 비교집단이 있는 결과에도 "관측하지 못한 요인이 남아 있다"는 문장을 붙입니다. 교육과 동시에 다른 제도가 바뀌었다면 "효과가 있는 것으로 보이나 단정하기 어렵다"로 유보하는 편이 HRD 부서의 신뢰를 지킵니다.

맺음말

교육은 빠르게 늘고 있고, 기업 응답에서도 직무능력 향상이 가장 많이 꼽힙니다. 그러나 그 응답만으로는 교육 덕분인지 알 수 없습니다. 3·4단계 평가의 품질은 정교한 모형보다 '누구와 비교했는가'라는 기본 질문에서 갈립니다. 다음에 전후 점수표를 받으시면 평균을 보기 전에 "이 표에서 교육을 받지 않은 사람은 어디에 있나요?"라고 물어보시길 권합니다.

참고 자료

• 고용노동부·한국산업인력공단, 「2025년 기업직업훈련 실태조사」 (2026년 3월 발표)
• Kirkpatrick, D. L., 커크패트릭 4단계 교육 평가 모형 (1959년 논문 연재 및 이후 저서)
• Card, D. & Krueger, A. (1994), "Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania," American Economic Review
• Neumark, D. & Wascher, W. (2000), "Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania: Comment," American Economic Review
• Card, D. & Krueger, A. (2000), "Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania: Reply," American Economic Review
• LaLonde, R. (1986), "Evaluating the Econometric Evaluations of Training Programs with Experimental Data," American Economic Review
• Ashenfelter, O. (1978), "Estimating the Effect of Training Programs on Earnings," Review of Economics and Statistics
• Schochet, P., Burghardt, J. & McConnell, S. (2008), "Does Job Corps Work? Impact Findings from the National Job Corps Study," American Economic Review

테크창 연구팀 | 인천대학교 창의인재개발학과 전공심화연구모임