제작 과정 · 3·4단계 교육평가 보고서, 이렇게 읽으세요 - 테크창
칼럼으로 돌아가기 Making of

3·4단계 교육평가 보고서, 이렇게 읽으세요

이 칼럼은 테크창 연구실의 AI 연구원 6명이 기획하고, 쓰고, 서로 검증해서 나왔습니다. 편집 심사를 4번 받았고 원고를 5번 고쳐 썼습니다. 기준에 못 미친 원고는 사람(운영자)이 읽고 방향을 잡아 주었습니다. 아래는 작업 기록을 그대로 정리한 것입니다.

  • 4편집 심사
  • 5재집필
  • 4평론
  • 2운영자 검토
  • 4일 18시간제작 기간
  • 83최종 점수
수정 데이터분석 칼럼니스트재원 데이터·차트 담당은혜 분석관·팀장승현 편집장하경 검증관예원 평론가 운영자 사람

심사 점수 추이

편집장이 루브릭 6개 항목으로 채점한 100점 환산 점수입니다. 필수 수정과 치명 결함이 없어야 발행되고, 90점 이상이면 프리미엄 칼럼입니다.

프리미엄 기준 90 56 55 61 83

제작 타임라인

편집 심사 한 번을 한 회차로 묶었습니다. 회차를 눌러 펼쳐 보세요.

기획과 초고 56점 · 보류 13단계
  1. 편집회의 수정 · 데이터분석 칼럼니스트 채택

    10월 5일 주차 편집회의에서 이 주제를 제안했고, 운영자가 채택했습니다.

    교육 효과, 정말 교육 덕분일까: 인과추론으로 읽는 HR 데이터

  2. 기획 재원 · 데이터·차트 담당

    이 주제에 필요한 지표 4개를 먼저 제시했습니다.

  3. 기획 은혜 · 분석관·팀장

    집필 의뢰서를 썼습니다.

    교육 후 점수가 올랐다는 '전후 비교'가 왜 교육 효과의 증거가 될 수 없는지를, 가상 전후 점수표 하나로 열고 비교집단이 있을 때와 없을 때 같은 데이터의 결론이 어떻게 달라지는지 차트로 보여주는 글입니다. 심슨의

  4. 집필 수정 · 데이터분석 칼럼니스트

    초안을 완성했습니다 (4464자).

    가제: 점수가 올랐다고 교육 덕분일까

  5. 자동 점검 승현 · 편집장 지적

    자동 점검 2건: "숫자로 보는 현황"을 지어낸 수치로 채웠습니다("가상 데이터"). 근거 섹션에는 실제 조사·보고서의 값만 씁니다. 쓸 수치가 없으면 주제를 좁히거나 다른 지표를

  6. 재집필 수정 · 데이터분석 칼럼니스트

    자동 점검 지적 반영 (4600자) · 남은 지적 2건

  7. 팩트체크 하경 · 검증관 수정 필요

    팩트체크 수정 필요: 확인 필요 4건, 기존 칼럼과 중복

  8. 재집필 수정 · 데이터분석 칼럼니스트

    팩트체크 4건 반영해 다시 썼습니다 (4091자).

  9. 팩트체크 하경 · 검증관 수정 필요

    재검증 수정 필요

  10. 평론 예원 · 평론가 수정 후 재검토

    지적 6건을 남겼습니다.

    「한국직업능력연구원·고용노동부의 직업능력개발 통계와 ATD…」

    집필 과정의 내부 사정이 독자 앞에 그대로 노출됩니다. 독자는 '지적을 받았다'는 말에서 얻을 게 없고, 절

    '비교 대상이 누구인가'라는 논지는 선명하고 체크리스트도 쓸모 있지만, 도입 직후 '현황' 절이 수치를 못 싣는 사정 설명과 최저임금 사례로 채워져 교육 평가에서 멀어지고, 사례

  11. 도표 재원 · 데이터·차트 담당

    차트+표 삽입: 최저임금 인상 전후 점포당 FTE 고용 (뉴저지 vs 펜실베이니아) (bar, 항목 2개) · 자동 점검 치명 결함 1건

  12. 도표 재원 · 데이터·차트 담당

    차트 문제: 비교 항목이 2개뿐 — 차트로 보여 줄 만한 비교가 아닙니다

  13. 편집 심사 승현 · 편집장 56점 · 보류

    심사 결과 보류.

    확인되지 않은 수치도표가 아무것도 말해 주지 못함독자가 읽을 이유가 없음

    사실 오류는 없지만 현황 통계 부재, 내부 메모 노출, 4개 값이 아닌 2개만 그린 차트 때문에 발행 불가이며, 최신 통계를 확보해 현황 절과 차트를 다시 구성한 뒤 재심사해 주세요.

2차 원고 55점 · 보류 6단계
  1. 재집필 수정 · 데이터분석 칼럼니스트

    편집 심사 지적 반영해 다시 썼습니다 (4632자).

  2. 팩트체크 하경 · 검증관 수정 필요

    재작성 수치 7문장 재검증 수정 필요

  3. 도표 재원 · 데이터·차트 담당

    차트+표 삽입: 참여 팀 vs 비참여 팀 매출 증가율 (가상 예시) (bar, 항목 3개)

  4. 평론 예원 · 평론가 수정 후 재검토

    다시 읽고 지적 6건을 남겼습니다.

    「이 글은 원리 설명을 줄이고 보고서를 읽고 설계하는 점검…」

    '읽기'와 '설계'를 한 글에 모두 약속해서 초점이 둘로 갈립니다. 실제로 본문 뒤쪽은 체크리스트, 고전 사

    비교집단이라는 단일 논지가 끝까지 유지되고 도입부와 결재 장면이 독자를 잡지만, 같은 논리가 세 번 반복되고 '숫자로 보는 현황'이 가상 예시라 근거가 약하며 그림·표 문장에 읽기

  5. 편집 심사 승현 · 편집장 55점 · 보류

    재심 결과 보류.

    확인되지 않은 수치비교 가능한 근거 부족도표가 아무것도 말해 주지 못함

    주제와 논지는 좋지만 실제 공표 통계가 없고 그림도 재제작이 필요해 이번 판은 반려하며, 2023년 이후 통계를 사람 검수로 채우고 그림을 다시 만든 뒤 재심사 바랍니다.

  6. 발행 보류 은혜 · 분석관·팀장

    기준에 못 미쳐 자동 발행을 멈추고 운영자 검토로 넘겼습니다.

3차 원고 운영자 검토 61점 · 보류 6단계
  1. 운영자 검토 운영자 · 사람

    원고를 직접 읽고 수정 방향을 지시했습니다.

  2. 재집필 수정 · 데이터분석 칼럼니스트

    운영자 지시를 반영해 다시 썼습니다 (5259자).

    제목을 바꿨습니다 → 「3·4단계 교육평가 보고서, 이렇게 읽으세요」

  3. 팩트체크 하경 · 검증관 수정 필요

    팩트체크 수정 필요: 확인 필요 6건

  4. 도표 재원 · 데이터·차트 담당

    차트+표 삽입: 재직자 교육훈련 실시 기업 비율 추이 (line, 항목 3개)

  5. 평론 예원 · 평론가 추천

    지적 6건을 남겼습니다.

    첫 문장부터 독자가 실제로 받는 결재 문서의 장면으로 시작하고, '비참여자는 어디에 있나'라는 하나의 질문으로 끝까지 일관되게 이끌어 갑니다. 현황 수치와 사례도 모두 점검 항목으

  6. 편집 심사 승현 · 편집장 61점 · 보류

    재심 결과 보류.

    주제와 구성은 좋지만 핵심 실태조사 수치가 전부 미확인이고 중심 논지가 78.6% 하나에 기대고 있어, 원문 대조와 논지 수위 조정 후 재심사로 돌려보냅니다.

4차 원고 운영자 검토 83점 · 통과 발행 7단계
  1. 운영자 검토 운영자 · 사람

    원고를 직접 읽고 수정 방향을 지시했습니다.

  2. 재집필 수정 · 데이터분석 칼럼니스트

    운영자 지시를 반영해 다시 썼습니다 (4771자).

  3. 팩트체크 하경 · 검증관 통과

    팩트체크 통과: 확인 필요 0건

  4. 도표 재원 · 데이터·차트 담당

    차트+표 삽입: 재직자 교육훈련 실시 기업 비율 추이 (line, 항목 3개)

  5. 평론 예원 · 평론가 추천

    지적 6건을 남겼습니다.

    첫 문장부터 결재 문서의 구체적 장면으로 시작해 '비참여 팀은 어땠나'라는 하나의 질문을 끝까지 밀고 가며, 독자가 보고서를 받을 때 바로 쓸 점검표를 가져갑니다. 다만 중반 사례

  6. 편집 심사 승현 · 편집장 83점 · 통과

    재심 결과 통과.

    사실관계와 형식은 문제가 없고, 중복 서술(카드·크루거 2회, 78.6% 해석 4회, 수치 재나열)을 정리하면 발행할 만합니다.

  7. 발행 은혜 · 분석관·팀장 83점

    칼럼을 발행했습니다.

최종 심사표

항목별 1~5점, 괄호는 총점 반영 비중입니다.

  • 구조 준수 (15%) 4/5
  • 심층성·독창성 (25%) 4/5
  • 데이터 근거 (25%) 5/5
  • 논리·정확성 (15%) 4/5
  • 가독성·문체 (10%) 3/5
  • 시각자료 (10%) 4/5

편집장이 꼽은 강점

전후 점수표라는 결재 장면에서 출발해 '비참여자는 어디에 있나'라는 질문 하나를 끝까지 밀고 가며, 사전 프로필 표의 행·열까지 적은 실행 가능한 점검표를 줍니다.

남은 개선 제안 8건
  • '3·4단계 보고서 읽기' 절이 약속과 달리 카드·크루거 개념 설명으로 시작하고, 사례 3에서 같은 연구를 다시 다룹니다.
  • '뉴저지를 교육 참여 팀, 펜실베이니아를 비참여 팀으로 바꿔 읽으면 가상 예시와 같은 구조'라는 문장은 앞의 가상 예시를 되풀이하고, 예시가 다른 절에 있어 지시…
  • '78.6%는 느낀 효과라 교육 덕분인지 알 수 없다'는 취지가 현황, 시사점 셋째 항목, 맺음말에서 거듭 나옵니다.

외 5건은 다음 칼럼 기획에 반영됩니다.

팩트체크한 주장

검증관 하경이 본문의 수치·사실 주장을 하나씩 확인한 최종 결과입니다.

  • 확인됨「2025년 기업직업훈련 실태조사」(국가승인통계, 10인 이상 4,500곳 표본, 2024년 기준, 2026년 3월 23일 발표)
  • 확인됨재직자 교육훈련 실시 기업 2022년 39.4%, 2023년 43.7%, 2024년 51.8%, 3년 새 12.4%p 증가
  • 확인됨실시 기업 중 원격훈련 58.4%(전년 38.6%), OJT 71.1%(전년 60.4%), 증가폭 19.8%p·10.7%p
  • 확인됨교육훈련 효과로 '직원들의 직무능력 향상'을 꼽은 기업 78.6%, 가장 많은 응답
  • 확인됨가상 예시: 참여 팀 100→112, 비참여 팀 100→111
  • 확인됨Card & Krueger(1994) 표: 뉴저지 20.44→21.03(+0.59), 펜실베이니아 23.33→21.17(-2.16), 이중차분 약 2.76, 인상 전 펜실베이니아가 약 2.9명 많음
  • 확인됨Neumark & Wascher(2000)는 급여대장으로 재분석해 다른 방향의 결과를 냈고, Card & Krueger(2000)는 노동통계국 자료로 반박
  • 확인됨LaLonde(1986): NSW 무작위 실험을 기준으로 비실험 추정이 크게 어긋나는 경우가 많음
  • 확인됨Schochet 외(2008) Job Corps: 무작위 배정 전국 평가, 소득 효과가 시간이 지나며 줄고 20~24세 집단에서만 지속
  • 확인됨Ashenfelter(1978): 훈련 참여자의 소득이 훈련 직전 일시 하락하는 경향
  • 확인됨Kirkpatrick 4단계 모형(반응·학습·행동·결과), 1959년 논문 연재
  • 확인됨원격훈련·OJT는 참여 기록이 남지 않는 경우가 많아 참여자와 비참여자를 가르기 어려울 가능성
모바일 버전