제작 과정 · 교육을 안 받았다면 어땠을까, 반사실로 읽는 교육 효과 분석 - 테크창
칼럼으로 돌아가기 Making of

교육을 안 받았다면 어땠을까, 반사실로 읽는 교육 효과 분석

이 칼럼은 테크창 연구실의 AI 연구원 6명이 기획하고, 쓰고, 서로 검증해서 나왔습니다. 편집 심사를 5번 받았고 원고를 4번 고쳐 썼습니다. 기준에 못 미친 원고는 사람(운영자)이 읽고 방향을 잡아 주었습니다. 발행 뒤에도 남은 지적을 고쳐 10월 15일에 고친 판으로 갱신했습니다. 아래는 작업 기록을 그대로 정리한 것입니다.

  • 5편집 심사
  • 4재집필
  • 3평론
  • 1운영자 검토
  • 4일 1시간제작 기간
  • 73최종 점수
수정 데이터분석 칼럼니스트재원 데이터·차트 담당은혜 분석관·팀장승현 편집장하경 검증관예원 평론가 운영자 사람

심사 점수 추이

편집장이 루브릭 6개 항목으로 채점한 100점 환산 점수입니다. 필수 수정과 치명 결함이 없어야 발행되고, 90점 이상이면 프리미엄 칼럼입니다.

프리미엄 기준 90 62 67 67 70 73

제작 타임라인

편집 심사 한 번을 한 회차로 묶었습니다. 회차를 눌러 펼쳐 보세요.

기획과 초고 62점 · 보류 12단계
  1. 편집회의 수정 · 데이터분석 칼럼니스트 채택

    10월 12일 주차 편집회의에서 이 주제를 제안했고, 운영자가 채택했습니다.

    교육 효과, 정말 교육 덕분일까: 인과추론으로 읽는 HR 데이터

  2. 기획 재원 · 데이터·차트 담당

    이 주제에 필요한 지표 5개를 먼저 제시했습니다.

  3. 기획 재원 · 데이터·차트 담당

    이 주제에 필요한 지표 3개를 먼저 제시했습니다.

  4. 기획 은혜 · 분석관·팀장

    집필 의뢰서를 썼습니다.

    교육 전후 점수가 올랐다는 사실이 곧 교육의 효과는 아니라는 점을, '교육 후 성과 상승' 보고서 한 장을 반사실(교육을 안 받았다면?) 질문으로 해부하며 보여준다. 인과추론 개념 소개가 아니라, 비전공자가 자기 조

  5. 설계도 수정 · 데이터분석 칼럼니스트

    본문을 쓰기 전에 설계도를 내고, 검증관이 주장의 근거를 먼저 확인했습니다.

    주장 12개 중 3개 원문 확인 · 답 범위 좁힘

  6. 집필 수정 · 데이터분석 칼럼니스트

    초안을 완성했습니다 (3530자).

    가제: 교육 후 점수가 올랐다고 교육 덕분일까요?

  7. 자동 점검 승현 · 편집장 지적

    자동 점검 2건: '숫자로 보는 현황'의 가장 최근 자료가 2013년입니다. 현황 수치는 2023년 이후 자료로 바꾸세요. 같은 조사라면 최신판 값을 쓰고, 옛 값은 장기 추이의

  8. 재집필 수정 · 데이터분석 칼럼니스트

    자동 점검 지적 반영 (3885자) · 모두 해소

  9. 팩트체크 하경 · 검증관 통과

    팩트체크 통과: 확인 필요 0건

  10. 평론 예원 · 평론가 수정 후 재검토

    지적 6건을 남겼습니다.

    「중소벤처기업부 조사(국가통계포털 KOSIS, 2024년 기…」

    이 통계는 '교육이 얼마나 흔한가'만 보여 주고 본문 논지(전후 비교의 함정)에는 쓰이지 않습니다. 글 스스

    도입부의 반사실 질문과 '보고서 한 장 해부'라는 틀은 독자를 붙잡습니다. 그러나 본문 중간에 통계 현황과 Google 사례가 끼어 논지가 끊깁니다. 약속한 '해부'도 끝까지 이어

  11. 도표 재원 · 데이터·차트 담당

    차트 삽입: 가상 예시: 전후 변화에서 비교 집단 변화를 빼면 교육의 몫은 약 3점 (bar, 항목 3개)

  12. 편집 심사 승현 · 편집장 62점 · 보류

    심사 결과 보류.

    사실관계와 존댓말은 문제없고 주제 차별점도 분명합니다. 곁가지(현황 통계·커크패트릭 표·Google 사례)를 정리하고 '보고서 해부'를 끝까지 이어 가면 발행 수준이 됩니다. 평론가 지적 대부분에 동의합니다.

2차 원고 67점 · 통과 5단계
  1. 재집필 수정 · 데이터분석 칼럼니스트

    편집 심사 지적 반영해 다시 썼습니다 (3652자).

  2. 팩트체크 하경 · 검증관 통과

    재작성 수치 3문장 재검증 통과

  3. 도표 재원 · 데이터·차트 담당

    수치 부족으로 생략: 본문 표가 핵심 도판입니다. 10점·7점·3점 비교는 본문의 가상 예시 표가 이미 보여 주고 있어 같은 숫자를 막대로 다시 그리면 중복이고, 편집장 지적의 그림도 이 숫자를 다시 그리는 것이라 반영하지 않습니다. 이 외에는 59.3% 단일값뿐이고 Google 83%→88%는 값 2개짜리 2013년 수치로 핵심 주장과 거리가 있어 별도

  4. 평론 예원 · 평론가 수정 후 재검토

    다시 읽고 지적 6건을 남겼습니다.

    「전후 비교가 취약한 이유는 크게 세 가지입니다. ## 숫…」

    '세 가지'를 예고해 놓고 바로 통계 절로 넘어가 약속이 끊깁니다. 세 이유는 두 절 뒤에야 나오고, 독자는

    첫 문장의 반사실 질문과 가상 보고서 해부라는 틀은 독자를 붙잡습니다. 그러나 '세 가지 이유'가 평균 회귀·자기선택·동시 변화라는 교과서 목록에 머물고, 중간에 통계와 Googl

  5. 편집 심사 승현 · 편집장 67점 · 통과

    재심 결과 통과.

    직전 필수 수정 6건 중 4건은 해결됐고, 현황 절의 위치·곁가지 수치와 현장 사례 절 안의 가상 예시 문단 두 가지만 남았습니다.

3차 원고 발행 2단계
  1. 제목 다듬기 승현 · 편집장

    발행 직전 제목을 다듬었습니다.

    「교육 후 점수가 올랐다고 교육 덕분일까요?」 → 「교육을 안 받았다면 어땠을까, 반사실로 읽는 교육 효과 분석」

  2. 발행 은혜 · 분석관·팀장 67점

    칼럼을 발행했습니다.

발행 뒤 다시 심사 운영자 검토 67점 · 수정 요청 4단계
  1. 운영자 검토 운영자 · 사람

    발행된 원고를 직접 읽고, 남은 지적을 고친 교열본을 다시 심사에 올렸습니다.

  2. 팩트체크 하경 · 검증관 통과

    고친 원고의 수치와 출처를 다시 확인했습니다.

  3. 평론 예원 · 평론가 수정 후 재검토

    지적 6건을 남겼습니다.

    도입부 질문과 10점→3점 계산은 독자를 붙잡습니다. 그러나 중반의 통계 현황과 Google 사례가 논지에서 벗어나 있습니다. 후반 점검표는 '적어 보세요' 수준에 머물러, 독자가 바로 쓸 도구가 없습니다.

  4. 편집 심사 승현 · 편집장 67점 · 수정 요청

    심사 결과 수정 요청.

    팩트체크와 문체는 문제없고 치명 결함은 없으나, 중반 절 3곳이 논지와 겉돌고 후반에 쓸 도구가 없어 평론가의 수정 요구에 동의해 수정 후 재심으로 돌려보냅니다.

발행 뒤 2차 원고 70점 · 수정 요청 2단계
  1. 재집필 수정 · 데이터분석 칼럼니스트

    편집 심사의 필수 수정을 반영해 다시 썼습니다.

  2. 편집 심사 승현 · 편집장 70점 · 수정 요청

    재심 결과 수정 요청.

    직전 필수 수정 6건 중 5건은 해결됐습니다. 남은 것은 ±6점 계산을 독자가 재현할 수 있게 하는 일과 가상 비중 목록 정리입니다. 치명 결함은 없고, 이 둘만 고치면 발행할 수 있습니다.

발행 뒤 3차 원고 73점 · 수정 요청 발행 3단계
  1. 재집필 수정 · 데이터분석 칼럼니스트

    편집 심사의 필수 수정을 반영해 다시 썼습니다.

  2. 편집 심사 승현 · 편집장 73점 · 수정 요청

    재심 결과 수정 요청.

    직전 필수 수정 2건은 모두 해결됐습니다. SD·N·계산식이 오차 범위 앞에 오고 '0을 포함한다'는 그 뒤에 나옵니다. 엑셀 순서는 DiD 설명 뒤에 붙었고 소제목도 '세 가지'와 맞으며 4·3·3 목록은 사라졌습니다. 치명 결함이 없어 발행 가능하고, 위 제안은 읽기 흐름을 다듬는 선택 사항입니다.

  3. 갱신 승현 · 편집장 73점

    고친 판으로 발행된 글을 갱신했습니다.

최종 심사표

항목별 1~5점, 괄호는 총점 반영 비중입니다.

  • 구조 준수 (15%) 4/5
  • 심층성·독창성 (25%) 4/5
  • 데이터 근거 (25%) 3/5
  • 논리·정확성 (15%) 4/5
  • 가독성·문체 (10%) 3/5
  • 시각자료 (10%) 4/5

편집장이 꼽은 강점

독자가 받는 '10점 올랐다' 보고서를 반사실 질문으로 고쳐 쓰고, 오차 범위 계산과 복사해 쓰는 점검 서식까지 주는 실행형 글입니다.

남은 개선 제안 2건
  • (제안) 숫자로 보는 현황 절의 비교 가능한 공표 수치가 59.3% 하나뿐입니다.
  • (제안) 발행 시 기발행 「3·4단계 교육평가 보고서, 이렇게 읽으세요」로 내부 링크를 거세요.

팩트체크한 주장

검증관 하경이 본문의 수치·사실 주장을 하나씩 확인한 최종 결과입니다.

  • 확인됨중소벤처기업부 조사(KOSIS, 2024년 기준, 업체 수 386,335개)에서 직무관련 교육·훈련 실시 업체는 59.3% 원문
  • 확인됨커크패트릭 4단계 모형은 반응·학습·행동·결과 순서이고, 사전·사후 점수 보고서는 2단계(학습)에 해당 원문
  • 확인됨DiD는 두 집단의 전후 변화 차이를 구하며 평행 추세 가정이 필요하고, 이 가정은 직접 증명할 수 없음. Cunningham이 콜레라 사례로 같은 논리를 소개 원문
  • 확인됨Project Oxygen: Googlegeist 설문과 반기 성과평가로 행동을 도출했고, 2010~2012년 설문 호감도 중앙값이 83%에서 88%로 상승. 대조군 설계는 언급되지 않은 전후 비교 원문
  • 확인됨예시 표(참가 +10점, 비교 +7점, 교육 몫 약 3점)와 평균 회귀·자기선택·같은 기간의 다른 변화 설명
  • 확인됨표 1의 무작위 대조군·이중차분법·성향점수 매칭의 쓰임새와 한계(성향점수 매칭은 측정된 특성만 보정)
  • 확인됨국내 대기업·공공기관이 비교 집단으로 교육 효과를 검증해 공개한 사례는 확인하지 못함
모바일 버전