테이블 너머의 진실, 데이터 공정성 감사

어떤 채용 알고리즘이 특정 대학 출신을 체계적으로 낮게 평가하고 있다면, 그 사실을 조직은 얼마나 빨리 알아챌 수 있을까요? 답은 모델의 성능보다, 집단별 결과를 들여다볼 데이터와 지표를 미리 갖춰 두었는지에 달려 있습니다. 데이터 공정성 감사(Algorithmic Fairness Auditing)는 AI와 데이터 분석 모델이 특정 집단에 불균형한 결과를 만들어 내는지를 체계적으로 점검하는 프로세스입니다. 이 글은 정확한 소요 시간을 제시하지는 않고, 탐지가 늦어지는 지점을 결과 데이터 수집, 속성 확보, 점검 주기, 책임자의 네 단계로 나누어 짚습니다. 규제 일정은 표 한 곳에서 정리합니다.

왜 지금인가

공정성 논의는 오랫동안 윤리 담론에 머물렀지만, 이제는 법과 계약 조항으로 옮겨 가고 있습니다. 미국 뉴욕시는 채용·승진에 쓰는 자동 의사결정 도구(AEDT)에 편향 감사를 요구하는 Local Law 144(LL144)를 두고 있고, 이미 단속 단계에 들어갔습니다. EU의 AI Act(Regulation (EU) 2024/1689)는 채용·신용평가 같은 영역의 AI를 고위험 시스템으로 분류하고, 학습·검증·시험 데이터에 대한 거버넌스를 요구합니다.

제도별 적용 시점은 아래 표 1에서 정리하고, 이후 실무에서 집단별 격차를 어떻게 확인하는지를 다룹니다.

숫자로 보는 현황

공정성 감사는 공표 통계보다 제도 문서가 근거가 되는 주제입니다. 그래서 공식 문서에 적힌 내용을 표로 옮겼고, 어떤 제도를 비교 대상으로 고를지는 필자 기준입니다. 과태료는 모두 상한이며, EU 규정의 금액은 "둘 중 높은 금액"을 뜻합니다.

표 1. 공정성 감사 관련 규제 일정 비교

표에서 먼저 보이는 것은 시차입니다. 흔히 "EU가 2025년 8월부터 고위험 AI에 편향 검토를 의무화했다"고 알려져 있지만 정확하지 않습니다. 2025년 8월에 시작된 것은 범용 AI(GPAI) 모델 제공자의 의무이고, 채용 AI가 속한 고위험 의무는 별도 일정으로 미뤄졌습니다. 뉴욕시는 2023년부터 단속하고 있지만, EU에서 채용 AI가 속한 Annex III의 의무는 2026년 8월 2일에서 2027년 12월 2일로 약 16개월(두 날짜의 차이) 미뤄졌습니다. 해설 자료에 따르면 이 조정은 2026년 7월 발효한 Digital Omnibus(Regulation (EU) 2026/1744)에 따른 것이고, 고위험 의무의 핵심 요건은 유지된 채 시점만 늦춰졌습니다. 다만 중소기업(SME)은 과태료가 둘 중 낮은 금액으로 제한되는 등 적용 방식이 다를 수 있습니다. 유예가 곧 준비를 미뤄도 된다는 뜻은 아닙니다. 제10조의 데이터 거버넌스는 모델을 다 만든 뒤가 아니라 데이터를 모으고 가공하는 단계에서 설계해야 하는 항목이기 때문입니다.

편향은 어디서 생기고 공정성은 어떻게 정의하나

편향이 생기는 세 지점

공정성 감사는 크게 세 단계를 살펴봅니다. 첫째, 데이터 편향입니다. 과거의 불균형한 채용 기록이 그대로 학습에 쓰이면 모델은 과거의 불평등을 미래의 기준으로 학습합니다. 합격자만 남은 데이터에서 "합격자의 특징"을 배우는 생존자 편향이 대표적입니다. 둘째, 알고리즘 편향입니다. 최적화 목표가 "과거 채용 결정과 비슷하게 맞히기"로 잡혀 있다면, 과거의 편향이 높은 정확도로 재현됩니다. 셋째, 해석 편향입니다. 같은 선택률 격차를 보고도 한 사람은 "문제"로, 다른 사람은 "직무 적합도 차이"로 읽을 수 있습니다.

공정성 기준은 누가 정하는가

'공정성'에는 여러 정의가 있습니다. 집단 공정성은 성별·연령·학력 같은 집단 간 결과의 통계적 균형을 요구하고, 개인 공정성은 비슷한 조건의 개인은 비슷한 결과를 받아야 한다고 봅니다. 집단 공정성 안에서도 기준이 갈립니다. 기저율이 집단별로 다르고 예측이 완벽하지 않으면 보정(calibration)이나 오류율 균형 같은 여러 집단 공정성 기준을 동시에 만족시킬 수 없다는 것이 Kleinberg 외(2016)와 Chouldechova(2017)의 결과입니다. 그렇다면 어떤 기준을 택할지는 수학이 아니라 조직이 내려야 할 결정입니다. 기술자 혼자가 아니라 HR·법무·경영진이 함께 정해야 하는 이유입니다.

실무 도구: Fairlearn으로 집단별 격차 보기

IBM 연구진이 공개한 AI Fairness 360, 커뮤니티 주도 오픈소스인 Fairlearn, Google의 What-If Tool은 모두 공개된 점검 도구입니다. 이 중 Fairlearn은 비전공자가 시작하기에 구조가 단순합니다. MetricFrame은 성별·학력 같은 민감 속성별로 지표를 나누어 보여 주고, demographic_parity_difference는 집단별 선택률의 최대값과 최소값의 차이를 계산합니다. 값이 0이면 모든 집단의 선택률이 같다는 뜻입니다. 도입의 대학 출신 시나리오를 이어받아, 아래 가상 지원자 20명으로 직접 계산해 보겠습니다. 실제 데이터가 아니라 설명을 위해 만든 가상 데이터입니다. 합격은 1, 불합격은 0이며, 'X대'가 도입에서 말한 특정 대학 출신 집단이라고 가정합니다.

import pandas as pd
from fairlearn.metrics import (MetricFrame, selection_rate,
    demographic_parity_difference, demographic_parity_ratio)

univ = ["기타"] * 10 + ["X대"] * 10
pred = [1,1,1,0,0,0,0,0,0,0] + [1,1,0,0,0,0,0,0,0,0]

mf = MetricFrame(metrics=selection_rate, y_true=pred, y_pred=pred, sensitive_features=univ)
print(mf.by_group)
print("차이:", round(demographic_parity_difference(pred, pred, sensitive_features=univ), 2))
print("비율:", round(demographic_parity_ratio(pred, pred, sensitive_features=univ), 2))

선택률만 보는 지표라 y_true 자리에도 같은 값을 넣었습니다. 위 표의 합격 값을 그대로 입력하면 출력은 다음과 같습니다. (코드의 첫 줄 univ는 위 표의 '대학 집단' 열입니다.)

sensitive_feature_0
X대    0.2
기타    0.3
Name: selection_rate, dtype: float64
차이: 0.1
비율: 0.67

같은 출력이 두 가지로 읽힙니다. 차이 0.10은 "합격률이 10%포인트 낮다"는 절대 격차입니다. 0이 아니라는 신호이지만, 이것만으로 크다 작다를 말하기는 어렵습니다. 비율 0.67은 X대 합격률이 가장 높은 집단의 3분의 2 수준이라는 상대 격차이고, 미국 고용 실무의 4/5(0.8) 규칙을 기준으로 삼으면 기준 아래로 내려갑니다. 즉 차이만 보면 "10%포인트"로 가볍게 느껴질 수 있지만 비율로 보면 점검 대상입니다. 표본이 10명씩이라 우연일 가능성도 큽니다. 두 지표 모두 '문제 있음'의 확정이 아니라 '들여다볼 신호'로 읽어야 합니다.

이 계산은 몇 줄이면 되지만, 결과 데이터와 민감 속성 정보가 이미 있어야 하는 사후 점검입니다. 그 조건이 언제 갖춰지는지는 아래 소절에서 다룹니다. 한계도 분명합니다. 첫째, 민감 속성을 수집·사용해도 되는지는 개인정보와 차별 금지의 문제로, 도구가 해결해 주지 않습니다. 둘째, 선택률의 차이는 채용 맥락에서 쓰이는 법적 판단 기준과 같지 않습니다. 미국 고용 실무에서 쓰는 4/5 규칙처럼 선택률의 비율로 보는 기준도 있어서, 지표 하나가 "합법/불법"을 알려 주지는 않습니다. 따라서 파이썬 기초만 있어도 격차를 눈으로 확인하는 실습은 가능하지만, 그 숫자를 어떻게 해석하고 대응할지는 별도의 판단입니다.

탐지는 어디서 늦어지는가

도입의 질문에 대한 답은 계산 속도가 아니라 계산에 필요한 재료가 갖춰지는 시점에 있습니다. 탐지가 늦어지는 지점은 크게 네 곳입니다.

1. 결과 데이터 수집. 서류 통과·면접 합격 같은 단계별 결과가 시스템마다 흩어져 있거나 저장되지 않으면, 격차를 계산할 표 자체가 없습니다. 합격자만 남기고 탈락자 기록을 지우는 구조라면 선택률은 영원히 구할 수 없습니다.
2. 속성 확보 경로. 출신 대학처럼 지원서에 이미 있는 항목은 바로 쓸 수 있지만, 성별·연령 같은 민감 속성은 수집 자체가 제한되거나 지원자의 자발적 응답에 의존합니다. 응답률이 낮거나 법적 검토가 필요하면 점검은 그만큼 미뤄집니다.
3. 정기 점검 주기. 점검을 연 1회 하기로 했다면 편향이 생긴 날부터 다음 점검일까지가 그대로 탐지 지연이 됩니다. 모델이나 채용 풀이 바뀐 직후에 별도로 점검할지 정해 두지 않으면 지연은 더 길어집니다. LL144가 사용 전 1년 이내 감사를 요구하는 것도 이 주기 문제를 제도로 다룬 예로 읽을 수 있습니다.
4. 에스컬레이션 책임자. 격차 신호가 나와도 누가 판단하고 누구에게 보고하며 언제까지 대응하는지가 정해져 있지 않으면, 발견과 조치 사이에서 시간이 흘러갑니다. 데이터팀은 숫자를 보고, 조치는 HR이나 법무의 몫이라는 구분이 있다면 그 사이의 인계 절차까지 정해야 합니다.

정리하면 "얼마나 빨리"는 이 네 단계가 각각 며칠씩 걸리느냐의 합입니다. 이 글은 그 일수를 제시하지 않으며, 조직마다 어느 단계가 가장 느린지 직접 점검해 보시길 권합니다.

현장의 변화

아마존의 채용 도구는 가장 자주 인용되는 사례로, 로이터는 2018년에 과거 이력서를 학습한 실험적 채용 도구가 여성 지원자에게 불리하다는 점이 드러나 폐기됐다고 보도했습니다(언론 보도 기반이라 점검 지표는 알려진 바가 많지 않습니다).

뉴욕시 LL144는 감사를 제도로 만든 사례이고, 공개되는 감사 요약은 성별·인종/민족 범주별로 지원자 수, 선택률, 영향비율을 나열하는 표 형태입니다. 아래는 그 형식을 보여 주기 위한 가상 수치입니다(실제 보고서 수치가 아닙니다).

읽는 순서는 이렇습니다. 선택률은 범주별 선택된 사람의 비율이고, 영향비율은 각 범주의 선택률을 선택률이 가장 높은 범주의 선택률로 나눈 값입니다(여기서는 0.21 ÷ 0.30 = 0.70). 1.00은 기준이 되는 범주이고, 1보다 낮을수록 격차가 큽니다. 다만 LL144는 통과 기준 수치를 두지 않고 공개를 요구하는 제도이므로, 0.70이 합격인지 불합격인지는 표가 알려 주지 않습니다. 해석은 읽는 사람의 몫입니다.

감사의 한계도 확인된 자료로 짚어 둘 필요가 있습니다. DCWP 규칙은 데이터의 2% 미만인 범주를 영향비율 계산에서 제외할 수 있게 하므로, 작은 집단의 격차는 표에서 빠질 수 있습니다. 또 Wright 외(2024)는 뉴욕시 고용주 391곳을 조사해 감사 보고서를 공개한 곳이 18곳에 그쳤다고 보고했습니다. 감사 의무가 있다는 사실과 감사 결과를 실제로 볼 수 있다는 사실은 다릅니다.

시사점: 우리가 갖춰야 할 것

• 공정성 기준을 먼저 정의하세요. 어떤 집단 간 어떤 격차를 문제로 볼지 문서로 남기는 일이 도구 도입보다 앞서야 합니다. HR·법무·데이터팀이 함께 정하고, 선택한 기준의 한계도 같이 적어 두세요.
• 결과 데이터를 단계별로 남기세요. 서류·면접 같은 단계마다 합격뿐 아니라 탈락 기록까지 저장해야 선택률을 구할 수 있습니다. 모델이 완성된 뒤 편향을 제거하는 것은 구조를 올린 뒤 기초를 고치는 것과 같으니, 수집 계획 단계에서 정하세요.
• 속성 확보 경로를 미리 열어 두세요. 어떤 속성을 점검용으로 확보할 수 있는지, 법적으로 허용되는지, 자발적 응답에 기댄다면 응답률은 어떨지를 수집 계획 단계에서 확인하세요.
• 점검 주기와 추가 점검 시점을 정하세요. 정기 점검일뿐 아니라 모델·채용 풀이 바뀐 직후에도 점검할지 문서로 남기세요. 주기가 곧 최대 탐지 지연입니다.
• 에스컬레이션 책임자를 지정하세요. 격차 신호가 나왔을 때 누가 판단하고 누구에게 보고하며 언제까지 대응하는지 정해 두세요.
• Fairlearn으로 직접 격차를 계산해 보세요. 가진 데이터로 집단별 선택률을 나눠 보는 것만으로도 감사가 무엇을 보는 일인지 감이 생깁니다. 결과를 "문제 있음/없음"으로 단정하지 말고 해석을 함께 기록하세요.
• 감사 결과를 내부 문서로만 두지 마세요. 이해관계자와 공유하고 개선 이력을 쌓는 것이 신뢰의 바탕입니다. LL144가 결과 공개를 요구하는 것도 같은 이유로 읽을 수 있습니다.
• 규제 일정을 분기마다 확인하세요. 적용 대상이 되는지, 어느 시점부터인지를 원문 기준으로 점검하세요. 일정이 바뀌더라도 준비 계획을 통째로 바꾸기보다 요건 자체에 맞춰 체계를 만드는 편이 안전합니다.

보고서나 대시보드를 받았다면 다음을 물어보시길 권합니다. 어떤 집단을 어떤 지표로 비교했습니까? 비교 집단의 표본은 충분합니까? 선택한 공정성 기준은 누가, 왜 정했습니까? 격차가 나왔을 때 누가 어떤 절차로 대응합니까?

맺음말

데이터 분석은 숫자를 다루는 일이지만, 그 숫자는 사람의 기회에 닿아 있습니다. 공정성 감사는 분석가의 책임감을 점검 절차로 옮긴 것입니다. 어떤 도구를 쓰든 무엇을 공정하다고 볼지는 조직이 정해야 하므로, 이번 주에는 우리 조직의 채용·평가 데이터를 집단별로 한 번 나눠 보는 일부터 시작해 보시길 권합니다.

참고 자료

• European Union, 「Regulation (EU) 2024/1689 (Artificial Intelligence Act)」, Official Journal of the EU (제10조, 제99조, Annex III), https://eur-lex.europa.eu/eli/reg/2024/1689/oj
• NicFab, 「Digital Omnibus on AI published in the Official Journal」 (Regulation (EU) 2026/1744 해설), https://www.nicfab.eu/en/posts/digital-omnibus-ai-official-journal/
• NYC Department of Consumer and Worker Protection, 「Automated Employment Decision Tools (AEDT)」, https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
• Fairlearn 공식 문서 (MetricFrame, demographic_parity_difference), https://fairlearn.org ; IBM, AI Fairness 360, https://github.com/Trusted-AI/AIF360
• Kleinberg, Mullainathan, Raghavan, 「Inherent Trade-Offs in the Fair Determination of Risk Scores」(2016), arXiv:1609.05807 ; Chouldechova, 「Fair prediction with disparate impact」(2017), arXiv:1703.00056
• Wright 외, 「Null Compliance: NYC Local Law 144 and the Challenges of Algorithm Accountability」, ACM FAccT 2024 ; NYC DCWP, AEDT 최종 규칙(영향비율 계산 및 2% 미만 범주 제외 조항)
• Jeffrey Dastin, 「Amazon scraps secret AI recruiting tool that showed bias against women」, Reuters, 2018

테크창 연구팀