Day 4 - 데이터 편향·품질: Clarify, 불균형 처리, 데이터 분할

SageMaker Clarify: 편향 탐지와 설명가능성

특성을 잘 만들어도 데이터 자체가 한쪽으로 치우쳐 있으면 모델은 그 편향을 그대로 학습한다. 대출 심사 모델이 특정 성별에 불리하게 판단하거나, 사기 탐지 모델이 0.1%뿐인 사기를 전부 놓치는 일이 대표적이다.

SageMaker Clarify는 두 가지 일을 한다.

핵심 개념은 민감 속성(facet)이다. 성별·인종·나이처럼 공정성을 따져야 하는 컬럼을 지정하면, Clarify가 그 그룹 간 데이터·예측이 균형 잡혔는지 지표로 보여준다.

from sagemaker import clarify
 
clarify_processor = clarify.SageMakerClarifyProcessor(
    role=role, instance_count=1, instance_type="ml.m5.xlarge", sagemaker_session=session
)
 
bias_config = clarify.BiasConfig(
    label_values_or_threshold=[1],      # 긍정 결과 (예: 대출 승인)
    facet_name="gender",                # 민감 속성
    facet_values_or_threshold=[0],      # 보호 그룹
)
 
clarify_processor.run_pre_training_bias(   # 학습 전 데이터 편향
    data_config=data_config, data_bias_config=bias_config,
)

대표적 편향 지표는 둘이다.

머신러닝 편향은 데이터에서 시작한다. "garbage in, garbage out"의 공정성 버전이다. 과거 데이터에 사회적 편향(예: 특정 그룹의 낮은 승인율)이 담겨 있으면, 모델은 그것을 "패턴"으로 학습해 편향을 자동화·증폭한다. 학습 전 편향 측정이 중요한 이유다 — 모델을 만들기 전에 데이터의 불균형을 먼저 잡지 않으면, 아무리 정확한 모델도 불공정한 결정을 빠르게 대량으로 내린다.

Clarify의 학습 후 분석은 SHAP(SHapley Additive exPlanations) 값으로 "각 특성이 예측에 얼마나 기여했나"를 계산한다. 게임이론의 Shapley 값에서 온 개념으로, 특성을 넣고 빼며 예측 변화의 공정한 몫을 배분한다. 규제 산업(금융·의료)에서 "왜 이 고객이 거절됐나"를 설명해야 할 때, SHAP 기반 특성 기여도가 그 근거가 된다.

클래스 불균형 처리

분류 데이터에서 한 클래스가 극단적으로 적은 것이 클래스 불균형이다. 사기(0.1%), 희귀 질병, 장비 고장처럼 정작 중요한 쪽이 소수인 경우가 많다. 그대로 두면 모델이 다수 클래스만 찍어도 높은 정확도가 나와 소수 클래스를 무시한다.

from imblearn.over_sampling import SMOTE
 
# SMOTE: 소수 클래스의 합성 샘플을 보간으로 생성
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X_train, y_train)
print(y_resampled.value_counts())   # 두 클래스가 균형을 이룸

[원본]        다수 ●●●●●●●●●●●●●●●●  소수 ▲▲
[언더샘플링]  다수 ●●●●             소수 ▲▲     ← 다수를 버림(정보 손실)
[복제]        다수 ●●●●●●●●●●●●●●●●  소수 ▲▲▲▲▲▲▲▲  ← 같은 점 반복
[SMOTE]       다수 ●●●●●●●●●●●●●●●●  소수 ▲△△▲△△▲△  ← △는 이웃 사이 보간점

⚠️ 함정: 리샘플링은 반드시 분할 후 학습 데이터에만 적용한다. 분할 전에 전체 데이터에 SMOTE를 돌리면, 합성된 샘플이 검증·테스트 셋에 섞여 데이터 누수가 생기고 성능이 과대평가된다. 검증·테스트 셋은 실제 운영 분포(불균형 그대로)를 반영해야 평가가 정직하다.

SMOTE(Synthetic Minority Over-sampling Technique)는 2002년 제안된 기법으로, 소수 클래스 표본 사이를 보간(interpolation)해 새 합성 샘플을 만든다. 단순 복제는 같은 점을 여러 번 놓아 모델이 그 점을 외우게(과적합) 하지만, SMOTE는 이웃 표본 사이의 새로운 점을 만들어 결정 경계를 부드럽게 한다. 다만 특성 공간에서 클래스가 겹치면 노이즈를 합성할 수 있어 만능은 아니다.

불균형 대응은 리샘플링만이 아니다 — 지표와 임계값도 함께 조정한다.

train/validation/test 분할

모델 평가가 정직하려면 데이터를 세 덩어리로 나눠야 한다. 각 셋의 역할이 다르다.

Test 셋은 마지막에 단 한 번만 본다. 테스트 결과를 보고 모델을 고치기 시작하면 테스트 셋이 사실상 검증 셋이 되어버려, 일반화 성능을 더는 정직하게 못 잰다.

from sklearn.model_selection import train_test_split
 
# 1차: train+val vs test / 2차: train vs val (불균형이면 stratify로 비율 유지)
X_temp, X_test, y_temp, y_test = train_test_split(
    X, y, test_size=0.15, stratify=y, random_state=42
)
X_train, X_val, y_train, y_val = train_test_split(
    X_temp, y_temp, test_size=0.176, stratify=y_temp, random_state=42
)

stratify=y는 분할 시 각 셋의 클래스 비율을 원본과 같게 유지하는 층화 분할(stratified split)이다. 불균형 데이터에서 무작위 분할하면 어떤 셋엔 소수 클래스가 거의 안 들어갈 수 있어, 반드시 층화한다.

데이터 성격별 분할 방식

[시계열 올바른 분할]
  ──────── train ────────┤── val ──┤── test ──▶ 시간
                     (과거로 학습, 미래로 평가)

[시계열 잘못된 분할 — 무작위]
  ░█░░█░█░░█░█░█░░█░█░  ← 미래 조각이 train에 섞여 look-ahead bias 발생

시계열 데이터는 무작위 분할이 금물이다. 미래 데이터로 학습해 과거를 예측하는 미래 누수(look-ahead bias)가 생기기 때문이다. 시계열은 시점을 기준으로 "과거=train, 미래=test"로 나누는 시간 분할을 쓴다. 또 데이터가 적을 땐 단일 분할 대신 k-fold 교차검증으로 데이터를 k번 나눠 평균 성능을 본다.

누수를 만드는 순서 실수

이번 주 내내 반복되는 주제는 "순서를 틀리면 누수가 난다"이다.

⚠️ 함정: 이 다섯 가지는 모두 같은 증상을 낳는다 — 검증 성능은 훌륭한데 배포하면 무너진다. 시험에서 "오프라인 지표는 좋았는데 실서비스에서 성능이 나오지 않는다"는 지문이 나오면 거의 항상 누수 계열을 의심해야 한다.

편향은 어느 단계에서 다루나

편향 완화는 한 지점의 일이 아니다. 데이터·학습·예측 세 시점에서 각각 손댈 수 있고, 시험은 "어느 단계의 조치인가"를 구분시킨다.

Clarify는 이 중 학습 전 데이터 편향과 학습 후 예측 편향을 측정하는 역할을 한다. 측정과 완화는 다른 일이라는 점을 구분해야 한다.

편향 지표를 읽는 법

민감 속성 컬럼을 데이터에서 지우면 공정해진다는 생각은 흔한 오해다. 우편번호·직업처럼 민감 속성과 강하게 연관된 대리 변수(proxy)가 남아 있으면 모델은 여전히 같은 편향을 학습한다. 지우는 것이 아니라 측정하고 검증하는 접근이 필요하다.

불균형·분할 순서 총정리

① 데이터 확보
   │
② 분할 (층화 / 시간 / 그룹)          ← 가장 먼저!
   │
   ├─ train ─→ ③ 변환기 fit  ─→ ④ 리샘플링(SMOTE 등)  ─→ ⑤ 학습
   │
   ├─ validation ─→ 변환기 transform만 ─→ 하이퍼파라미터 선택
   │
   └─ test ──────→ 변환기 transform만 ─→ 최종 1회 평가

평가 셋은 운영 분포를 반영해야 한다

• 학습 셋은 균형을 맞춰도 되지만, 검증·테스트 셋은 실제 운영에서 만나는 불균형 그대로 두어야 한다.
• 테스트 셋까지 균형을 맞추면 "사기가 절반인 세상"에서의 성능을 재는 셈이라 현실과 무관한 숫자가 나온다.
• 임계값 결정도 운영 분포 위에서 해야 실제 정밀도·재현율이 예측대로 나온다.

다음 글에서는 이번 주 특성 공학과 데이터 품질 전체 — Data Wrangler, Feature Store, Clarify — 를 종합 복습하며 Week 3을 마무리한다.

📖 용어

• SageMaker Clarify : 학습 전후로 데이터·예측의 편향을 측정하고 예측 근거를 설명해주는 도구.
• 민감 속성(facet) : 성별·인종·나이처럼 공정성을 따져야 하는 컬럼. 편향 분석의 기준축이 된다.
• CI(Class Imbalance) : 민감 속성 그룹 간 표본 수가 얼마나 치우쳤는지 재는 편향 지표.
• DPL : 그룹 간 긍정 레이블 비율의 차이. 과거 결정이 한쪽에 유리했는지 보여준다.
• SHAP : 각 특성이 예측에 기여한 몫을 게임이론적으로 공정하게 배분해 계산한 설명 지표.
• 설명가능성(explainability) : 모델이 왜 그렇게 예측했는지 사람이 이해할 수 있게 만드는 성질.
• 클래스 불균형 : 한 클래스가 극단적으로 적은 상태. 정확도 지표를 무의미하게 만든다.
• 언더샘플링 / 오버샘플링 : 다수 클래스를 줄이기 / 소수 클래스를 늘리기.
• SMOTE : 소수 클래스 표본 사이를 보간해 새 합성 샘플을 만드는 오버샘플링 기법.
• class weight : 소수 클래스를 틀렸을 때 손실을 더 크게 매겨 모델이 신경 쓰게 하는 설정.