Day 4 - Handling Class Imbalance: Over/Undersampling, SMOTE, Class Weights, Evaluation

📌 핵심 정리

• 정확도 역설: 양성이 2%면 "전부 음성"으로 찍어도 정확도 98%다. 불균형에서 accuracy는 가장 오해를 부르는 지표다.
• 불균형 평가는 정밀도·재현율·F1·PR-AUC로 한다. 양성이 희소할수록 PR-AUC > ROC-AUC.
• 데이터 수준 대응: 오버샘플링(SMOTE), 언더샘플링. 데이터가 매우 크고 속도가 중요하면 언더샘플링.
• 알고리즘 수준 대응: 클래스 가중치(class_weight="balanced", XGBoost scale_pos_weight)와 임계값 조정.
• 리샘플링은 분할 후 학습셋에만, 교차검증에서는 각 fold의 학습 부분 안에서만 적용해야 누수가 없다.

불균형의 함정: 정확도 역설

현실의 분류 문제는 대부분 불균형하다. 사기는 0.1%, 질병 양성은 2%, 이탈은 5% — 정작 잡고 싶은 것이 소수 클래스다. 원본 불균형 데이터로 학습하면 모델은 전부 다수 클래스로 찍어 놓고도 높은 정확도를 얻는다.

양성이 2%인 데이터에서 "전부 음성"이라고 예측하면 정확도 98%가 나온다. 그런데 정작 관심 있는 양성은 하나도 못 잡는다. 이것이 **정확도 역설(accuracy paradox)**이다.