Day 4 - 모델 평가: 지표 선택, 과적합, 교차검증, 혼동행렬

📌 핵심 정리

• 평가의 본질은 "문제에 맞는 지표"로 "일반화 성능"을 재는 것. 숫자 하나(정확도)로 판단하면 속는다.
• 분류는 혼동행렬에서 출발 — 정밀도는 거짓 경보를 줄일 때, 재현율은 놓치면 안 될 때 본다.
• 불균형 데이터에서 정확도는 금지. F1·재현율·AUC-PR로 본다. 시험 최다 함정.
• 회귀는 RMSE(큰 오차에 민감) vs MAE(이상치에 둔감), 설명력은 R².
• 과적합은 학습-검증 격차로 진단하고, 평가 안정성은 k-fold(불균형=stratified, 시계열=time-series split)로 확보한다.

혼동행렬과 분류 지표

사기 거래가 1%인 데이터에서는 "전부 정상"이라 찍어도 정확도 99%가 나온다. 그래서 분류 평가는 혼동행렬(confusion matrix)에서 출발한다. 이진 분류 기준으로 예측과 실제를 네 칸으로 나눈다.

                  실제 Positive    실제 Negative
예측 Positive       TP (참양성)      FP (거짓양성)
예측 Negative       FN (거짓음성)    TN (참음성)

여기서 핵심 지표가 나온다.