학습이 끝났다고 모델이 좋은 건 아니다. "정확도 95%"라는 숫자 하나로 모델을 판단하면 위험하다 — 사기 거래가 1%인 데이터에서는 "전부 정상"이라 찍어도 99% 정확도가 나온다. 모델 평가의 본질은 "문제에 맞는 지표"로 "일반화 성능"을 재는 것이다.
MLA-C01 시험에서 평가는 "불균형 데이터에서 어떤 지표를 쓰나", "과적합을 어떻게 진단·완화하나", "혼동행렬에서 정밀도/재현율을 계산하라" 같은 형태로 자주 나온다. 오늘은 지표 선택, 과적합/과소적합, 교차검증, 혼동행렬 네 축을 본다.
분류 평가의 출발점은 혼동행렬(confusion matrix)이다. 이진 분류 기준으로 예측과 실제를 네 칸으로 나눈다.
실제 Positive 실제 Negative
예측 Positive TP (참양성) FP (거짓양성)
예측 Negative FN (거짓음성) TN (참음성)
여기서 핵심 지표가 나온다.