Day 1 - 분류 평가지표: 정확도·정밀도·재현율·F1과 혼동행렬

혼동행렬: 모든 분류 지표의 출발점

모델을 학습했다면 "이 모델이 충분히 좋은가"를 숫자로 답해야 하는데, 그 숫자는 정확도 하나가 아니다. 이진 분류의 모든 지표는 네 칸짜리 표 하나에서 파생된다.

                예측: Positive    예측: Negative
실제: Positive    TP (참양성)       FN (거짓음성)
실제: Negative    FP (거짓양성)      TN (참음성)

"Positive"는 보통 우리가 탐지하려는 드문/중요한 클래스(사기, 질병, 이탈)로 잡는다. 어느 칸이 비싼가가 지표 선택을 결정한다.

FP와 FN의 비용 관점

시험에서 지표 선택 문제는 대개 "FP와 FN 중 어느 쪽 비용이 큰가"로 환원된다. 질병을 놓치는 FN이 치명적이면 재현율을, 정상 메일을 스팸으로 분류하는 FP가 치명적이면 정밀도를 우선한다. 비즈니스 맥락을 혼동행렬의 한 칸으로 번역하는 훈련이 핵심이다.

정확도: 가장 직관적이지만 가장 위험한 지표

Accuracy = (TP + TN) / (TP + TN + FP + FN)

전체 예측 중 맞춘 비율이다. 클래스가 균형 잡혀 있을 때는 훌륭하지만, 불균형 데이터에서는 무력하다.

예: 사기 거래 1%, 정상 99%
모든 거래를 "정상"으로 찍는 더미 모델
→ Accuracy = 99%  (그러나 사기는 단 한 건도 못 잡음)

이 99%는 모델이 유용하다는 증거가 전혀 아니다. 왜 이런 일이 생기는지는 혼동행렬로 보면 즉시 드러난다.

[사기 1%, 표본 10,000건 / "전부 정상" 더미 모델]
 
                예측: 사기       예측: 정상
실제: 사기        TP = 0         FN = 100
실제: 정상        FP = 0         TN = 9,900
 
Accuracy  = (0 + 9,900) / 10,000 = 99.0%   ← 훌륭해 보인다
Recall    = 0 / (0 + 100)        = 0.0%    ← 실상
Precision = 0 / (0 + 0)          = 정의 불가

• 정확도가 높은 이유는 분자에 거대한 TN이 들어 있기 때문이다. 소수 클래스 성능은 분자에 거의 기여하지 못한다.
• 불균형 데이터의 정확도 기준선은 0이 아니라 다수 클래스 비율(여기선 99%)이다. 그 기준선을 넘지 못하면 모델은 무의미하다.

⚠️ 함정: "정확도 99.5%인데 왜 문제인가"라는 지문이 나오면 답은 거의 항상 "다수 클래스만 찍어도 그 값이 나오는 극단적 불균형"이다. 정확도 수치 자체가 아니라 클래스 비율과 비교해야 한다.

정밀도와 재현율

Precision = TP / (TP + FP)      ← 예측한 양성 중 진짜 비율
Recall    = TP / (TP + FN)      ← 실제 양성 중 잡아낸 비율

• 재현율은 민감도(Sensitivity), TPR(True Positive Rate)과 같은 말이다. 시험에서 이름만 바꿔 나온다.
• 특이도 = TN / (TN + FP)이며, 1 − 특이도가 곧 FPR이다.

트레이드오프

정밀도와 재현율은 보통 한쪽을 올리면 다른 쪽이 내려간다. 임계값을 낮춰 더 많이 Positive로 분류하면 재현율은 오르지만 정밀도는 떨어진다.

임계값 낮춤 ──────────────────────────────→ 임계값 높임
Positive 예측 많아짐                     Positive 예측 적어짐
   Recall ↑  Precision ↓                    Precision ↑  Recall ↓
   FN 감소, FP 증가                          FP 감소, FN 증가
 
  극단: 전부 Positive                      극단: 전부 Negative
  Recall = 1.0, Precision = 양성비율        Recall = 0, Precision = 정의 불가

정밀도와 재현율의 분모를 기억하면 헷갈리지 않는다. 정밀도의 분모는 "예측한 양성(TP+FP)" — 예측을 기준으로 한 열(column) 정확도다. 재현율의 분모는 "실제 양성(TP+FN)" — 실제를 기준으로 한 행(row) 적중률이다. 즉 정밀도는 예측의 신뢰도, 재현율은 탐지의 완전성을 잰다.

F1 점수: 정밀도와 재현율의 조화평균

F1 = 2 × (Precision × Recall) / (Precision + Recall)

정밀도와 재현율을 하나의 숫자로 합치되, 산술평균이 아니라 조화평균을 쓴다. 조화평균은 두 값 중 작은 쪽에 더 민감해서, 한쪽만 높고 한쪽이 낮으면 점수가 크게 깎인다.

Precision=0.9, Recall=0.1
산술평균 = 0.5  (그럴듯해 보임)
F1 = 2 × (0.9 × 0.1) / (1.0) = 0.18  (실상을 드러냄)

• F1은 FP와 FN을 비슷하게 중요시하면서 불균형 데이터를 평가할 때 기본 지표로 쓴다.
• 한쪽에 가중치를 주려면 일반화된 F-beta를 쓴다: F_β = (1+β²) × P × R / (β²×P + R).

한 혼동행렬로 네 지표 계산해 보기

[사기 탐지 / 표본 10,000건, 실제 사기 100건]
 
                예측: 사기       예측: 정상
실제: 사기        TP = 60        FN = 40
실제: 정상        FP = 240       TN = 9,660
 
Accuracy    = (60 + 9,660) / 10,000        = 97.2%
Precision   = 60 / (60 + 240)              = 20.0%
Recall      = 60 / (60 + 40)               = 60.0%
Specificity = 9,660 / (9,660 + 240)        = 97.6%
F1          = 2 × (0.20 × 0.60) / 0.80     = 30.0%

• 정확도 97.2%는 "전부 정상" 더미의 99%보다 오히려 낮다. 정확도만 보면 이 모델을 버리게 된다.
• 그러나 재현율 60%는 사기 100건 중 60건을 실제로 잡아냈다는 뜻이다. 불균형에서 봐야 할 숫자는 이쪽이다.
• 정밀도 20%는 경보 5건 중 1건만 진짜라는 뜻 — 조사 인력 비용을 감당할 수 있는지가 임계값 결정의 재료가 된다.

상황별 지표 해석표

더미 모델의 기준선

지표를 볼 때는 "아무것도 안 하는 모델이 받는 점수"와 비교해야 한다. 양성 비율을 p로 둔다.

⚠️ 함정: 정확도의 기준선은 0.5가 아니라 다수 클래스 비율이다. p=0.01인 문제에서 정확도 98%는 더미보다 나쁜 모델이다. 반면 정밀도·재현율·F1의 기준선은 p 수준으로 낮아, 불균형에서도 개선 폭이 그대로 보인다.

지표 선택 결정 트리

분류 모델을 평가해야 한다
├─ 클래스가 대체로 균형인가? (소수 클래스 ≳ 20%)
│    ├─ 예   → 정확도 사용 가능 (+ 보조로 F1)
│    └─ 아니오 ↓
├─ FN(놓침)의 비용이 압도적인가? (질병·사기·불량)
│    ├─ 예   → 재현율 우선, 정밀도 하한을 제약으로 (F2도 고려)
│    └─ 아니오 ↓
├─ FP(오탐)의 비용이 압도적인가? (스팸·추천·자동 차단)
│    ├─ 예   → 정밀도 우선 (F0.5도 고려)
│    └─ 아니오 ↓
└─ 둘 다 비슷하게 중요 → F1 (다중 클래스면 Macro-F1)

다중 클래스에서의 평균화: Macro vs Micro vs Weighted

클래스가 셋 이상이면 클래스별 정밀도/재현율을 어떻게 묶을지 정해야 한다.

[클래스 A: 9,000건 / 클래스 B: 500건 / 클래스 C: 50건]
 
Macro    : (F1_A + F1_B + F1_C) / 3   ← C가 A와 같은 무게
Weighted : F1을 9000:500:50 으로 가중 ← A가 사실상 결과를 결정
Micro    : TP·FP·FN을 전부 합쳐 한 번 계산 ← 역시 A가 지배

"소수 클래스 성능까지 동등하게 보고 싶다"는 지문에 Weighted를 고르면 오답이다. Weighted는 표본 수로 가중하므로 다수 클래스가 여전히 결과를 지배한다. 동등 취급은 Macro뿐이다.

SageMaker에서의 지표 확인

빌트인 알고리즘과 Automatic Model Tuning은 이 지표들을 CloudWatch와 학습 로그로 내보낸다. XGBoost 이진 분류에서 튜닝 목적 지표를 F1으로 잡는 예:

from sagemaker.tuner import HyperparameterTuner
 
tuner = HyperparameterTuner(
    estimator=xgb_estimator,
    objective_metric_name="validation:f1",  # 불균형 데이터 → f1 최적화
    objective_type="Maximize",
    hyperparameter_ranges=ranges,
    max_jobs=20,
    max_parallel_jobs=3,
)

validation:accuracy 대신 validation:f1을 목적 지표로 두면 튜너가 불균형을 무시한 채 정확도만 올리는 모델을 고르는 사고를 막을 수 있다.

평가지표는 학습이 끝난 뒤의 채점표일 뿐 아니라, 하이퍼파라미터 튜닝의 나침반이다. objective_metric_name을 잘못 잡으면 튜너는 정확히 잘못된 방향으로 최적화한다. 따라서 "이 비즈니스 문제의 올바른 목적 지표는 무엇인가"는 학습 전에 결정해야 하는 모델링 의사결정이다.

지문 단서 → 정답 매핑

내일은 임계값을 조정하며 정밀도-재현율 트레이드오프를 시각화하는 ROC 곡선과 PR 곡선, 그리고 AUC를 다룬다.

📖 용어

• 혼동행렬(confusion matrix) : 실제 라벨과 예측 라벨을 교차시킨 표. 모든 분류 지표가 여기서 나온다.
• TP / TN : 양성을 양성으로, 음성을 음성으로 제대로 맞춘 건수.
• FP (거짓양성, Type I error) : 아닌 것을 맞다고 잘못 외친 것. 허위 경보.
• FN (거짓음성, Type II error) : 맞는 것을 아니라고 놓친 것. 누락.
• 정밀도(Precision) : 모델이 "양성"이라고 한 것 중 실제로 맞은 비율. 예측의 신뢰도.
• 재현율(Recall) / 민감도 / TPR : 실제 양성 전부 중 모델이 찾아낸 비율. 탐지의 완전성.
• 특이도(Specificity) : 실제 음성 중 음성으로 제대로 분류한 비율. TN/(TN+FP).
• F1 점수 : 정밀도와 재현율의 조화평균. 둘 중 낮은 쪽에 민감해 한쪽만 좋은 모델을 걸러낸다.
• F-beta : F1을 일반화한 지표. β>1이면 재현율을, β<1이면 정밀도를 더 중시한다.
• Macro / Micro / Weighted 평균 : 다중 클래스에서 클래스별 지표를 묶는 세 방식. 각각 동등 가중 / 전체 합산 / 표본 수 가중.