Day 2 - ROC/AUC와 임계값 조정: 곡선으로 읽는 모델 성능

📌 핵심 정리

• 분류기는 라벨이 아니라 확률 점수를 낸다. 임계값 t를 어디에 두느냐가 정밀도·재현율을 통째로 바꾼다.
• ROC 곡선은 TPR(재현율) vs FPR을 그린다. 좌상단에 가까울수록 좋고, 대각선은 무작위 추측이다.
• AUC는 곡선 아래 면적으로 임계값과 무관한 변별력 요약치다. 해석: 무작위 양성 점수 > 무작위 음성 점수일 확률.
• 극단적 불균형에서는 ROC가 낙관적이다. FPR 분모의 거대한 TN이 FP 증가를 희석하므로 **PR AUC(Average Precision)**를 본다.
• 실무 패턴은 2단계 분리: AUC로 모델을 고르고, 운영 임계값은 FP/FN 비용 구조로 따로 정한다.

임계값이 바꾸는 것

어제의 정밀도·재현율은 특정 임계값(보통 0.5)에서 계산한 단면이었다. 분류기는 P(Positive) = 0.73 같은 점수를 출력하고, 임계값 t를 정해 점수 ≥ t면 Positive로 분류한다.

임계값 ↓ (예: 0.3)  → 더 많이 Positive로 분류
   → 재현율 ↑ (양성을 더 많이 잡음), 정밀도 ↓ (FP 증가)
 
임계값 ↑ (예: 0.7)  → 더 보수적으로 Positive 분류
   → 정밀도 ↑ (확실한 것만), 재현율 ↓ (놓치는 양성 증가)

즉 단 하나의 모델이라도 임계값에 따라 무수히 많은 (정밀도, 재현율) 쌍을 가진다. 곡선은 이 모든 쌍을 한 그림에 펼친 것이다.