기준: MLS-C01 시험 가이드오류 제보
알고리즘을 고르고(Week 6) 학습·튜닝했다면(Week 7~8), 남은 것은 채점과 수리다. 나흘 치를 하나의 흐름으로 엮으면 다음과 같다.
[학습된 모델]
│
├─ 1) 문제 유형으로 지표군 결정
│ 분류 → 정확도/정밀도/재현율/F1, ROC-AUC, PR-AUC
│ 회귀 → RMSE/MAE/MAPE/R²
│
├─ 2) 비즈니스 비용으로 지표·임계값 선택
│ FN 치명 → 재현율 / 임계값 ↓
│ FP 치명 → 정밀도 / 임계값 ↑
│ 불균형 → F1, PR-AUC (정확도 금지)
│
├─ 3) 곡선으로 트레이드오프 분석
│ ROC/AUC = 변별력, 모델 비교
│ PR 곡선 = 극단 불균형에서 정직
│
└─ 4) 디버깅·편향·오류 분석
Debugger = 학습 과정(기울기/손실/과적합)
Clarify = 편향(집단 공정성) + SHAP(설명)
오류 분석 = 큰 오류 버킷부터 개선| 지표 | 공식 분모 | 언제 | 대표 시나리오 | 이 지표의 맹점 |
|---|---|---|---|---|
| Accuracy | 전체 | 균형 데이터만, 불균형 금지 | 클래스가 5:5에 가까운 문제 | 다수 클래스만 찍어도 높게 나온다 |
| Precision | TP+FP (예측 양성) | FP 비용 클 때 | 스팸 분류(정상 메일 차단이 치명) | 놓친 양성(FN)을 전혀 보지 않는다 |
| Recall | TP+FN (실제 양성) | FN 비용 클 때 | 질병·사기 탐지(놓치면 치명) | 전부 양성으로 찍으면 1.0이 된다 |
| F1 | 조화평균 | FP·FN 균형, 불균형 데이터 | 비용 비대칭이 명시되지 않은 불균형 | 어느 쪽이 더 비싼지는 못 반영한다 |
| ROC-AUC | TPR vs FPR 면적 | 임계값 무관 모델 비교 | 후보 모델 여러 개 중 고르기 | 극단 불균형에서 낙관적으로 보인다 |
| PR-AUC | Precision vs Recall 면적 | 극단 불균형에서 정직 | 양성 0.5%인 사기 탐지 | 모델 간 절대 비교가 데이터 의존적 |
| 항목 | ROC 곡선 | PR 곡선 |
|---|---|---|
| 축 | TPR vs FPR | Precision vs Recall |
| 분모에 TN 포함 | 포함(FPR에) | 미포함 |
| 강점 | 일반적인 모델 변별력 비교 | 극단 불균형에서 성능을 부풀리지 않음 |
| 불균형일 때 | 다수 음성 덕에 FPR이 작게 보여 낙관적 | 소수 양성만 보므로 정직 |
실제 양성 실제 음성
┌───────────────┬───────────────┐
예측 양성 │ TP │ FP │ ← Precision = TP / (TP+FP)
├───────────────┼───────────────┤
예측 음성 │ FN │ TN │
└───────────────┴───────────────┘
↑
Recall = TP / (TP+FN)
Accuracy = (TP+TN) / 전체 ← TN이 압도적이면 전부 여기서 부풀려진다
ROC의 FPR = FP / (FP+TN) ← 분모에 TN 포함 → 불균형에서 작아 보인다
PR 곡선 ← TN을 아예 쓰지 않는다 → 정직
| 비즈니스 상황 | 더 비싼 실수 | 우선 지표 | 임계값 |
|---|---|---|---|
| 질병 진단 스크리닝 | FN (놓친 환자) | 재현율 | 낮춘다 |
| 사기 거래 탐지 | FN (통과된 사기) | 재현율 / PR-AUC | 낮춘다 |
| 스팸 분류 | FP (차단된 정상 메일) | 정밀도 | 높인다 |
| 자동 계정 정지 | FP (억울한 정지) | 정밀도 | 높인다 |
| 비용 비대칭이 명시되지 않음 | 판단 불가 | F1 | 기본값에서 시작 |
⚠️ 함정: "불균형"이라는 단어가 지문에 보이면 정확도 보기는 오답이다. 사기 0.5% 문제에서 전부 정상으로 찍어도 정확도는 99.5%다.
| 지표 | 성격 | 단서 | 주의 |
|---|---|---|---|
| MAE | 이상치 강건, 단위 직관 | 이상치를 무시하고 싶을 때 | 큰 오차를 특별 취급하지 않는다 |
| RMSE | 큰 오차에 민감(제곱) | 큰 실수가 치명적, 빌트인 기본 | 이상치 몇 개에 크게 흔들린다 |
| MAPE | 스케일 무관 상대오차 | 규모가 다른 항목 비교 | y=0 근처에서 발산 |
| R² | 평균 대비 설명력 | 설명력을 한 숫자로 보고 | 음수면 평균선보다 못함 |
| 잔차 모양 | 진단 | 다음 조치 |
|---|---|---|
| 무작위 산포 | 양호 | 그대로 진행 |
| U자 곡선 | 비선형 미포착 | 피처 변환·비선형 모델 재검토 |
| 깔때기 모양 | 이분산성 | 타깃 로그 변환, 가중 회귀 검토 |
| 한쪽으로 치우침 | 계통적 편향 | 누락 피처·절편 문제 점검 |
💡 개념: RMSE와 MAE의 격차 자체가 정보다. 두 값이 비슷하면 오차가 고르게 퍼져 있고, RMSE가 훨씬 크면 소수의 큰 오차(이상치성 잔차)가 존재한다는 신호다.
| 키워드 | 서비스 | 무엇을 하나 |
|---|---|---|
| 기울기 소실/폭발, 과적합, 텐서 캡처, 잡 자동중단 | Debugger | 학습 중 텐서를 규칙으로 감시, 망가진 잡 중단 |
| 집단 공정성, Disparate Impact, 학습 전/후 편향 | Clarify (편향) | 데이터·예측의 집단 간 치우침 측정 |
| SHAP, 피처 기여도, 예측 설명 | Clarify (설명) | 전역 중요도 + 개별 예측의 이유 |
| 오류가 특정 구간에만 몰림 | 오류 분석(사람) | 버킷 그룹핑 후 큰 버킷부터 개선 |
이번 주를 관통하는 단일 원칙은 "지표는 비즈니스 비용의 번역이다"이다. 같은 모델이라도 FP가 비싸면 정밀도를, FN이 비싸면 재현율을 보고, 불균형이면 정확도를 버리고 F1/PR-AUC로 간다. 회귀에서도 큰 실수가 치명적이면 RMSE, 이상치가 잡음이면 MAE다. 지표 선택 문제는 거의 항상 "이 비즈니스에서 어떤 실수가 더 비싼가"로 환원된다.
문제 유형은?
├─ 회귀
│ ├─ 큰 오차가 특히 치명적인가?
│ │ ├─ 예 → RMSE (튜닝 방향 Minimize)
│ │ └─ 아니오 ↓
│ ├─ 이상치를 잡음으로 보고 무시하고 싶은가? → MAE
│ ├─ 규모가 다른 항목을 함께 비교하나? → MAPE (y=0 주의)
│ └─ 설명력을 한 숫자로 보고하나? → R² (음수 = 평균만도 못함)
│
└─ 분류
├─ 클래스가 심하게 불균형한가?
│ ├─ 예 → 정확도 금지. F1 / PR-AUC
│ └─ 아니오 ↓
├─ FN이 더 비싼가? (질병·사기를 놓치면 치명)
│ └─ 예 → 재현율 우선 + 임계값 ↓
├─ FP가 더 비싼가? (정상을 차단하면 치명)
│ └─ 예 → 정밀도 우선 + 임계값 ↑
├─ 비용 비대칭이 불분명한가? → F1
└─ 여러 모델을 임계값과 무관하게 비교하나? → ROC-AUC
└─ 그 다음 운영 컷은 곡선 위에서 기대비용 최소 지점으로
| 비교 | 핵심 차이 |
|---|---|
| 정밀도 vs 재현율 | FP 줄이기 / FN 줄이기 |
| Accuracy vs F1 | 균형 데이터 / 불균형 데이터 |
| ROC vs PR 곡선 | 일반 / 극단 불균형(분모에 TN 없음) |
| AUC vs 임계값 선택 | 모델 비교 / 운영 컷 결정 |
| RMSE vs MAE | 큰 오차 강조 / 이상치 강건 |
| R² 양수 vs 음수 | 평균보다 나음 / 평균보다 못함 |
| Debugger vs Clarify | 학습 과정 건강 / 편향·설명 |
| Clarify 편향 vs SHAP | 집단 공정성 / 예측 설명 |
| 분류 튜닝 vs 회귀 튜닝 | Maximize(F1/AUC) / Minimize(RMSE) |
모델 평가와 임계값 결정은 분리된 단계다. AUC 같은 임계값-무관 지표로 "잘 순위 매기는 모델"을 먼저 고르고, 그 위에서 FP/FN 비용에 맞는 임계값을 사후에 정한다. 이 분리 덕분에 비용 구조가 바뀌어도 모델 재학습 없이 임계값만 조정하면 된다. 시험에서 "모델 비교=AUC, 운영 컷=곡선 위 한 점"으로 갈리는 이유가 여기 있다.
| 틀리는 방식 | 왜 틀리나 | 올바른 판단 |
|---|---|---|
| 불균형 데이터를 정확도로 평가 | 다수 클래스만 맞혀도 높다 | F1 / PR-AUC / 정밀도·재현율 병행 |
| 극단 불균형에서 ROC-AUC만 신뢰 | FPR 분모의 TN이 커서 낙관적 | PR 곡선을 함께 본다 |
| 임계값을 먼저 고정하고 모델 선택 | 비용 구조를 무시한 순서 | AUC로 모델 → 임계값은 사후 결정 |
| 재현율만 끝까지 올리기 | 전부 양성으로 찍으면 1.0 | 정밀도와의 트레이드오프를 함께 |
| RMSE 하나만 보고 모델 확정 | 이상치 몇 개에 흔들린다 | MAE와 격차, 잔차 플롯을 함께 |
| R²가 낮으면 항상 데이터 탓 | 음수는 모델이 평균만도 못하다는 뜻 | 피처·모델 자체를 재검토 |
| 회귀 튜닝 목적 지표를 Maximize | 오차는 작을수록 좋다 | RMSE는 Minimize |
| 학습 실패를 Clarify로 진단 | Clarify는 편향·설명 담당 | 기울기·손실은 Debugger |
| 집단 공정성을 Debugger로 측정 | Debugger는 학습 과정 담당 | 공정성은 Clarify 편향 지표 |
답을 머릿속으로 떠올려 본다.
| 지문 단서 | 고를 답 | 이유 |
|---|---|---|
| "클래스가 95:5로 불균형하다" | F1 / PR-AUC (정확도 보기는 오답) | 다수 클래스만 맞혀도 정확도가 높다 |
| "질병/사기를 놓치면 안 된다" | 재현율 우선, 임계값 ↓ | FN 비용이 지배적 |
| "정상 사용자를 차단하면 안 된다" | 정밀도 우선, 임계값 ↑ | FP 비용이 지배적 |
| "어느 쪽 실수가 더 비싼지 언급 없음 + 불균형" | F1 | 정밀도·재현율의 조화평균 |
| "여러 후보 모델을 변별력으로 비교" | ROC-AUC | 임계값과 무관한 순위 품질 |
| "운영 임계값을 정해야 한다" | 곡선 위 기대비용 최소 지점 | 평가와 컷 결정은 분리된 단계 |
| "큰 예측 실수가 치명적이다" | RMSE | 제곱으로 큰 오차를 증폭 |
| "이상치가 많아 지표가 요동친다" | MAE | 절대오차라 이상치에 강건 |
| "규모가 다른 매장·품목을 함께 비교" | MAPE | 상대오차라 스케일 무관 (y=0 주의) |
| "모델이 평균 예측보다도 못하다" | R² 음수 | 기준선(평균)을 못 이긴 상태 |
| "잔차가 깔때기 모양이다" | 이분산성 | 분산이 예측값에 따라 변함 |
| "기울기 소실·과적합을 학습 중 잡고 싶다" | SageMaker Debugger | 학습 텐서를 규칙으로 감시 |
| "성별 집단 간 승인률 차이를 보고" | Clarify 편향 지표(DPPL·DI) | 예측의 집단 공정성 |
| "이 한 건의 결정 이유를 설명" | Clarify SHAP(국소) | 개별 예측의 피처 기여도 |
| "특정 구간에서만 성능이 급락" | 오류 분석 → 큰 버킷부터 개선 | 전면 재학습·무작위 튜닝은 비효율 |
| "Automatic Model Tuning의 목적 지표 방향" | RMSE=Minimize, F1/AUC=Maximize | 오차는 작게, 성능은 크게 |
다음 주(Week 10)부터는 도메인 4(Machine Learning Implementation and Operations) — 모델을 실제로 배포하고 운영·모니터링하는 단계 — 로 넘어간다.
선택지를 클릭하면 정답·해설이 펼쳐집니다.
문제 1
클래스가 95:5로 불균형한 이탈 예측 문제에서 모델을 평가하려 한다. 다음 중 가장 부적절한 평가 방식은?
문제 2
여러 후보 분류 모델을 임계값과 무관하게 변별력으로 비교한 뒤, 운영 임계값은 FP/FN 비용에 맞춰 따로 정하려 한다. 올바른 접근은?
문제 3
회귀 모델 두 개를 비교하니 모델 A는 RMSE와 MAE가 비슷하고, 모델 B는 RMSE가 MAE보다 훨씬 크다. 이로부터 추론할 수 있는 것은?
문제 4
다음 중 SageMaker 서비스와 역할의 짝이 틀린 것은?
문제 5
SageMaker Automatic Model Tuning에서 목적 지표 방향(objective_type) 설정으로 올바른 것은?