Day 2 - ML 문제 유형과 평가 지표 기초

학습 방식: 라벨이 있는가, 보상이 있는가

새 프로젝트에서 "고객이 이탈할지 예측해줘"라는 요구를 받으면, ML 엔지니어가 가장 먼저 할 일은 코드 작성이 아니라 이게 무슨 종류의 문제인가를 판별하는 것이다. 문제 유형을 잘못 짚으면 그 뒤 알고리즘·지표 선택이 전부 어긋난다.

ML 알고리즘은 "무엇으로부터 배우는가"에 따라 세 갈래로 나뉜다.

판별은 단순하다.

• "고객 이탈 예측" → 과거 이탈 여부(라벨)가 있다 → 지도 학습
• "고객을 비슷한 그룹으로 묶기" → 정답 그룹이 없다 → 비지도(군집)
• "게임 에이전트가 점수를 최대화" → 시행착오와 보상 → 강화 학습

지도 학습은 입력 X에서 출력 Y로의 함수 f(X)=Y를 근사하는 문제다. 라벨링 비용이 비싸기 때문에 실무에서는 적은 라벨로 학습하는 준지도 학습(semi-supervised)이나, 데이터 자체에서 라벨을 만들어내는 자기지도 학습(self-supervised, 대규모 언어모델의 학습 방식)이 중요해졌다. AWS SageMaker Ground Truth가 라벨링을 자동화·외주화하는 서비스인 이유가 이 라벨 비용 문제 때문이다.

출력 형태: 분류 vs 회귀 vs 군집

지도 학습은 출력이 무엇이냐에 따라 다시 둘로 나뉜다.

# 분류: XGBoost로 이탈 예측 (출력 = 확률 → 이산 라벨)
estimator = sagemaker.estimator.Estimator(
    image_uri=xgboost_image, role=role,
    instance_count=1, instance_type="ml.m5.xlarge",
    hyperparameters={
        "objective": "binary:logistic",   # 이진 분류
        "num_round": 100, "max_depth": 5,
    },
)
 
# 회귀였다면 objective만 바꾸면 된다
#   "objective": "reg:squarederror"     # 연속값 예측

같은 XGBoost라도 objective 하이퍼파라미터 하나로 분류와 회귀가 갈린다. 문제 유형을 잘못 판별하면 여기서부터 어긋난다.

분류라도 출력이 "확률"인지 "라벨"인지 구분해야 한다. binary:logistic은 0~1 확률을 반환하고, 이를 라벨로 바꾸려면 임계값(threshold)이 필요하다. 기본 0.5지만, 이탈 고객을 놓치면 안 되는 비즈니스라면 임계값을 낮춰 더 많은 사람을 "이탈 위험"으로 분류한다. 임계값 조정이 바로 다음에 볼 정밀도-재현율 트레이드오프의 핵심이다.

분류 평가의 출발점: 혼동 행렬

분류 모델을 평가하려면 먼저 혼동 행렬(confusion matrix)을 이해해야 한다. 예측과 실제를 교차한 2x2 표다.

                 실제 양성(Positive)   실제 음성(Negative)
예측 양성         TP (참 양성)          FP (거짓 양성)
예측 음성         FN (거짓 음성)        TN (참 음성)

              ┌──────────── 정밀도 = TP / (TP + FP)  ← 예측 양성 행 기준
              │
   TP  FP ────┘
   FN  TN ────┐
              │
              └──────────── 재현율 = TP / (TP + FN)  ← 실제 양성 열 기준

"이탈 예측" 예시로 보면 이렇게 읽는다.

모든 지표는 이 네 칸의 조합이다.

정확도의 함정과 정밀도·재현율

정확도(Accuracy) = (TP+TN) / 전체. 가장 직관적이지만 가장 위험하다. 사기 거래가 0.1%인 데이터에서 "전부 정상"이라 찍는 모델도 정확도 99.9%다. 이걸 불균형 데이터의 정확도 함정이라 한다.

그래서 양성 클래스에 초점을 둔 두 지표가 필요하다.

• 정밀도(Precision) = TP / (TP+FP): "양성이라 한 것 중 진짜 양성 비율." 오탐(FP)을 줄이고 싶을 때.
• 재현율(Recall) = TP / (TP+FN): "진짜 양성 중 잡아낸 비율." 놓침(FN)을 줄이고 싶을 때.

둘은 트레이드오프 관계다. 임계값을 낮추면 양성을 많이 예측해 재현율↑ 정밀도↓, 높이면 반대다.

지표를 고르는 한 줄 원칙: FN과 FP 중 비즈니스적으로 더 비싼 쪽을 줄이는 지표를 최우선한다.

COMPAS는 미국 법원이 쓰던 재범 예측 시스템이다. 2016년 ProPublica 보도에서 흑인 피고에 대해 "재범 위험 높음"으로 잘못 분류하는 거짓 양성(FP) 비율이 백인보다 약 2배 높다는 것이 드러났다. 전체 정확도는 인종 간 비슷했지만, FP/FN의 분포가 집단마다 달랐던 것이다. 정확도 한 숫자만 보면 놓치는 공정성 문제를 혼동 행렬 단위로 봐야 잡힌다는 교훈이다.

F1과 AUC: 하나의 숫자로 요약하기

정밀도와 재현율을 둘 다 신경 쓰고 싶을 때 F1 점수를 쓴다. 둘의 조화평균이다.

F1 = 2 * (Precision * Recall) / (Precision + Recall)

조화평균을 쓰는 이유는 둘 중 하나라도 낮으면 F1이 크게 떨어지기 때문이다. 정밀도 0.9·재현율 0.1이면 산술평균은 0.5지만 F1은 0.18이다. "한쪽만 좋아서는 안 된다"를 강제한다.

AUC(ROC 곡선 아래 면적)는 임계값에 무관하게 모델의 분별력을 측정한다. ROC 곡선은 모든 임계값에서의 재현율(TPR)과 거짓 양성률(FPR)을 그린 것이고, 그 아래 면적이 AUC다.

어느 지표를 언제 보는가 — 시험 판별에 바로 쓰이는 표다.

AUC는 "무작위로 양성 샘플 하나와 음성 샘플 하나를 뽑았을 때, 모델이 양성에 더 높은 점수를 줄 확률"로도 해석된다. 임계값을 정하기 전 모델 자체의 순위 매기기 능력을 보는 지표라, 임계값이 아직 정해지지 않은 모델 비교 단계에서 유용하다. 다만 극단적 불균형 데이터에서는 AUC가 낙관적으로 나올 수 있어 PR-AUC(정밀도-재현율 곡선)를 함께 본다.

회귀의 평가 지표

회귀는 연속값이라 혼동 행렬이 없고 "예측이 실제와 얼마나 가까운가"를 잰다.

• 큰 오차를 특히 피해야 하는 문제(재고 예측 등)라면 RMSE.
• 이상치가 많아 robust해야 하면 MAE.
• 서로 다른 데이터셋의 모델을 비교할 땐 단위 없는 R²가 편하다.

⚠️ 함정: RMSE와 MAE는 "둘 다 낮을수록 좋다"는 점은 같지만 값의 크기를 직접 비교하면 안 된다. 같은 데이터에서 RMSE는 항상 MAE 이상이며, 둘의 격차가 크다면 소수의 큰 오차(이상치)가 존재한다는 신호다.

숫자로 확인하는 혼동 행렬

지표를 외우기보다 한 번 계산해보면 오래 간다. 사기 탐지 모델을 1,000건에 적용한 결과가 다음과 같다고 가정한다.

                 실제 사기(30건)      실제 정상(970건)
예측 사기          TP = 18              FP = 42
예측 정상          FN = 12              TN = 928

• 정확도 0.946은 "전부 정상"으로 찍은 모델(0.970)보다도 낮다. 불균형에서 정확도는 기준선조차 못 넘는 착시를 준다.
• 임계값을 낮추면 TP와 FP가 함께 늘어 Recall↑ Precision↓로 움직인다.
• 사기 1건의 손실이 오탐 1건의 처리 비용보다 훨씬 크다면 Recall을 올리는 방향이 맞다.

다중 분류의 평균 방식

클래스가 셋 이상이면 정밀도·재현율을 클래스마다 계산한 뒤 평균을 낸다. 평균 방식이 결론을 바꾼다.

⚠️ 함정: 클래스가 불균형한 다중 분류에서 weighted 평균만 보면 다수 클래스 성능에 가려 소수 클래스의 실패가 보이지 않는다. "소수 클래스를 잘 잡는지"가 목적이면 macro 평균이나 클래스별 지표를 따로 확인해야 한다.

지표를 잘못 고르면 생기는 일

다음 글에서는 이 문제들을 실제로 푸는 도구 — AWS의 ML 스택 전체 — 를 조감한다.

📖 용어

• 라벨(label) : 데이터에 붙어 있는 정답. "이 고객은 이탈함"처럼 모델이 맞혀야 할 값.
• 혼동 행렬 : 예측과 실제를 교차한 2x2 표. TP·FP·FN·TN 네 칸으로 모든 분류 지표를 만든다.
• 거짓 양성(FP) : 아닌데 맞다고 한 경우. 정상 메일을 스팸으로 보낸 것.
• 거짓 음성(FN) : 맞는데 아니라고 한 경우. 사기를 정상으로 흘려보낸 것.
• 정밀도(Precision) : 양성이라고 외친 것 중 실제로 맞은 비율. 헛발질을 줄이는 지표.
• 재현율(Recall) : 실제 양성 중 잡아낸 비율. 놓침을 줄이는 지표.
• F1 점수 : 정밀도와 재현율의 조화평균. 한쪽만 좋으면 점수가 확 떨어진다.
• 임계값(threshold) : 예측 확률을 양성/음성으로 자르는 기준선. 낮추면 재현율↑, 높이면 정밀도↑.
• ROC-AUC : 임계값과 무관하게 "양성에 더 높은 점수를 주는 능력"을 0~1로 잰 값. 0.5면 찍기 수준.
• PR-AUC : 정밀도-재현율 곡선의 면적. 양성이 매우 드문 불균형 데이터에서 ROC-AUC보다 정직하다.