Day 1 - 알고리즘 선택: 문제 유형별 매핑

비즈니스 문제를 ML 유형으로 번역하기

모델링의 첫 의사결정은 "어떤 알고리즘을 쓸 것인가"이고, 그 앞에 반드시 ML 문제 유형 번역이 온다. 시험 지문은 거의 항상 비즈니스 언어로 주어지므로 표준 ML 유형으로 바꾸는 것이 1단계다.

"이탈할 고객을 미리 식별"          → 이진 분류 (churn yes/no)
"이메일을 스팸/정상/홍보로 구분"   → 다중 분류
"내일 매출 금액 예측"              → 회귀
"비슷한 사용자 그룹 자동 발견"      → 군집 (비지도)
"본 적 없는 상품 추천"             → 추천 / 협업 필터링
"평소와 다른 거래 탐지"            → 이상 탐지
"문서 더미에서 주제 발견"          → 토픽 모델링 (비지도)

판별 신호는 세 가지다.

• 레이블(정답)이 있나? 있으면 지도학습, 없으면 비지도.
• 출력이 범주인가 수치인가? 범주 = 분류, 연속 수치 = 회귀.
• "그룹/패턴 발견"인가 "예측"인가? 발견 = 군집/토픽, 예측 = 분류/회귀.

지도/비지도/강화의 경계는 "정답 레이블의 존재"로 갈린다. 분류·회귀는 입력-출력 쌍을 학습하는 지도학습이고, 군집·차원축소·토픽모델·이상탐지(대부분)는 레이블 없이 구조를 찾는 비지도학습이다. 추천은 사용자-아이템 상호작용 행렬을 다루며 협업 필터링 관점에선 비지도에 가깝지만, 명시적 평점을 타깃으로 쓰면 지도(회귀)로도 볼 수 있다. 강화학습은 보상 신호로 정책을 학습하는 별도 범주다(SageMaker RL).

알고리즘 선택 결정 트리

                        [비즈니스 문제 지문]
                                │
                  ┌─────── 레이블이 있는가? ───────┐
                 예(지도)                      아니오(비지도)
                  │                                │
      ┌───── 출력 형태? ─────┐          ┌──── 무엇을 하고 싶은가? ────┐
   범주        수치      순위/선호     그룹 발견   이상 탐지   차원↓   주제 발견
     │           │           │            │          │        │        │
  분류        회귀        추천        K-Means     RCF /     PCA    LDA / NTM
     │           │           │                   IP Insights
  ┌──┴──┐    ┌───┴───┐   Factorization
 표  텍스트  표    시계열   Machines
  │    │      │       │
XGBoost │  XGBoost  DeepAR
Linear  │  Linear
KNN  BlazingText
  │
이미지 → Image Classification

분류 (Classification)

출력이 이산 범주일 때. 이진/다중/다중레이블로 나뉜다.

• 정확도만으로 부족할 때가 많다. 불균형 데이터(사기 1%)에서는 정밀도·재현율·F1·AUC를 본다.
• 이진/다중 구분은 predictor_type(Linear Learner)이나 objective(XGBoost)로 지정한다.

회귀 (Regression)

출력이 연속 수치일 때. 매출액, 가격, 수요량 예측 등.

• 후보: XGBoost(objective=reg:squarederror), Linear Learner(predictor_type=regressor).
• 시계열 수요 예측처럼 시간축이 핵심이면 회귀로 억지로 풀기보다 DeepAR(Day3)나 Amazon Forecast가 적합하다.
• 지표: RMSE, MAE, R². 이상치에 민감하면 MAE를 함께 본다.

군집 (Clustering)

레이블 없이 데이터를 자연스러운 그룹으로 묶는다. 고객 세분화, 문서 그룹핑.

• 후보: K-Means(SageMaker 빌트인). 클러스터 수 k를 미리 지정한다.
• 평가: 외부 정답이 없으므로 실루엣 계수, 엘보우(WCSS) 등 내부 지표로 k를 고른다.

추천 (Recommendation)

사용자-아이템 상호작용으로 선호를 예측한다.

• 후보: Factorization Machines(희소 고차원 상호작용에 강함), 신경망 기반 추천.
• 콜드 스타트, 희소성(대부분의 셀이 비어 있음)이 핵심 난점이다.

이상 탐지 (Anomaly Detection)

정상에서 벗어난 드문 사건을 찾는다. 레이블이 거의 없는 비지도 문제로 흔히 접근한다.

• 후보: Random Cut Forest(RCF), IP Insights(엔티티-IP 이상), 스트리밍은 Kinesis Data Analytics RCF.
• 불균형이 극단적(이상 0.1%)이라 분류로 풀기 어려운 경우가 많다.

"이상 탐지를 분류로 풀면 안 되나?"라는 함정이 있다. 이상 사례 레이블이 충분하고 패턴이 안정적이면 지도 분류도 가능하지만, 현실은 이상 사례가 극소수이고 새로운 형태로 끊임없이 변한다. 이때 정상만 학습해 벗어남을 측정하는 비지도 이상탐지(RCF 등)가 더 견고하다. 시험에서 "레이블이 거의 없다 / 새로운 형태의 이상" 단서가 보이면 분류보다 RCF 계열이 정답일 확률이 높다.

한눈에 보는 매핑 표

지표 해석표 — 유형이 정해지면 지표도 정해진다

⚠️ 함정: "사기가 전체의 1%"라는 문장이 지문에 있으면 accuracy가 들어간 보기는 오답이다. 전부 정상이라 찍어도 99%가 나오기 때문이다. 이 경우 재현율(놓치면 안 됨)이나 PR-AUC로 답이 이동한다.

알고리즘별 전처리 요구

문제 유형이 같아도 전처리 요구가 다르다. 시험은 "스케일링이 필요한가"를 반복해서 묻는다.

트리는 한 피처 안에서 임계값으로 자르는 방식이라 값의 순서만 유지되면 결과가 같다(단조 변환 불변). 반면 거리 기반과 선형 모델은 피처 값이 곧 거리·기울기 계산에 들어가므로 스케일 차이가 결과를 직접 왜곡한다. 이 한 줄이 스케일링 문제 전부를 가른다.

알고리즘 선택 시 추가 고려사항

선택은 문제 유형만으로 끝나지 않는다.

빌트인을 직접 쓸 것인가, 관리형 AI 서비스로 갈 것인가

지문에 "ML 전문 인력이 없다", "빠르게 출시", "모델을 직접 학습·관리하고 싶지 않다"가 보이면 빌트인 알고리즘이 아니라 상위 AI 서비스가 정답이다.

⚠️ 함정: 반대 방향의 함정도 있다. "우리 도메인 전용 피처를 섞어 정교하게 튜닝해야 한다"는 지문에 관리형 AI 서비스를 고르면 오답이다. 제어 수준 요구가 두 경로를 가른다.

지문 단서 → 정답 매핑표

시험 팁은 "지문 표현 → 후보 알고리즘"의 사전으로 외우는 것이 가장 빠르다.

출력 형태를 확정하기 전에 알고리즘 이름부터 고르면 틀린다. "고객 세분화"는 군집처럼 보이지만 지문에 세그먼트 레이블이 이미 존재하면 다중 분류가 정답이다. 레이블 유무가 지도/비지도를 뒤집는다.

시나리오를 푸는 5단계 순서

Specialty 지문은 제약을 여러 개 겹쳐 놓는다. 아래 순서로 읽으면 대부분 하나로 좁혀진다.

1. 출력 형태 확정 — 범주/수치/그룹/추천/이상/주제 중 무엇인가.
2. 레이블 유무 확인 — 없으면 지도학습 보기가 전부 탈락한다.
3. 데이터 형태 확인 — 표/텍스트/이미지/시계열/희소 중 무엇인가. 여기서 빌트인이 거의 하나로 좁혀진다.
4. 제약 대입 — 데이터 크기, 해석 가능성, GPU·비용, 실시간 여부.
5. 전처리·지표 정합성 검사 — 스케일링 요구와 불균형 지표가 보기와 모순되지 않는지 본다.

제약이 충돌하는 지문에서는 가장 화려한 기술이 아니라 모든 제약을 동시에 만족하는 선택이 정답이다. 제약을 하나라도 어기면(예: 레이블이 없는데 지도 분류) 나머지 장점과 무관하게 오답이다.

내일부터는 이 매핑 표의 각 빌트인 알고리즘(XGBoost, Linear Learner, K-Means, KNN)을 하나씩 깊이 파고든다.

📖 용어

• 지도학습 : 입력과 정답 레이블 쌍으로 매핑을 배우는 학습. 분류·회귀가 여기 속한다.
• 비지도학습 : 레이블 없이 데이터의 구조만으로 그룹·이상·주제를 찾는 학습.
• 다중 레이블(multi-label) : 한 샘플에 여러 정답이 동시에 붙는 문제. 사진 한 장에 태그 여러 개.
• 콜드 스타트 : 신규 사용자·상품·매장처럼 이력이 거의 없어 예측이 어려운 상황.
• 희소성(sparsity) : 행렬 대부분의 칸이 비어 있는 상태. 사용자-아이템 평점 행렬이 전형이다.
• 엘보우(WCSS) : 군집 수 k를 늘려가며 군집 내 제곱합 감소가 꺾이는 지점을 찾는 k 선택법.
• 실루엣 계수 : 한 점이 자기 군집에 얼마나 잘 붙어 있는지를 -1~1로 나타내는 군집 품질 지표.
• PR-AUC : precision-recall 곡선 아래 면적. 양성이 극히 드문 데이터에서 ROC-AUC보다 정직하다.
• 단조 변환 불변 : 값의 크기 순서만 유지되면 결과가 같은 성질. 트리 모델이 여기 해당해 스케일링이 불필요하다.
• SageMaker 빌트인 알고리즘 : AWS가 컨테이너로 제공해 코드 없이 하이퍼파라미터만으로 학습시킬 수 있는 알고리즘 모음.