Day 5 - 6주차 종합 복습: 알고리즘 선택과 SageMaker 내장 알고리즘

흐름 지도: 문제에서 빌트인까지

이번 주는 MLS-C01 도메인 3(Modeling)의 출발점 — 알고리즘 선택과 SageMaker 빌트인 — 을 다뤘다. 시험의 모델링 문항은 거의 항상 "문제 유형 식별 → 알고리즘 부류 → 구체적 빌트인" 순으로 좁혀진다. 오늘은 나흘치를 하나의 의사결정 흐름으로 복습하고, 가장 헷갈리는 비교를 정리한다.

[비즈니스 문제]
   │
   ├─ 1) 출력 형태로 ML 유형 식별 (Day1)
   │     범주 → 분류 | 수치 → 회귀 | 그룹 발견 → 군집
   │     추천 → 추천 | 희귀 사건 → 이상 탐지 | 주제 → 토픽 모델
   │     (레이블 있음 = 지도 / 없음 = 비지도)
   │
   ├─ 2) 데이터 형태로 빌트인 좁히기 (Day2~4)
   │     표 형식  → XGBoost / Linear Learner / KNN / K-Means
   │     텍스트   → BlazingText
   │     이미지   → Image Classification
   │     시계열   → DeepAR
   │     희소 추천 → Factorization Machines
   │     이상     → Random Cut Forest / IP Insights
   │     차원     → PCA
   │     주제     → LDA / NTM
   │
   └─ 3) 세부 확정
         스케일링이 필요한가 (거리/선형=필요, 트리=불필요)
         과적합/과소적합 조정, 입력 포맷(RecordIO-protobuf 등)

Week 6 통합 매핑표

💡 관련 이론: 이번 주를 관통하는 원칙은 하나다 — "데이터 형태와 출력 형태가 알고리즘을 결정한다." 같은 분류라도 정형이면 XGBoost, 텍스트면 BlazingText, 이미지면 Image Classification이다. 같은 비지도라도 그룹 발견이면 K-Means, 이상이면 RCF, 차원 축소면 PCA, 주제면 LDA/NTM이다. 시험은 데이터 형태(표/텍스트/이미지/시계열/희소)와 목표(예측/그룹/이상/주제/압축)를 시나리오에 심어 두고 그 조합으로 정확히 하나의 알고리즘으로 좁힌다. 그래서 "조합 → 빌트인" 매핑을 외우는 것이 가장 빠르다.

빌트인별 "이것만은" 하이퍼파라미터

보기에 파라미터 이름이 등장하면, 그 이름이 어느 알고리즘 소속인지만 알아도 답이 갈린다.

                       [지문 한 문장을 읽는다]
                                │
              "레이블"이라는 말이 있는가? ──아니오──┐
                                │예                │
                     출력이 무엇인가?          무엇을 하고 싶은가?
        ┌──────────┬────────────┼──────────┐      ├─ 그룹 → K-Means
      범주        수치        순위/선호    │      ├─ 이상 → RCF / IP Insights
        │           │            │         │      ├─ 압축 → PCA
   데이터 형태?  시계열인가?   Factorization│      └─ 주제 → LDA / NTM
   ├─ 표 → XGBoost / ├─ 예 → DeepAR  Machines
   │        Linear / │
   │        KNN      └─ 아니오 → XGBoost / Linear
   ├─ 텍스트 → BlazingText(supervised)
   └─ 이미지 → Image Classification
                  (위치까지면 Object Detection)

헷갈리는 짝 비교표

💡 관련 이론: 스케일링 필요 여부는 알고리즘 부류에서 바로 답이 나온다. 거리 기반(KNN, K-Means), 선형 모델(Linear Learner), PCA는 피처 스케일이 결과를 왜곡하므로 스케일링이 필수다. 반면 트리 기반(XGBoost)은 각 피처를 독립적으로 임계값 분할하므로 스케일에 불변이다. 시험의 전처리·알고리즘 함정(예: "XGBoost는 반드시 표준화해야 한다")은 이 원칙 하나로 걸러진다.

지문 단서 → 정답 매핑표 (통합)

지표와 튜닝 방향 요약

자가 점검

정답을 머릿속으로 떠올려 본다.

1. 정형 데이터의 비선형 분류에서 기본이 되는 빌트인은? → XGBoost
2. 수천 개 관련 시계열의 확률적 수요 예측은? → DeepAR
3. 사용자-아이템 희소 추천의 권장 입력 포맷은? → RecordIO-protobuf
4. KNN과 K-Means가 공통으로 요구하는 전처리는? → 피처 스케일링
5. 계정이 평소와 다른 IP에서 로그인하는 이상 탐지는? → IP Insights
6. 문서 집합에서 주제를 발견하되 대규모·GPU를 선호하면? → NTM
7. SageMaker의 "LDA"는 무엇인가? → 토픽 모델(Latent Dirichlet Allocation)
8. K-Means에서 반드시 사전 지정해야 하는 값은? → 클러스터 수 k
9. 이미지 데이터가 적을 때의 정석 조합은? → 전이 학습 + 데이터 증강
10. 차원이 매우 큰 데이터의 PCA 모드는? → randomized

오답 노트 — 자주 걸리는 다섯 가지

종합 시험 팁

• 1단계: 출력 형태(범주/수치/그룹/추천/이상/주제)와 레이블 유무로 ML 유형을 확정한다.
• 2단계: 데이터 형태(정형/텍스트/이미지/시계열/희소)로 빌트인을 하나로 좁힌다.
• "텍스트/이미지/시계열"이라는 단어는 일반 XGBoost를 밀어내고 전문 빌트인 답으로 민다.
• "레이블 없음 + 희귀/새로운 이상"은 RCF, "엔티티-IP"는 IP Insights.
• 거리/선형/PCA에서 "스케일링 생략" 보기는 오답이고, XGBoost에 "반드시 스케일링"도 오답이다.
• 입력 포맷: 희소·대규모 효율은 RecordIO-protobuf, 토픽 모델은 BoW, DeepAR는 JSON Lines.

다음 주(Week 7)는 실제로 모델을 학습하고 튜닝하는 단계로 넘어간다 — 학습 인프라, 하이퍼파라미터 최적화(Automatic Model Tuning), 정규화와 과적합 제어.

📖 용어

• 모델링 도메인(도메인 3) : MLS-C01 시험 영역 중 알고리즘 선택·학습·튜닝·평가를 다루는 부분.
• 빌트인 알고리즘 : AWS가 컨테이너로 제공해 코드 없이 하이퍼파라미터만으로 학습시킬 수 있는 알고리즘.
• RecordIO-protobuf : 다수 빌트인이 권장하는 이진 입력 포맷. 희소·대규모 데이터에서 효율적이다.
• BoW(Bag-of-Words) : 단어 순서를 버리고 빈도만 세어 문서를 벡터로 만드는 표현. 토픽 모델의 입력.
• JSON Lines : 한 줄에 JSON 객체 하나를 담는 포맷. DeepAR가 시계열 하나를 한 줄로 받는다.
• 분위수 예측 : 단일 값이 아니라 P10/P50/P90처럼 확률 구간으로 미래를 예측하는 방식.
• 전이 학습 : 사전학습된 가중치에서 출발해 적은 데이터로 미세 조정하는 기법.
• 스케일 불변 : 값의 크기 순서만 유지되면 결과가 같은 성질. 트리 계열이 여기 해당한다.
• 잠재 요인 : 사용자·아이템을 설명하는 저차원 숨은 특성 벡터. FM의 num_factors가 차원을 정한다.
• 설명 분산 비율 : PCA에서 선택한 주성분이 원본 데이터의 분산을 얼마나 보존하는지 나타내는 비율.