Day 3 - 하이퍼파라미터 튜닝(AMT): 베이지안·랜덤·그리드, 조기 종료, 워밍 스타트

📌 핵심 정리

• AMT는 목표 지표 + 하이퍼파라미터 범위 + 탐색 전략으로 여러 Training Job을 자동 실행해 최적 조합을 찾는다.
• 탐색 전략: 기본은 Bayesian(이전 결과를 반영, 순차 의존). 독립 병렬은 Random, 전수 조사는 Grid(범주형), 긴 딥러닝 조기 중단은 Hyperband.
• 조기 종료(early_stopping_type='Auto')는 가망 없는 학습을 중간에 끊어 컴퓨팅 비용을 줄인다.
• 워밍 스타트는 이전 튜닝 결과를 출발점으로 재사용한다 — 동일 조건은 IDENTICAL_DATA_AND_ALGORITHM, 데이터가 바뀌었으면 TRANSFER_LEARNING.
• Bayesian은 순차 학습이 이점이므로 max_parallel_jobs를 과하게 올리면 오히려 효율이 떨어진다.

하이퍼파라미터 튜닝이란

어제 고른 알고리즘에는 max_depth, eta, num_round 같은 손잡이가 달려 있다. 조합이 수십 수백 가지라 손으로 돌려보긴 어렵고, SageMaker **Automatic Model Tuning(AMT)**이 이 탐색을 자동화한다. 여러 개의 학습 작업을 자동으로 띄워 각기 다른 조합으로 학습한 뒤 **목표 지표(objective metric)**가 가장 좋은 조합을 찾아준다.

핵심 구성요소는 세 가지다.