Day 5 - Week 8 Review: Training, Tuning, Generalization

📌 핵심 정리

• Week 8은 도메인 3(Modeling) 후반부 — 학습시키고(Day1), 튜닝하고(Day2), 일반화시키고(Day3), 잘 수렴시키는(Day4) 네 흐름이다.
• 모든 문제는 최적화 축(학습 손실을 잘 줄이는가: 학습률·배치·그래디언트)과 일반화 축(새 데이터에 맞는가: 정규화·데이터·검증)으로 갈린다. 증상이 어느 축인지부터 판별하라.
• 데이터 규모·모델 크기·비용 → 학습 인프라(입력 모드·분산·Spot), 효율·비용 → 튜닝 전략(Bayesian/Hyperband/조기종료).
• 격차 크기 → 과적합/과소적합 처방, 증상 → 최적화 원인과 도구(품질=Debugger, 자원=Profiler).
• 단골 함정: 과적합에 에폭·모델 확대, Spot에 체크포인트 누락(max_wait >= max_run), 불균형 데이터에 Accuracy 목표 지표.

주간 흐름 한눈에

[Day1] 학습 실행 기반
  Estimator → 입력 모드(File/Pipe/FastFile) → 분산(데이터/모델 병렬) → Spot+체크포인트
 
[Day2] 하이퍼파라미터 튜닝(AMT)
  탐색 공간·목표 지표 → 전략(Bayesian/Random/Grid/Hyperband) → 조기 종료 → 워밍 스타트