Day 4 - 학습 최적화: 배치 크기·학습률, 그래디언트 문제, Debugger/Profiler

📌 핵심 정리

• 과적합·과소적합이 "무엇을 학습하는가"였다면, 오늘은 **"어떻게 잘 수렴시키는가"**다. 같은 모델·데이터라도 배치·학습률·그래디언트 안정성에 따라 발산하거나 정체한다.
• 손실 NaN·발산·진동 → 학습률 과다 또는 그래디언트 폭발. 처방은 학습률 인하 + 그래디언트 클리핑.
• 앞쪽 층이 안 배우고 손실 정체 → 그래디언트 소실. 처방은 ReLU 계열, 배치 정규화, 잔차 연결, 적절한 초기화.
• OOM → 배치 축소, 그래디언트 누적, 혼합 정밀도. 배치를 키우면 학습률도 함께 키우는 것이 경험칙(선형 스케일링).
• 도구 한 줄 구분: 학습 품질 이상 = Debugger, 자원·병목·비용 = Profiler. 배포 후 드리프트는 Model Monitor다.

학습 루프 한눈에 보기

       ┌──────────────── 1 스텝(step) ────────────────┐
데이터 →│ 배치 샘플링 → 순전파 → 손실 계산 → 역전파(그래디언트) → 가중치 갱신 │→ 다음 스텝
       └──────────────────────────────────────────────┘
          ↑배치 크기      ↑활성화 함수    ↑소실/폭발      ↑학습률·스케줄