Day 4 - 학습 최적화: 배치 크기·학습률, 그래디언트 문제, Debugger/Profiler

과적합·과소적합이 "무엇을 학습하는가"의 문제였다면, 오늘은 "어떻게 잘 수렴시키는가"의 문제다. 같은 모델·데이터라도 배치 크기, 학습률 스케줄, 그래디언트 안정성에 따라 학습이 발산하거나, 안 움직이거나, 느리게 수렴한다. 또 SageMaker는 이 과정을 들여다보는 Debugger와 자원 효율을 보는 Profiler를 제공한다. 시험은 학습이 잘 안 될 때의 원인 진단과 도구 선택으로 출제한다.

배치 크기(Batch Size)

한 번의 가중치 업데이트에 쓰는 샘플 수다.

• 배치를 키우면 보통 학습률도 함께 키워야 수렴 속도가 유지된다(선형 스케일링 경험칙).
• GPU 메모리 초과(OOM)의 흔한 원인이 과도한 배치 크기다 → 배치 축소 또는 gradient accumulation.

💡 관련 이론: 작은 배치의 그래디언트 잡음은 손실 표면의 날카로운 최소점을 빠져나와 더 평탄하고 일반화 좋은 영역으로 향하게 돕는다는 관점이 있다. 반대로 매우 큰 배치는 그래디언트가 정확해져 안정적이지만 이런 탐색성을 잃어 일반화가 떨어질 수 있다