Day 3 - 디버깅과 프로파일링: SageMaker Debugger와 Profiler

📌 핵심 정리

• Debugger = 모델 내부(텐서), Profiler = 시스템 자원. 증상이 학습 품질이면 Debugger, 속도·비용이면 Profiler.
• Debugger는 텐서를 S3에 저장하고 내장 규칙(vanishing_gradient, exploding_tensor, loss_not_decreasing, overfit 등)으로 이상을 감지한다.
• 감지 ≠ 자동 중단 — 규칙에 StopTraining 같은 action을 붙여야 비용이 막힌다. 시험 단골 함정.
• Profiler는 GPU 저활용·데이터 로딩·CPU 병목을 찾아낸다. GPU가 노는 것은 대개 모델이 아니라 데이터 파이프라인 문제.
• 전반 메트릭·로그·알람은 CloudWatch, 학습 곡선 시각화는 TensorBoard가 맡는다.

Debugger와 Profiler의 역할 분리

손실이 줄지 않거나, 비싸게 빌린 GPU의 활용률이 30%에 머문다면 학습 내부를 들여다봐야 한다. 먼저 두 도구의 관심사를 명확히 가른다.