Day 4 - 학습 최적화: 배치 크기·학습률, 그래디언트 문제, Debugger/Profiler

학습 루프 한눈에 보기

       ┌──────────────── 1 스텝(step) ────────────────┐
데이터 →│ 배치 샘플링 → 순전파 → 손실 계산 → 역전파(그래디언트) → 가중치 갱신 │→ 다음 스텝
       └──────────────────────────────────────────────┘
          ↑배치 크기      ↑활성화 함수    ↑소실/폭발      ↑학습률·스케줄
 
  배치 크기  : 한 번의 갱신에 쓰는 샘플 수  → 메모리·GPU 활용·일반화에 영향
  학습률     : 한 스텝에 가중치를 얼마나 움직일지 → 발산 vs 정체를 가른다
  그래디언트 : 층을 거슬러 곱해지며 0으로 사라지거나(소실) 폭주(폭발)
  1 에폭     : 전체 학습 데이터를 한 번 다 훑는 것 = (샘플 수 / 배치 크기) 스텝

배치 크기(Batch Size)

한 번의 가중치 업데이트에 쓰는 샘플 수다.

배치 크기 ↔ 학습률 ↔ 일반화 트레이드오프

• 배치를 키우면 보통 학습률도 함께 키워야 수렴 속도가 유지된다(선형 스케일링 경험칙).
• GPU 메모리 초과(OOM)의 흔한 원인이 과도한 배치 크기다 → 배치 축소 또는 gradient accumulation.

작은 배치의 그래디언트 잡음은 손실 표면의 날카로운 최소점을 빠져나와 더 평탄하고 일반화 좋은 영역으로 향하게 돕는다는 관점이 있다. 반대로 매우 큰 배치는 그래디언트가 정확해져 안정적이지만 이런 탐색성을 잃어 일반화가 떨어질 수 있다. 그래서 배치 크기는 단순 속도 문제가 아니라 최적화·일반화 트레이드오프다.

학습률과 스케줄

학습률(learning rate)은 한 스텝에 가중치를 얼마나 움직일지다. 학습에서 가장 민감한 하이퍼파라미터.

너무 큼  → 손실이 발산하거나 진동(NaN loss)
너무 작음 → 수렴이 매우 느리고 지역 최소에 갇힘
적정     → 안정적으로 감소

판별 신호:

• "손실이 NaN / 발산 / 크게 진동" → 학습률이 너무 큼.
• "학습이 거의 안 움직임 / 너무 느림" → 학습률이 너무 작음 또는 그래디언트 소실.

그래디언트 문제: 소실과 폭발

깊은 신경망에서 역전파 시 그래디언트가 곱해지며 생기는 문제다.

증상 → 원인 → 처방 표

hyperparameters = {
    "gradient_clipping": 1.0,   # 그래디언트 노름 상한
    "lr_scheduler": "cosine",
}

시그모이드·tanh는 포화 구간에서 미분값이 0에 가까워, 깊은 망에서 그래디언트가 연쇄적으로 0으로 수렴(소실)한다. ReLU는 양수 구간 미분이 1이라 이를 완화한다. 폭발은 반대로 1보다 큰 값이 연쇄 곱해져 발산하는 것이며, 그래디언트 클리핑으로 노름 상한을 둬 억제한다. 배치 정규화와 잔차 연결은 양쪽 문제 모두를 완화하는 구조적 장치다.

SageMaker Debugger

학습 중 텐서(그래디언트, 가중치, 손실 등)를 캡처해 학습 이상을 자동 탐지한다.

• 규칙 위반 시 CloudWatch 이벤트 발생 → 자동 알림이나 학습 조기 중단 트리거 가능.
• 텐서를 S3에 저장해 사후 분석.

from sagemaker.debugger import Rule, rule_configs
 
rules = [
    Rule.sagemaker(rule_configs.vanishing_gradient()),
    Rule.sagemaker(rule_configs.loss_not_decreasing()),
]
est = Estimator(..., rules=rules)

판별 신호: "학습 도중 그래디언트 소실/폭발·과적합·손실 정체를 자동으로 탐지·알림" → Debugger.

SageMaker Profiler

학습의 시스템 자원·성능 병목을 분석한다(모델 품질이 아니라 효율).

• CPU/GPU 사용률, GPU 메모리, I/O 대기, 데이터 로딩 병목 등 시스템 메트릭을 수집한다.
• "GPU가 놀고 있다(저활용)", "데이터 로딩이 병목", "CPU 바운드" 같은 진단과 권고 리포트를 낸다.
• 비용 최적화: 인스턴스가 비효율적으로 쓰이면 더 작은/적은 인스턴스를 권고한다.

관찰 도구 비교 — 헷갈리는 셋

판별 신호:

• "학습 품질 이상(소실/폭발/과적합)" → Debugger.
• "자원 활용·병목·GPU 저활용·학습 속도/비용 비효율" → Profiler.

⚠️ 함정: Debugger·Profiler·Model Monitor 셋을 섞은 보기가 있다. 품질=Debugger / 자원=Profiler / 배포 후 드리프트=Model Monitor, 이 한 줄이면 대부분 갈린다.

학습 최적화 추가 기법

⚠️ 함정: "GPU 메모리 초과"라고 무조건 모델 병렬이 답은 아니다. 모델 자체가 안 들어가면 모델 병렬, 배치 때문이면 그래디언트 누적·혼합 정밀도·배치 축소다.

학습이 잘 안 될 때 진단 트리

학습이 기대대로 되지 않는다
├─ 작업이 아예 실패하는가?
│    └─ OOM 오류 → 메모리 문제
│         ├─ 모델 자체가 단일 GPU에 안 들어감 → 모델 병렬(Day1)
│         └─ 배치 때문 → 배치↓ / 그래디언트 누적 / 혼합 정밀도
├─ 손실이 NaN·발산·큰 진동인가?
│    └─ 예 → 학습률 과다 또는 그래디언트 폭발
│              → 학습률↓ + 그래디언트 클리핑 (+ 배치 정규화)
├─ 손실이 거의 안 줄고 평탄한가?
│    ├─ 앞쪽 층 가중치가 거의 안 변함 → 그래디언트 소실
│    │      → ReLU 계열 / 배치 정규화 / 잔차 연결 / 초기화 재검토
│    └─ 전 구간이 느리게만 감소 → 학습률 과소 → 학습률↑, warmup
├─ 손실은 잘 줄지만 학습이 느리고 비싼가?
│    └─ 예 → 자원 문제 → Profiler로 병목 확인
│              ├─ GPU 유휴 / I/O 대기 → 입력 파이프라인 개선
│              └─ 전 구간 저활용 → 인스턴스 축소로 비용 절감
└─ 손실은 줄지만 검증이 나빠지는가?
     └─ 예 → 일반화 문제(Day3) → 정규화·증강·조기 종료
              (Debugger의 overfit / overtraining 규칙으로 자동 탐지 가능)

지문 단서 → 정답 매핑

내일은 Week 8 전체(학습 작업·AMT·일반화·최적화)를 종합 복습하며 시험 관점으로 묶는다.

📖 용어

• 배치 크기(batch size) : 가중치를 한 번 갱신할 때 쓰는 샘플 수. 메모리와 GPU 활용, 일반화에 동시에 영향을 준다.
• 학습률(learning rate) : 한 스텝에 가중치를 얼마나 움직일지 정하는 값. 학습에서 가장 민감한 하이퍼파라미터.
• 학습률 스케줄 / warmup : 학습이 진행되면서 학습률을 점점 줄이는(step·exponential·cosine) 규칙 / 반대로 초반에 아주 작게 시작해 서서히 키워 초기 불안정을 줄이는 구간.
• 그래디언트 소실(vanishing gradient) : 역전파에서 기울기가 층을 거치며 0에 가까워져 앞쪽 층이 학습되지 않는 현상. 시그모이드·tanh의 포화가 주범이다.
• 그래디언트 폭발(exploding gradient) : 반대로 기울기가 연쇄적으로 커져 손실이 NaN으로 발산하는 현상. 그래디언트 클리핑으로 노름에 상한을 둬 억제한다.
• 잔차 연결(residual connection) / 배치 정규화 : 입력을 몇 개 층 건너뛰어 더해 기울기가 지름길로 흐르게 하는 구조(ResNet) / 층 출력을 배치 단위로 정규화해 학습을 안정시키는 기법. 둘 다 소실·폭발을 완화한다.
• 혼합 정밀도 / 그래디언트 누적 : FP16/BF16을 섞어 써 메모리를 줄이고 속도를 높이는 방법 / 작은 배치들의 기울기를 모아 한 번에 갱신해 큰 배치 효과를 내는 기법. 둘 다 OOM 회피에 쓴다.
• SageMaker Debugger : 학습 중 텐서를 캡처해 소실·폭발·과적합 등 품질 이상을 내장 규칙으로 자동 탐지하고 CloudWatch 이벤트를 띄우는 기능.
• SageMaker Profiler : CPU/GPU 사용률과 I/O 등 시스템 자원을 분석해 병목과 비용 비효율을 짚어주는 기능.
• OOM(Out Of Memory) : GPU 메모리 초과 오류. 배치가 과대하거나 모델 자체가 디바이스에 안 들어갈 때 발생한다.