Day 2 - 분산 학습: 데이터 병렬과 모델 병렬

📌 핵심 정리

• 분산 학습의 갈림길은 하나 — 무엇을 쪼개느냐. 데이터를 쪼개면 데이터 병렬, 모델을 쪼개면 모델 병렬.
• 데이터 병렬(SMDDP): 각 GPU가 모델 복제본을 갖고 배치 조각을 처리 → 그래디언트를 all-reduce로 평균. 속도(처리량) 문제를 푼다.
• 모델 병렬/샤딩(SMP): 모델·옵티마이저 상태를 GPU 간에 나눈다. OOM(모델이 안 들어감) 문제를 푼다.
• 시험 매핑: "느리다·데이터가 크다" → 데이터 병렬 / "OOM·수십억 파라미터" → 모델 병렬. OOM을 GPU 추가로 풀면 오답.
• 인프라도 함께 본다 — 노드 간 통신은 EFA, 데이터 공급은 FSx for Lustre.

데이터 병렬 vs 모델 병렬

모델이 한 장비에 안 들어가거나 데이터가 너무 많아 한 GPU로는 며칠이 걸릴 때 학습을 여러 장비·GPU로 쪼갠다. 두 패러다임을 먼저 명확히 구분한다.