Day 4 - Data Storage and Access Optimization: Pipe vs File Mode, FSx for Lustre, Distributed Training

📌 핵심 정리

• 데이터를 잘 준비해도 읽는 속도가 느리면 GPU가 논다. I/O 병목은 실무에서 가장 비싼 낭비다.
• File(전체 다운로드 후 시작) / Pipe(스트리밍, 즉시 시작) / FastFile(스트리밍 + POSIX 접근)의 트레이드오프는 시작 지연 vs 랜덤 접근 유연성.
• FSx for Lustre는 대규모 + 반복 읽기 + 저지연 + 분산일 때 값을 한다. 단발성 소규모엔 과하다.
• 분산 학습은 데이터 병렬(모델 복제, 데이터 분할)과 모델 병렬(모델 자체를 쪼갬)로 나뉜다.
• ShardedByS3Key는 데이터가 여러 S3 객체로 나뉘어 있어야 효과가 난다. 단일 거대 파일엔 무효.

SageMaker 입력 모드

SageMaker 학습 잡이 S3의 데이터를 컨테이너로 가져오는 방식은 여러 가지다. "어떻게 학습 컨테이너로 데이터를 흘려보내는가"가 성능과 비용에 직결된다.

File 모드 (기본)

학습 시작 전에 S3 데이터를 컨테이너의 EBS 볼륨으로 전부 다운로드한 다음 학습을 시작한다.

• 장점: 단순하고 안정적. 데이터를 로컬 파일처럼 다룬다. 여러 에폭 반복 읽기에 유리하다.
• 단점: 데이터가 크면 다운로드가 끝날 때까지 학습이 시작되지 않는다(시작 지연)