Day 5 - Week 2 종합 복습: 변환부터 분산 학습 데이터 공급까지

이번 주는 "데이터를 어떻게 가공하고, 자동화하고, 보강하고, 효율적으로 학습에 공급하는가"를 다뤘다. 데이터 엔지니어링의 두 번째 축인 변환·파이프라인이다. 오늘은 Day 1~4를 하나의 흐름으로 다시 엮으며, 시험에서 헷갈리기 쉬운 선택 기준을 정리한다.

한 장으로 보는 Week 2 흐름

[원시 데이터]
   │  Day1: 변환(ETL)
   ▼  Glue(서버리스 Spark) / EMR(풀컨트롤 클러스터)
[정제·가공 데이터]
   │  Day2: 파이프라인 자동화
   ▼  Step Functions(범용) / SageMaker Pipelines(ML 전용) + EventBridge 트리거
[재현 가능한 학습 데이터셋]
   │  Day3: 증강·합성·불균형 대응
   ▼  증강(반전·역번역) / 합성(GAN) / SMOTE·가중치
[충분하고 균형 잡힌 데이터셋]
   │  Day4: 저장·접근 최적화
   ▼  File/Pipe/FastFile mode / FSx for Lustre / ShardedByS3Key
[학습 작업에 효율적으로 공급] → 모델 학습

핵심 메시지: 데이터 준비는 변환 한 단계로 끝나지 않는다. 가공 → 자동화 → 보강 → 효율적 공급이 모두 모델 품질과 비용에 직결된다.

Day 1 복습 — 변환과 ETL

• ETL = Extract(추출) → Transform(변환) → Load(적재)