Day 5 - Week 2 Comprehensive Review: From Transformation to Distributed Training Data Supply

📌 핵심 정리

• Week 2는 데이터 엔지니어링의 두 번째 축 — 변환 → 자동화 → 증강 → 효율적 공급을 다뤘다.
• Glue = 서버리스·운영 최소, EMR = 세밀 제어·다중 프레임워크. 판단 축은 운영 부담·워크로드 성격·프레임워크 다양성.
• Step Functions = 범용·혼합 워크플로, SageMaker Pipelines = ML 전용·lineage. 혼합 구성도 정석이다.
• 불균형은 데이터 층(SMOTE) + 알고리즘 층(가중치·임계값) + 평가 층(PR-AUC) 3층으로 대응한다.
• 데이터 공급의 목표는 하나다 — 비싼 GPU가 I/O를 기다리며 놀지 않게 하는 것.

Week 2 흐름 한눈에 보기