이번 주는 "데이터를 어떻게 변환하고, 어떻게 흐름을 조율하며, 어떻게 싸고 빠르게 만드는가"를 다뤘다. Week 4까지의 Glue가 서버리스 ETL의 기본이었다면, Week 5는 그 주변을 둘러싼 더 큰 도구 상자다 — 대규모 처리를 위한 EMR, 경량 이벤트 처리를 위한 Lambda, 흐름을 엮는 오케스트레이션, 그리고 모든 것을 관통하는 성능·비용 최적화다. 오늘은 이 네 축을 하나의 의사결정 지도로 다시 묶는다.
[변환 엔진 선택] [오케스트레이션] [최적화 레이어]
Lambda : 경량·이벤트 Step Functions: AWS네이티브 포맷: Parquet/ORC
Glue : 서버리스 ETL MWAA(Airflow) : 복잡·멀티 압축: Snappy/Zstd
EMR : 대규모·제어 Glue Workflows: Glue전용 파티션: 날짜 등
EMR S. : 서버리스 빅데이터 파일크기: 128MB~1GB
이 세 열은 독립적이지 않다. 실제 파이프라인은 "오케스트레이터가 변환 엔진들을 순서대로 호출하고, 그 결과를 최적화된 포맷·파티션으로 저장"하는 식으로 세 축이 맞물린다.