어제는 데이터가 흐르는 파이프라인을 복습했습니다. 오늘은 그 파이프라인을 **안정적으로 운영(도메인 3, 약 22%)**하고 **안전하게 보호(도메인 4, 약 18%)**하는 영역을 묶어 봅니다. 이 두 영역은 "장애가 나면 어떻게 알고 복구하는가", "데이터는 누가 접근하고 어떻게 암호화되는가"라는 운영 현실의 질문으로 자주 출제됩니다.
여러 작업을 순서·의존성에 맞게 묶는 것이 오케스트레이션입니다.
| 요구사항 | 서비스 | 특징 |
|---|---|---|
| 데이터 워크플로 스케줄·의존성(Airflow) | Amazon MWAA | 관리형 Apache Airflow, DAG 기반 |
| 서버리스 상태 기계, 시각적 분기·재시도 | AWS Step Functions | Lambda/Glue/EMR 등 단계 조율 |
| Glue 잡·크롤러 전용 흐름 | Glue Workflows | Glue 내장 트리거·워크플로 |
| 단순 cron 스케줄 트리거 | EventBridge Scheduler | 시간 기반 이벤트 |
💡 관련 이론: "기존 Airflow DAG을 그대로 쓰고 싶다"면 MWAA, "이기종 AWS 서비스(Lambda·ECS·Glue)를 분기·재시도·병렬로 조율"하려면 Step Functions가 정답입니다. Glue 잡만 엮는다면 Glue Workflows로 충분합니다.