Day 2 - 학습 데이터 파이프라인 자동화: Step Functions와 SageMaker Pipelines

어제 우리는 Glue와 EMR으로 데이터를 변환하는 법을 배웠다. 그런데 실무에서 변환은 한 번 돌리고 끝나지 않는다. 새 데이터가 들어올 때마다, 혹은 매일 정해진 시각에 추출 → 변환 → 검증 → 학습 → 평가를 자동으로 반복해야 한다. 이 반복을 사람이 손으로 돌리면 실수가 나고 재현성이 깨진다.

오늘은 AWS에서 이 ML 워크플로를 자동화하는 두 축, AWS Step Functions와 Amazon SageMaker Pipelines를 다룬다. MLS-C01은 "어떤 오케스트레이션 도구를 언제 선택하는가"를 자주 묻는다.

왜 오케스트레이션이 필요한가

ML 워크플로는 여러 단계가 순서·조건·의존성을 갖고 엮여 있다. 예를 들어:

[데이터 추출] → [전처리] → [데이터 품질 검증]
                                  │
                  품질 통과 ──────┤──── 품질 실패 → 경보 후 중단
                  │
                  ▼
            [모델 학습] → [모델 평가] → 정확도 기준 충족?
                                          │
                  충족 → [모델 등록·배포]  │  미충족 → 재학습 or 알림

이런 분기·재시도·병렬 처리를 코드 한 덩어리로 관리하면 깨지기 쉽다