Day 1 - Model Monitoring: SageMaker Model Monitor and Drift Response

📌 핵심 정리

• 배포 직후가 아니라 몇 달 뒤가 위험하다. 검증 95%였던 모델이 운영에서 60%로 조용히 무너지는 이유는 세상이 변해 데이터가 드리프트했기 때문이다.
• 드리프트는 데이터 드리프트(X 분포)·컨셉 드리프트(X→Y 관계)·레이블 드리프트(Y 분포) 3종. 정답 없이 오늘 잡을 수 있는 건 데이터 드리프트다.
• Model Monitor는 Data Quality / Model Quality / Bias Drift / Feature Attribution Drift 4종이고, 정답 레이블이 필요한 건 Model Quality(및 Bias 일부)뿐이다.
• 흐름은 고정이다: Data Capture → 베이스라인(statistics.json·constraints.json) → 스케줄 → constraint_violations.json → CloudWatch 경보 → EventBridge → 재학습.
• 의도적으로 재학습해 분포를 바꿨다면 베이스라인을 반드시 재생성한다. 안 하면 정당한 변화가 매 실행 오탐으로 쏟아진다.

배포 후 모니터링이 필요한 이유

배포된 모델은 학습 시점에 배운 패턴에 의존하는데, 현실의 분포는 배포한 그날부터 이동한다.