Day 1 - SageMaker Model Monitor: 데이터 품질·모델 품질 드리프트

📌 핵심 정리

• 드리프트는 학습 당시의 세상과 운영 중인 세상이 어긋나는 현상. 방치하면 모델 성능이 조용히 무너진다.
• Model Monitor는 데이터 품질 · 모델 품질 · 편향 드리프트 · 피처 기여도 드리프트 4종을 제공한다(뒤 둘은 Day 2).
• 모든 모니터링은 Data Capture로 요청·응답을 S3에 저장하는 것에서 출발한다. 캡처를 안 켜면 볼 데이터가 없다.
• 베이스라인(statistics.json + constraints.json, 내부적으로 Deequ)이 "정상"의 기준. cron 스케줄이 주기마다 Processing Job을 띄워 비교한다.
• 데이터 품질은 입력 X의 분포를 라벨 없이 보고, 모델 품질은 ground truth를 병합해 실제 성능 저하를 본다.

모니터링 파이프라인 한 장

Model Monitor의 전 과정은 아래 흐름 하나로 요약된다. 시험 문제 대부분이 이 그림의 어느 칸을 묻는 것이다.