모델을 배포했다고 끝이 아니다. 세상은 변하고, 어제 정확하던 모델은 오늘 조용히 틀리기 시작한다. 입력 데이터의 분포가 바뀌고(데이터 드리프트), 예측 대상의 관계가 바뀌면(컨셉 드리프트) 모델은 자기도 모르게 망가진다. 오늘은 SageMaker Model Monitor로 운영 중인 엔드포인트를 감시하고, 드리프트가 감지되면 재학습으로 연결하는 운영 루프를 다룬다.
학습 시점의 데이터 분포와 운영 시점의 트래픽은 시간이 지나며 벌어진다. 이를 그대로 두면 모델 성능이 서서히 저하되지만, 정확도 같은 정답(ground truth)은 한참 뒤에야 도착하거나 아예 오지 않는다. 그래서 정답 없이도 감시할 수 있는 입력 분포 변화를 먼저 본다.
드리프트 종류
- Data drift(공변량 시프트): 입력 X의 분포가 변함 (예: 평균 나이 35→48)
- Concept drift: X와 Y의 관계가 변함 (예: 같은 특성이라도 이탈 패턴이 변함)
- Label drift: 타깃 Y의 분포가 변함 (예: 사기 비율 0.5%→3%)💡 관련 이론: 시험에서 "모델 정확도가 시간이 지나며 떨어진다, 정답 레이블은 즉시 얻을 수 없다, 무엇을 모니터링하는가?"라는 문제가 나오면 답은 거의 항상 입력 데이터의 통계적 변화를 감시하는 데이터 품질(Data Quality) 모니터링이다