Day 2 - Real-time Endpoint Operations: Configuration, Auto Scaling, Multi-Model

📌 핵심 정리

• 실시간 추론은 Model → EndpointConfig → Endpoint 세 리소스로 분리되며, 이 분리가 무중단 교체와 트래픽 분할의 토대다.
• 무중단 배포는 새 EndpointConfig를 만들고 UpdateEndpoint로 갈아끼우는 것. 새 플릿 기동 → 트래픽 이동 → 기존 플릿 종료.
• 오토스케일링은 Application Auto Scaling의 변형(variant) 단위로 걸며, 기본 지표는 SageMakerVariantInvocationsPerInstance + Target Tracking이다.
• MinCapacity는 0이 될 수 없다. 완전한 0 스케일이 필요하면 Serverless나 Async를 쓴다.
• MME(동일 컨테이너·수천 모델 동적 로딩) / MCE(서로 다른 컨테이너) / 추론 파이프라인(전처리→예측 직렬)의 구분이 시험 단골이다.

엔드포인트의 3계층 구조

어제 확인했듯 실시간 엔드포인트는 네 가지 추론 옵션 중 운영 부담이 가장 크다. 상시 가동 인스턴스 위에서 안정적인 저지연 서비스를 하려면 구성·스케일링·비용 통제를 함께 이해해야 한다. 그 출발점이 SageMaker가 리소스를 세 겹으로 쪼개 놓았다는 사실이다.