Day 2 - 실시간 엔드포인트: 구성, 오토스케일링, 인스턴스 선택

📌 핵심 정리

• 실시간 배포는 Model → EndpointConfig → Endpoint 3계층. 이 분리가 무중단 배포·A/B·카나리를 가능케 한다.
• 새 모델 배포는 새 EndpointConfig를 만들고 update_endpoint → SageMaker가 blue/green으로 갈아 끼운다.
• 오토스케일링은 SageMakerVariantInvocationsPerInstance 타깃 추적이 표준. 최소 1대라 0으로는 못 줄인다.
• 갑작스러운 스파이크는 오토스케일링이 못 따라간다 → 예약 스케일링이나 넉넉한 MinCapacity로 대비.
• 인스턴스는 전통 ML=CPU(m5/c5), 딥러닝=GPU(g4dn/g5), 딥러닝 비용 절감=Inferentia(inf1/inf2).

3계층 구조: Model, EndpointConfig, Endpoint

사용자가 결과를 기다리는 온라인 서비스는 거의 다 실시간 엔드포인트로 배포된다. 이 엔드포인트는 다음 3개 리소스로 만들어진다.