- 추론 방식은 알고리즘이 아니라 요청 패턴이 결정한다 — 즉시성·트래픽·페이로드·비용 4축.
- 4옵션: 실시간(꾸준+저지연) / 서버리스(간헐+0스케일) / 비동기(1GB·60분) / 배치(대량 일괄 최저 비용).
- 비용이 걸리면 — 모델이 많으면 MME, 딥러닝이면 Inferentia, 유휴가 길면 0 스케일 옵션.
- 한 엔드포인트에 묶는 방식은 MME(같은 컨테이너·다수) / MCE(다른 컨테이너·소수) / 파이프라인(순차 체인).
- 무중단 배포는 새 EndpointConfig +
update_endpoint(blue/green), 무위험 검증은 shadow testing.
이번 주는 학습된 모델을 실제로 서빙하는 추론 배포를 다뤘다. Day1~4를 하나의 의사결정 흐름으로 엮어 시험장에서 바로 꺼낼 수 있게 정리한다.