Day 3 - 비용·고급 추론: 멀티모델, 멀티컨테이너, 추론 파이프라인, Inferentia

📌 핵심 정리

• MME: 같은 컨테이너 + 수백~수천 모델을 한 엔드포인트에. TargetModel로 지정, S3에서 동적 로드.
• MCE: 서로 다른 프레임워크 컨테이너를 최대 15개까지. TargetContainerHostname으로 지정.
• 추론 파이프라인: 전처리→추론→후처리를 2~15개 컨테이너 선형 체인으로. 학습/서빙 skew를 막는다.
• Inferentia(inf1/inf2): 딥러닝 추론 비용·지연 절감. Neuron 컴파일 단계가 필요하다.
• Elastic Inference는 레거시(분수 GPU) — 최신 시나리오의 일차 답은 Inferentia다.

네 가지 패턴 한눈에 구분하기

실시간 엔드포인트는 강력하지만 항상 켜져 있어 비용이 나간다. 모델이 수백 개면 각각 엔드포인트를 띄우는 순간 인스턴스 비용이 폭발한다. MLA-C01은 "수백 개 모델", "전처리+추론을 한 엔드포인트에", "딥러닝 추론 비용 절감" 같은 키워드로 이 주제를 묻는다.