Day 3 - Inference Optimization: Neo, Elastic Inference, Inferentia, Inference Pipelines

📌 핵심 정리

• 추론 비용은 모델 수명 내내 발생하므로, 학습 비용과 달리 최적화가 총비용에 직접 반영된다.
• Neo는 대상 하드웨어에 맞게 컴파일하는 도구다. 모델을 바꾸지 않으므로 정확도 손실 없이 속도·메모리를 개선한다. "엣지 배포 + 지연 감소" 단서면 Neo.
• Elastic Inference는 저렴한 CPU 인스턴스에 필요한 만큼의 부분 GPU 가속기만 붙이는 비용 절감 방식이다.
• Inferentia(Inf1/Inf2)는 추론 전용, Trainium(Trn1)은 학습 전용 — 시험에서 짝지어 헷갈리게 낸다.
• 최적화는 모델을 바꾸기(양자화·프루닝·증류·Neo), 하드웨어를 바꾸기(Inferentia·EI·인스턴스), 구조를 바꾸기(추론 파이프라인·배치)로 갈린다.

추론 최적화의 세 갈래

엔드포인트를 운영하는 것과 효율적으로 운영하는 것은 다르다. 학습 비용은 한 번이지만 추론 비용은 모델이 살아 있는 내내 나가므로, 최적화가 곧 총비용 절감이다. SageMaker는 모델을 더 빠르게(지연↓), 더 싸게(비용↓), 더 가볍게(리소스↓) 만드는 여러 수단을 제공한다.