엔드포인트가 동작하는 것과 엔드포인트가 효율적인 것은 다르다. 추론 비용은 학습 비용과 달리 모델이 살아 있는 내내 발생하므로, 장기적으로는 추론 최적화가 총비용을 좌우한다. SageMaker는 모델을 더 빠르게(지연↓), 더 싸게(비용↓), 더 작게(자원↓) 만드는 여러 도구를 제공한다. 오늘은 SageMaker Neo, Elastic Inference, AWS Inferentia, 그리고 처리량을 높이는 추론 파이프라인/배치 전략을 정리한다.
Neo는 학습된 모델을 특정 하드웨어(인스턴스/엣지 디바이스)에 맞게 컴파일·최적화한다. 프레임워크 모델을 분석해 연산 그래프를 대상 하드웨어에 맞춰 재구성하고, 의존성을 제거한 경량 런타임으로 변환한다.
compiled = model.compile(
target_instance_family="ml_c5", # 또는 ml_inf1, 엣지: jetson_nano 등
input_shape={"data": [1, 3, 224, 224]},
output_path="s3://my-bucket/neo-output/",
framework="pytorch",
)