ML 워크로드는 GPU 학습과 24시간 떠 있는 엔드포인트 때문에 비용이 쉽게 폭주한다. 동시에 규제 환경에서는 "누가 언제 무엇을 했는가"를 증명해야 하고, 장애가 나도 서비스를 복구할 수 있어야 한다. 오늘은 운영의 세 기둥 — 비용 최적화, 로깅·감사(CloudWatch/CloudTrail), 재해 복구를 다룬다.
ML 비용은 학습(간헐적·집중적)과 추론(지속적·항상)으로 성격이 다르므로 전략도 다르다.
학습 비용 절감
- Managed Spot Training: 여유 용량을 최대 90% 저렴하게, 체크포인트로 중단 복구
- 적정 인스턴스(right-sizing): GPU가 필요 없으면 CPU, 분산이 필요 없으면 단일
- Automatic Model Tuning의 조기 종료(early stopping)
추론 비용 절감
- Serverless Inference: 트래픽이 간헐적이면 유휴 비용 0(요청 시에만 과금)
- Multi-Model Endpoint(MME): 수많은 모델을 한 엔드포인트에 적재해 공유
- Asynchronous Inference: 큰 페이로드/긴 처리, 트래픽 없으면 0으로 스케일
- Auto Scaling: 트래픽에 따라 인스턴스 수 조정