Day 4 - ML 비용 최적화: Spot 학습부터 비용 모니터링까지

지금까지는 안전하게(보안)였다면, 오늘은 싸게다. ML 워크로드는 GPU 인스턴스·대규모 학습·always-on 엔드포인트 때문에 비용이 빠르게 불어난다. 다행히 SageMaker는 비용을 줄일 레버를 여럿 제공한다 — Spot 학습, 적정 인스턴스 선택, 서버리스/배치 선택, 자동 종료, 그리고 비용 모니터링. 오늘은 이 레버들을 시험 시나리오에 매핑할 수 있게 정리한다.

Managed Spot Training — 학습 비용을 최대 90% 절감

학습은 보통 한 번 돌고 끝나는(중단돼도 재개 가능한) 작업이라 Spot 인스턴스와 궁합이 좋다. Managed Spot Training 은 SageMaker가 Spot 용량을 관리하며 최대 90%까지 비용을 줄인다.

{
  "EnableManagedSpotTraining": true,
  "StoppingCondition": {
    "MaxRuntimeInSeconds": 86400,
    "MaxWaitTimeInSeconds": 90000
  },
  "CheckpointConfig": {
    "S3Uri": "s3://ml-checkpoints/job-123/"
  }
}