Day 4 - 비용·성능 운영: 모니터링, 사이징, 자동 스케일링

데이터 파이프라인은 잘 돌아가도 비용이 통제되지 않으면 지속 불가능합니다. 오늘은 비용을 가시화하고(할당 태그), 리소스를 적정 크기로 맞추고(사이징), 부하에 맞춰 자동 스케일링하며, 운영 중 최적화하는 방법을 다룹니다.

비용 가시화: 할당 태그와 Cost Explorer

비용을 줄이려면 먼저 "무엇이 얼마를 쓰는가"를 봐야 합니다.

• Cost Allocation Tags(비용 할당 태그): 리소스에 Project, Environment, Team, Pipeline 같은 태그를 달고 청구서 콘솔에서 활성화하면, 태그별로 비용을 분해할 수 있습니다.
• Cost Explorer: 서비스·태그·기간별 비용 추세를 시각화하고 예측.
• AWS Budgets: 예산 임계값(예: 월 $5,000의 80%)에 도달하면 알림하거나 액션 실행.
• Cost Anomaly Detection: ML로 비정상 비용 급증을 자동 탐지·통보.

태그 전략 예:
  Project=orders-pipeline
  Environment=prod
  CostCenter=data-eng
→ Cost Explorer에서 "data-eng가 prod에서 orders-pipeline에 쓴 비용" 분해

💡 관련 이론: 사용자 정의 태그는 활성화한 시점 이후의 비용에만 적용되며 소급되지 않습니다. 태그 정책을 초기에 정해 일관되게 다는 것이 중요합니다.

리소스 사이징