어제 데이터와 모델을 묶었다. 오늘은 그 모델을 운영하는 후반 두 도메인을 정리한다. 도메인 3(배포·오케스트레이션, 22%) 은 추론 옵션 선택과 ML 파이프라인 자동화이고, 도메인 4(모니터링·보안, 24%) 는 배포 후 모델을 감시하고 인프라를 안전하게 지키는 일이다. 두 도메인을 합치면 시험의 46%다.
핵심 메시지. 모델은 배포하고 끝이 아니라, 반복 가능하게(파이프라인) 만들고 지속적으로 감시(모니터링)하며 안전하게(보안) 지켜야 한다. 추론 옵션은 요청 패턴이, 모니터링은 "무엇이 변했는가"가, 보안은 "최소 권한 + 격리 + 암호화"가 핵심이다.
추론 4옵션은 알고리즘이 아니라 요청 패턴으로 고른다.
| 옵션 | 응답 | 트래픽 | 페이로드/시간 | always-on 비용 |
|---|---|---|---|---|
| 실시간 | 동기, ms~초 | 꾸준 | <6MB, <60초 | 있음(최소 1대) |
| 서버리스 | 동기, ms~초 | 간헐 | <4MB, <60초 | 없음(0 스케일) |
| 비동기 | 큐 기반 | 가변·긴 처리 | <1GB, <60분 | 없음(0 스케일) |
| 배치 변환 | 작업 단위 | 일괄 | 전체 데이터셋 | 없음(끝나면 종료) |
💡 관련 이론: 결정 축은 "즉시성·트래픽·페이로드·비용"이다