- 파라미터는 학습되는 값, 하이퍼파라미터는 학습 전에 사람이 정하는 값이다. AMT는 후자의 공간을 탐색해 검증 지표가 가장 좋은 조합을 찾는다.
- 전략 선택: 적은 평가로 효율적이면 Bayesian, 에폭 반복형 딥러닝의 가지치기는 Hyperband, 단순·완전 병렬 베이스라인은 Random, 범주형 소수 조합 전수는 Grid.
- 목표 지표가 곧 최적화 방향이다. 불균형 데이터에서 Accuracy를 최대화하면 "전부 음성"으로도 99%가 나와 모델이 무의미해진다 — F1·AUC·Recall을 쓴다.
- 커스텀 스크립트는 표준 지표명이 없으므로
metric_definitions 정규식으로 로그에서 지표를 뽑아야 AMT가 인식한다.
max_parallel_jobs를 과도하게 키우면 베이지안의 이점이 줄어든다(이전 결과를 못 보고 후보를 정하므로). Random은 독립이라 손실이 없다.
어제 학습 작업 한 번을 잘 돌리는 법을 배웠다면, 오늘은 그 학습을 여러 번 자동으로 돌려 최적 조합을 탐색하는 SageMaker Automatic Model Tuning(AMT, Hyperparameter Tuning Job)을 다룬다.