Day 2 - 하이퍼파라미터 튜닝(AMT): 베이지안·랜덤·Hyperband

어제 학습 작업 한 번을 잘 돌리는 법을 배웠다면, 오늘은 그 학습을 여러 번 자동으로 돌려 최적의 하이퍼파라미터 조합을 탐색하는 SageMaker Automatic Model Tuning(AMT, Hyperparameter Tuning Job)을 다룬다. 시험은 탐색 전략(베이지안/랜덤/그리드/Hyperband), 조기 종료, 워밍 스타트, 목표 지표 설정을 단서로 출제한다.

하이퍼파라미터 vs 파라미터

먼저 용어를 정리한다.

• 파라미터(parameter): 학습 과정에서 데이터로부터 학습되는 값(예: 신경망 가중치, 선형 모델 계수).
• 하이퍼파라미터(hyperparameter): 학습 전에 사람이 정하는 값(예: 학습률, max_depth, 트리 개수, 정규화 강도).

AMT는 하이퍼파라미터 공간을 탐색해 검증 지표가 가장 좋은 조합을 찾는다.

탐색 공간 정의 → 여러 학습 작업(trial) 실행 → 각 trial의 목표 지표 평가
→ 다음 trial의 하이퍼파라미터를 전략에 따라 선택 → 최적 조합 반환

💡 관련 이론: 하이퍼파라미터 튜닝은 본질적으로 "검은 상자 최적화"다. 목표 함수(검증 지표)는 미분 불가능하고 한 번 평가하는 비용(=학습 한 번)이 비싸다. 그래서 가능한 적은 평가로 좋은 영역을 찾는 전략(베이지안, Hyperband)이 무작위·격자 탐색보다 효율적이다.

탐색 전략 4가지