Day 2 - 하이퍼파라미터 튜닝(AMT): 베이지안·랜덤·Hyperband

하이퍼파라미터 vs 파라미터

어제 학습 작업 한 번을 잘 돌리는 법을 배웠다면, 오늘은 그 학습을 여러 번 자동으로 돌려 최적 조합을 탐색하는 SageMaker Automatic Model Tuning(AMT, Hyperparameter Tuning Job)을 다룬다.

탐색 공간 정의 → 여러 학습 작업(trial) 실행 → 각 trial의 목표 지표 평가
→ 다음 trial의 하이퍼파라미터를 전략에 따라 선택 → 최적 조합 반환

하이퍼파라미터 튜닝은 본질적으로 "검은 상자 최적화"다. 목표 함수(검증 지표)는 미분 불가능하고 한 번 평가하는 비용(=학습 한 번)이 비싸다. 그래서 가능한 적은 평가로 좋은 영역을 찾는 전략(베이지안, Hyperband)이 무작위·격자 탐색보다 효율적이다.

튜닝 잡의 실행 구조

[HyperparameterTuner]
   │  탐색 공간: eta ∈ [0.01, 0.3], max_depth ∈ [3, 10]
   │  목표 지표: validation:auc (Maximize)
   ▼
 ┌──────────── max_parallel_jobs 만큼 동시 실행 ────────────┐
 │  trial#1 ──학습──→ auc 0.81                              │
 │  trial#2 ──학습──→ auc 0.86  ← 유망                      │
 │  trial#3 ──학습──→ auc 0.74  ← 가망 없음(조기 종료 대상) │
 └──────────────────────────────────────────────────────────┘
   │  전략(Bayesian 등)이 결과를 보고 다음 후보 선택
   ▼  … max_jobs 소진까지 반복 …
[최적 조합 + BestTrainingJob 반환]

탐색 전략 4가지

AMT가 지원하는 전략과 특성이다.

from sagemaker.tuner import HyperparameterTuner, ContinuousParameter, IntegerParameter
 
tuner = HyperparameterTuner(
    estimator=est,
    objective_metric_name="validation:auc",
    objective_type="Maximize",
    hyperparameter_ranges={
        "eta": ContinuousParameter(0.01, 0.3),
        "max_depth": IntegerParameter(3, 10),
    },
    strategy="Bayesian",      # Bayesian | Random | Grid | Hyperband
    max_jobs=30,
    max_parallel_jobs=3,
)
tuner.fit({"train": train_s3, "validation": val_s3})

판별 신호:

• "적은 학습 횟수로 효율적 탐색" → Bayesian.
• "딥러닝처럼 에폭 반복 + 빠르게 가망 없는 후보 버리고 싶다" → Hyperband.
• "단순/완전 병렬, 베이스라인" → Random.
• "범주형 소수 조합 전수" → Grid.

⚠️ 함정: 그리드 탐색은 "빠짐없이 본다"는 말 때문에 안전해 보이지만, 연속형 하이퍼파라미터가 몇 개만 섞여도 조합 수가 폭발한다. 지문에 연속 범위(ContinuousParameter)가 등장하면 Grid는 사실상 오답 후보다.

목표 지표(Objective Metric)

AMT는 각 trial의 로그에서 정규식으로 지표를 뽑아 비교한다.

• 빌트인 알고리즘은 표준 지표명을 그대로 제공(validation:auc, validation:rmse 등).
• 커스텀 스크립트는 metric_definitions로 로그에서 값을 파싱할 정규식을 지정해야 한다.

metric_definitions=[
    {"Name": "validation:f1", "Regex": "val_f1: ([0-9\\.]+)"}
]

• objective_type: Maximize(AUC, F1, Accuracy) 또는 Minimize(RMSE, Loss).
• 지표 선택이 곧 "무엇을 최적화하는가"이므로, 불균형 데이터면 Accuracy보다 F1/AUC를 목표로 삼는 게 옳다.

상황별 목표 지표 해석표

튜닝은 목표 지표가 가리키는 방향으로만 최적화한다. 사기 탐지처럼 양성이 1%인 데이터에서 Accuracy를 최대화하면 "전부 정상"이라 찍어도 99%가 나와 모델이 무의미해진다. 그래서 목표 지표를 비즈니스 목적과 데이터 불균형에 맞게(F1, Recall, AUC 등) 고르는 것이 튜닝 성공의 전제다.

⚠️ 함정: 커스텀 컨테이너·스크립트를 쓰면서 metric_definitions를 빼먹으면 AMT가 지표를 읽지 못한다. 이때 instance_count를 늘리거나 입력 모드를 바꾸는 보기는 전부 무관한 오답이다.

조기 종료(Early Stopping)

가망 없는 trial을 일찍 멈춰 비용을 아낀다. 두 층위를 구분한다.

tuner = HyperparameterTuner(
    ..., early_stopping_type="Auto",   # Off | Auto
)

판별 신호: "튜닝 비용을 줄이려 가망 없는 학습을 자동 중단" → 조기 종료(Auto) 또는 Hyperband.

워밍 스타트(Warm Start)

새 튜닝 작업을 이전 튜닝 작업의 결과를 활용해 시작한다. 처음부터 탐색하지 않고 이미 알아낸 좋은 영역에서 출발한다.

from sagemaker.tuner import WarmStartConfig, WarmStartTypes
 
warm = WarmStartConfig(
    warm_start_type=WarmStartTypes.IDENTICAL_DATA_AND_ALGORITHM,
    parents={"previous-tuning-job-name"},
)
tuner = HyperparameterTuner(..., warm_start_config=warm)

판별 신호:

• "지난 튜닝을 이어서 더 탐색 / 데이터·알고리즘 그대로" → IDENTICAL_DATA_AND_ALGORITHM.
• "데이터가 살짝 바뀌었지만 지난 튜닝 지식을 재사용" → TRANSFER_LEARNING.

"이전 탐색을 이어서 진행한다"는 지문에 max_parallel_jobs를 올리거나, 전략을 Grid로 바꾸거나, 조기 종료를 끄는 보기가 섞여 나온다. 셋 다 이전 작업의 탐색 지식을 재사용하는 것과는 무관하다 — 재사용 수단은 워밍 스타트 하나뿐이다.

병렬성 vs 베이지안 효율의 트레이드오프

• max_parallel_jobs를 크게 하면 빨리 끝나지만, 베이지안은 이전 결과를 보고 다음을 정하므로 병렬을 너무 키우면 학습 효율(정보 활용)이 떨어진다.
• Random은 병렬성을 키워도 효율 손실이 없다(서로 독립).
• 시험에서 "베이지안인데 병렬을 최대로 했더니 기대만큼 좋아지지 않았다"는 이 트레이드오프가 답.

max_parallel_jobs = 1        max_parallel_jobs = N (크게)
  trial1 → 결과 반영           trial1 ┐
  trial2 → 결과 반영           trial2 ├─ 동시에 결정
  trial3 → 결과 반영           trial3 ┘  (앞 결과를 못 봄)
  ─────────────────────        ─────────────────────
  느리다 / 평가당 효율 최대     빠르다 / 베이지안 이점 감소
  Random은 어느 쪽이든 효율 동일(각 trial이 독립)

튜닝 전략 결정 트리

하이퍼파라미터를 자동으로 찾아야 한다
├─ 학습이 에폭·라운드를 반복하며 중간 성능을 낼 수 있나?
│    ├─ 예 + 비용 절감이 중요 → Hyperband (조기 가지치기 내장)
│    └─ 아니오 ↓
├─ 학습 1회 비용이 비싼가?
│    ├─ 예 → Bayesian (+ early_stopping_type="Auto", 병렬은 절제)
│    └─ 아니오 ↓
├─ 탐색 공간이 범주형 소수 조합인가?
│    ├─ 예 → Grid (전수 탐색)
│    └─ 아니오 → Random (단순 베이스라인, 완전 병렬)
└─ 이전 튜닝 결과가 있나?
     ├─ 데이터·알고리즘 동일 → 워밍 스타트 IDENTICAL_DATA_AND_ALGORITHM
     └─ 조금 달라짐        → 워밍 스타트 TRANSFER_LEARNING

지문 단서 → 정답 매핑

다음 글에서는 튜닝의 목적지인 "좋은 일반화"를 가로막는 과적합·과소적합과 그 대응(정규화·데이터 증강)을 다룬다.

📖 용어

• 하이퍼파라미터(hyperparameter) : 학습을 시작하기 전에 사람이 정해 주는 설정값. 학습률, 트리 깊이, 정규화 강도 등.
• 파라미터(parameter) : 학습 과정에서 데이터로부터 알아서 정해지는 값. 신경망 가중치, 회귀 계수 등.
• AMT(Automatic Model Tuning) : 하이퍼파라미터 조합을 바꿔가며 학습을 여러 번 돌려 가장 좋은 조합을 찾아 주는 SageMaker 기능.
• trial(학습 작업 하나) : 튜닝 잡이 돌리는 개별 학습 작업. 하나의 하이퍼파라미터 조합을 한 번 평가하는 단위.
• 목표 지표(objective metric) : 튜닝이 좋다/나쁘다를 판단하는 기준 지표. 이 지표가 곧 최적화 방향이다.
• metric_definitions : 학습 로그에서 지표 값을 뽑아낼 정규식 정의. 커스텀 스크립트에서 목표 지표를 인식시키는 장치.
• surrogate 모델 : 베이지안 탐색이 "이 조합이면 성능이 대략 이 정도일 것"이라고 예측하려고 세우는 대리 모델.
• 다중 fidelity(multi-fidelity) : 처음엔 적은 자원(짧은 학습)으로 여러 후보를 훑고, 살아남은 후보에만 자원을 더 주는 방식. Hyperband의 핵심.
• 조기 종료(early stopping) : 나아질 가망이 없는 학습을 도중에 멈춰 시간과 비용을 아끼는 것.
• 워밍 스타트(warm start) : 이전 튜닝 작업이 찾아낸 정보를 물려받아, 백지에서 시작하지 않고 좋은 영역부터 탐색하는 방식.