Day 4 - Validation Design: train/validation/test Split, Cross-Validation, Time Series Split, Stratified Sampling

📌 핵심 정리

• 테스트셋은 모든 결정이 끝날 때까지 봉인하고 단 한 번만 본다. 보면서 고치는 순간 테스트셋은 검증셋이 된다.
• 데이터가 적으면 k-fold 교차검증으로 모든 행을 검증에 쓰고 k개 점수의 평균 ± 표준편차를 본다(k=5 또는 10이 균형점).
• 분류, 특히 **클래스 불균형이면 층화(stratified)**가 사실상 필수다. 각 분할에서 원본 클래스 비율을 유지한다.
• 시계열은 TimeSeriesSplit. 학습 구간이 항상 검증 구간보다 과거여야 한다(forward-chaining).
• 같은 사용자·환자의 행이 여럿이면 GroupKFold로 그룹 단위로 분할해야 성능이 부풀지 않는다.

왜 셋으로 나누는가: train / validation / test

어제는 누수가 검증을 어떻게 망치는지 봤다. 오늘은 그 거울상 — 누수 없이 검증을 설계해 모델의 일반화 성능을 정직하게 추정하는 일이다. 좋은 모델 선택은 결국 "본 적 없는 데이터에서 얼마나 잘할까?"를 믿을 만하게 추정하는 능력이고, 그 신뢰도는 전적으로 검증 설계에 달려 있다.

가장 기본은 데이터를 셋으로 나누는 것이다. 각각 역할이 다르다.