- 누수(leakage)는 예측 시점에 알 수 없었을 정보가 학습에 들어오는 것이다. 검증 점수만 부풀고 실제 운영에서 무너진다.
- 타깃 누수는 결과 정보가 피처 자체에 박혀 있어 분할을 아무리 잘해도 잡히지 않는다. 피처 생성 시점을 따져야 한다.
- 시계열 누수는 무작위 분할·미래 윈도 집계에서 나온다. 시간 순 분할과 과거만 보는 집계(shift 후 rolling)로 막는다.
- train-test 오염은 분할 전에 전처리를 해서 생긴다. 먼저 분할하고 학습 부분으로만 fit하며, Pipeline으로 강제한다.
- 판별 질문은 언제나 하나다 — "예측하는 그 순간에 이 값을 정말 알 수 있었는가?" 아니면 누수다.
검증 점수는 완벽한데 실제 운영에서 모델이 처참하게 실패한다. 범인은 거의 항상 하나 — 데이터 누수다. 누수는 모델이 학습 시점에 실제로는 가질 수 없었던 정보에 접근해 평가 점수가 인위적으로 부풀려지는 현상이다.
MLS-C01은 누수에 집착한다. "검증은 99%인데 프로덕션은 60%?" 같은 시나리오의 답은 거의 항상 누수다.