Day 3 - 데이터 누수(Data Leakage): 원인·탐지·예방과 시계열 누수·타깃 누수

데이터 누수란 무엇인가

검증 점수는 완벽한데 실제 운영에서 모델이 처참하게 실패한다. 범인은 거의 항상 하나 — 데이터 누수다. 누수는 모델이 학습 시점에 실제로는 가질 수 없었던 정보에 접근해 평가 점수가 인위적으로 부풀려지는 현상이다.

MLS-C01은 누수에 집착한다. "검증은 99%인데 프로덕션은 60%?" 같은 시나리오의 답은 거의 항상 누수다.

핵심 질문은 언제나 같다. "예측을 내리는 그 시점에, 우리가 이 값을 정말 알 수 있었는가?" 아니라면 누수다.

누수는 본질적으로 시험 부정행위와 같다 — 모델이 이미 답안지를 본 것이다. 통계적으로는 검증셋의 독립성 가정을 위반한다. 검증 점수가 미지의 데이터에 대한 일반화 성능을 추정하려면, 검증셋이 학습 과정과 완전히 독립이어야 한다. 누수가 있으면 검증 점수는 일반화가 아니라 "이미 본 정보를 재현하는 능력"을 재게 되고, 그 위에서 내린 모델 선택·하이퍼파라미터 튜닝 결정이 전부 오염된다.

누수 유형 → 증상 → 탐지 → 예방 (핵심 표)

타깃 누수: 미래·결과 정보가 섞여 든다

타깃 누수는 예측하려는 타깃에 관한 정보가 피처에 포함될 때 일어난다. 가장 은밀하고 흔하다.

타깃 누수의 신호:

• 단일 피처의 상관·중요도가 비정상적으로 높다(한 변수가 정확도의 95%를 설명).
• 피처가 타깃과 동시에 또는 그 이후에 만들어진다.
• "예측 시점에 이 값을 정말 알 수 있는가?"의 답이 "아니오"다.

# 타깃 누수 의심 점검: 단일 피처가 타깃을 지나치게 설명하는지 확인
import pandas as pd
 
corr_with_target = (
    df.corr(numeric_only=True)["churned"]
    .abs()
    .sort_values(ascending=False)
)
print(corr_with_target.head(10))
# 어떤 피처의 상관이 0.95 이상이면 "예측 시점에 알 수 있는 값인가?"를 먼저 의심한다

⚠️ 함정: 타깃 누수는 train/validation/test를 완벽하게 나눠도 잡히지 않는다. 누수가 피처 자체에 박혀 있기 때문이다. 모든 분할이 똑같이 오염된다. 그래서 분할만으로는 부족하고, 각 피처가 언제 만들어지는지(타임스탬프)와 예측 시점과의 관계를 도메인 지식으로 따져야 한다. "검증도 높고 테스트도 높은데 운영만 낮다?" → 타깃 누수를 1순위로 의심한다.

누수 의심 신호표

시계열 누수: 미래가 과거로 새어 든다

시계열 데이터에서 가장 흔한 누수는 미래 정보로 과거를 예측하는 것이다.

원인:

• 무작위 분할: 시계열을 섞으면 미래 데이터가 학습에, 과거가 테스트에 들어간다 → 미래로 과거를 예측
• 미래 포함 윈도 집계: "최근 30일 평균"을 예측 시점 이후 데이터까지 포함해 계산
• 전역 통계 사용: 전체 평균으로 정규화 → 미래 정보가 과거 행에 스며든다
• lag/rolling 경계 오류: shift를 잘못 걸어 t+1 값이 t 시점에 들어간다

[잘못된 무작위 분할]                    [올바른 시간 순 분할]
시간축 ──────────────────────▶          시간축 ──────────────────────▶
 T T V T V T T V T V T T V T             T T T T T T T T | V V V | E E
 └─ 학습(T)과 검증(V)이 뒤섞임              학습             검증    평가
    → 모델이 t+1을 보고 t를 "예측"          └── 항상 과거 → 미래 방향 ──┘
    → 시간 역행 학습 = 누수                  (forward-chaining, 배포 상황과 동일)

import pandas as pd
 
df = df.sort_values("date")
 
# 올바른 방법: 과거만 보는 rolling (shift로 현재 행을 제외)
df["sales_ma7"] = df["sales"].shift(1).rolling(7).mean()  # t-1 ~ t-7
 
# 시계열은 시간 순 분할 (무작위 분할 금지)
cutoff = "2025-01-01"
train = df[df["date"] < cutoff]
test = df[df["date"] >= cutoff]

시계열에서 무작위 분할이 치명적인 이유는 시간적 의존성 때문이다. 일반 데이터는 행이 서로 독립이라고 가정하지만, 시계열은 인접 시점 간 상관이 강하다. 무작위로 섞으면 모델이 t+1의 패턴을 보고 t를 "예측"하게 되어, 현실에서 불가능한 시간 역행을 학습한다. 그래서 시계열 검증은 항상 "과거로 학습하고 미래로 평가(forward-chaining)" 원칙을 따라야 하며, 이것이 Day 4의 시계열 분할로 이어진다.

train-test 오염: 전처리를 통한 누수

분할을 제대로 해도 분할 전에 전체 데이터로 전처리하면 테스트 정보가 학습으로 샌다.

해결책은 전처리를 분할·교차검증 안쪽에 가두는 Pipeline이다.

[누수가 나는 순서]                     [Pipeline이 막는 방식]
전체 데이터                             전체 데이터
   │                                       │
   ▼ fit(scaler) ← 테스트 통계 포함          ▼ split
전체 스케일링                            학습 fold │ 검증 fold
   │                                       │         │
   ▼ split                            fit+transform  transform만
학습 │ 테스트                              │         │  (학습 fold 통계만 사용)
   └─ 이미 오염됨                          └─ 모델 학습 ▶ 평가

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
 
# Pipeline: 각 fold의 학습 부분에서만 fit이 일어나 누수를 차단한다
pipe = Pipeline([
    ("impute", SimpleImputer(strategy="median")),
    ("scale", StandardScaler()),
    ("clf", LogisticRegression()),
])
 
# 각 fold의 전처리가 학습 부분에만 fit된다
scores = cross_val_score(pipe, X, y, cv=5)

⚠️ 함정: "전체 데이터로 스케일링한 뒤 분할하면 안 되나?"는 헷갈리기 쉬운 문제다. 안 된다. StandardScaler가 전체 데이터로 fit되면 테스트 통계가 학습 스케일에 새어 검증 점수가 낙관적으로 부풀려진다. 학습 부분에만 fit, 테스트에는 transform만 적용해야 한다. 교차검증에서는 Pipeline이 이 규칙을 fold마다 자동으로 강제한다.

누수와 지표: 왜 "너무 좋은 점수"가 위험 신호인가

불균형 데이터에서 accuracy가 높은 것은 누수가 아니라 다수 클래스 편향일 수 있다. 두 원인을 구분하려면 소수 클래스 지표(recall, PR-AUC)를 봐야 한다. accuracy만 보고 "누수다"라고 단정하는 것도, "정상이다"라고 안심하는 것도 둘 다 틀린다.

데이터 누수 예방 체크리스트

실무에서 누수를 막는 일관된 절차:

1. 먼저 분할: 어떤 전처리보다 train/test 분할을 먼저 한다
2. 학습 부분만 fit: 스케일러·인코더·대치기는 학습 부분에만 fit
3. Pipeline 사용: 교차검증 루프 안쪽에 전처리를 가둔다
4. 시계열은 시간 순 분할: 무작위 분할 금지, lag/rolling은 과거만 참조
5. 피처 생성 시점 감사: 각 피처가 예측 시점에 알 수 있는 값인지 확인한다
6. 높은 검증 점수를 의심: 점수가 너무 좋으면 누수를 먼저 의심한다
7. 그룹·중복 정리: 같은 사용자·중복 레코드는 분할 전에 처리한다

AWS 서비스 매핑표

지문 단서 → 정답 매핑표

다음 글은 이 원칙들의 실전편 — 검증 설계: 분할, 교차검증, 층화, 시계열 분할을 다룬다.

📖 용어

• 데이터 누수(data leakage) : 예측 시점에는 알 수 없었을 정보가 학습에 흘러들어 성능이 부풀려지는 사고.
• 타깃 누수(target leakage) : 예측 대상의 결과 정보가 피처 안에 들어 있는 누수. 분할로는 잡히지 않는다.
• train-test 오염 : 분할 전에 전체 데이터로 전처리해 테스트 정보가 학습에 새는 현상.
• 시계열 누수 : 미래 데이터를 써서 과거를 예측하게 되는 누수. 무작위 분할이 주범이다.
• 그룹 누수 : 같은 사용자·환자의 행이 학습과 검증에 나뉘어 들어가 성능이 과대평가되는 현상.
• forward-chaining : 항상 과거로 학습하고 미래로 평가하는 시계열 검증 방식.
• shift 후 rolling : 현재 행을 제외하고 과거 값만으로 이동 통계를 계산해 누수를 막는 기법.
• Pipeline : 전처리와 모델을 하나로 묶어, 각 fold의 학습 부분에서만 fit이 일어나도록 강제하는 구조.
• fit / transform 구분 : 통계를 학습하는 단계(fit)와 그 통계를 적용하는 단계(transform). 테스트에는 transform만 쓴다.
• 검증셋 독립성 : 검증 점수가 일반화 성능을 추정하려면 검증 데이터가 학습 과정과 완전히 분리돼야 한다는 원칙.