Day 1 - 데이터 정제: 결측치·이상치 탐지·중복과 오류 처리

결측치 처리: 메커니즘부터

탐색적 데이터 분석(EDA)의 첫 단계는 "데이터를 깨끗하게 만드는 것"이다. MLS-C01의 Domain 2(탐색적 데이터 분석)는 시험의 약 24%를 차지하고, 그 중심에 데이터 정제가 있다. 아무리 훌륭한 모델이라도 결측·이상치·중복이 섞인 데이터를 먹이면 "garbage in, garbage out"이다.

결측치를 처리하기 전에 왜 비었는지부터 알아야 한다. 통계학은 결측 메커니즘을 세 가지로 나눈다.

결측 메커니즘 분류(MCAR/MAR/MNAR)는 통계학자 Donald Rubin이 1976년에 제안한 틀이다. 핵심 통찰은 "결측 처리의 타당성은 왜 비었는지에 달려 있다"는 것이다. 단순 평균 대치는 MCAR 가정에서만 편향이 없고, MNAR 데이터에 적용하면 분포를 왜곡한다. 그래서 무작정 fillna(mean)을 쓰기 전에 결측 패턴을 시각화(결측 히트맵 등)하는 것이 EDA의 정석이다.

결측치 대치 전략

결측 처리는 크게 삭제와 대치로 나뉜다.

• 중앙값은 평균보다 이상치에 강건하므로 치우친 수치형에는 중앙값 대치가 안전하다.
• 결측이 신호일 때는 지우지 말고 플래그로 남긴다. "소득 미응답"은 그 자체로 정보다.

import pandas as pd
from sklearn.impute import SimpleImputer, KNNImputer
 
df = pd.read_csv("raw/customers.csv")
 
# 수치형: 중앙값 대치 (이상치에 강건)
num_imputer = SimpleImputer(strategy="median")
df[["age", "income"]] = num_imputer.fit_transform(df[["age", "income"]])
 
# 범주형: 최빈값 대치
cat_imputer = SimpleImputer(strategy="most_frequent")
df[["region"]] = cat_imputer.fit_transform(df[["region"]])
 
# 변수 간 상관이 강하면 KNN 대치
knn_imputer = KNNImputer(n_neighbors=5)
df_num = pd.DataFrame(knn_imputer.fit_transform(df.select_dtypes("number")))

MICE(Multiple Imputation by Chained Equations)는 결측 변수 각각을 다른 변수들로 반복 회귀해, 단일 대치가 무시하는 "대치의 불확실성"까지 담는다. 평균 대치가 분산을 인위적으로 줄이고 신뢰구간을 좁게 만드는 문제를 다중 대치가 보정한다. 시험 수준에서는 "변수 간 관계가 강하면 단순 대치보다 KNN·모델 기반 대치가 정확하다"만 이해해도 충분하다.

⚠️ 함정: 대치는 학습 데이터에만 fit하고, 그 통계량을 검증·테스트에 적용해야 한다. 전체 데이터로 평균을 계산하면 테스트 정보가 학습에 새어 들어가는 데이터 누수가 생겨 성능이 부풀려진다. scikit-learn이 학습셋에 fit_transform, 테스트셋에 transform만 쓰는 이유가 이것이다.

이상치 탐지와 처리

이상치는 다른 관측치에서 크게 벗어난 값이다. 입력 오류일 수도 있고 진짜 희귀 사건일 수도 있어서 무분별하게 제거하면 안 된다.

탐지 방법 비교

import numpy as np
 
# IQR 기반 이상치 경계
Q1 = df["income"].quantile(0.25)
Q3 = df["income"].quantile(0.75)
IQR = Q3 - Q1
lower, upper = Q1 - 1.5 * IQR, Q3 + 1.5 * IQR
 
# 윈저라이징: 경계값으로 클리핑 (삭제 대신 보존)
df["income"] = df["income"].clip(lower, upper)

처리 방법은 상황에 따라 다르다

IQR이 Z-score보다 강건한 이유는 붕괴점(breakdown point) 개념 때문이다. 평균과 표준편차는 이상치 하나에도 흔들리지만(붕괴점 0%), 중앙값과 사분위수는 데이터의 최대 25%가 오염돼도 안정적이다. 이상치를 탐지하는 도구 자체가 이상치에 휘둘리면 안 되므로 강건 통계(중앙값, IQR)가 선호된다. 사기 탐지나 이상 탐지처럼 이상치가 곧 정답인 문제에서는 제거가 아니라 "그 이상치를 학습하는 것"이 핵심이다.

⚠️ 함정: "이상치 = 제거 대상"으로 외우면 사기 탐지 문제에서 반드시 틀린다. 지문에 "사기", "장비 고장", "이상 탐지"가 보이면 극단값은 잡아야 할 신호다.

중복과 오류

마지막 "때"는 중복 행과 논리 오류다.

• 완전 중복: 모든 컬럼이 동일. 대개 수집 중복 → 제거한다.
• 부분 중복: 같은 대상이 표기만 다르게 여러 번 등장(예: "서울" vs "Seoul"). 정규화 후 통합한다.
• 논리 오류: 음수 나이, 미래 생년월일, 부분 합이 총합과 안 맞는 경우 등.

# 완전 중복 제거
df = df.drop_duplicates()
 
# 키 기준 중복 (최신 레코드 유지)
df = df.sort_values("updated_at").drop_duplicates(subset=["user_id"], keep="last")
 
# 논리 오류 필터
df = df[(df["age"] >= 0) & (df["age"] <= 120)]

[잘못된 순서]  분할 → 중복 제거
   같은 사용자의 레코드가 학습셋과 검증셋에 흩어짐 → 누수 → 성능 부풀려짐

[올바른 순서]  중복·키 정리 → 분할 → 대치·스케일링(학습셋 fit)

모델 학습 직전에야 중복을 제거하면, 분할 후 같은 레코드가 학습셋과 검증셋에 흩어져 누수가 생긴다. 특히 시계열이나 사용자 단위 데이터는 분할 전에 중복 제거와 키 정리를 끝내야 평가가 정직하다.

AWS에서 정제를 실행하는 도구

같은 정제라도 규모와 사용자에 따라 도구가 달라진다.

• Data Wrangler의 데이터 품질·인사이트 리포트는 결측·이상·중복은 물론 타깃 누수 의심 컬럼까지 자동으로 짚어 준다.
• 어느 도구를 쓰든 원칙은 같다. 정제 로직은 코드나 선언적 흐름으로 고정해 학습과 추론에서 똑같이 재현되게 한다.

노트북에서 손으로 정제한 뒤 그 결과 CSV만 저장하는 방식은 재현이 불가능하다. "왜 이 모델이 그때는 잘 됐지?"에 답할 수 없게 된다.

정제 전 진단: 무엇부터 보나

정제 방법을 고르기 전에 데이터를 먼저 봐야 한다. 순서대로 확인할 목록이다.

1. 행·열 수와 타입 — 숫자 컬럼이 문자열로 들어와 있지 않은가.
2. 컬럼별 결측률 — 90% 이상 비어 있는 컬럼은 대치보다 제거가 낫다.
3. 결측 패턴 — 특정 조건에서만 비는가(MAR 신호), 값 자체와 연관되는가(MNAR 신호).
4. 기술 통계 — 평균과 중앙값의 차이가 크면 치우친 분포다.
5. 분포와 이상치 — 히스토그램·박스플롯으로 꼬리와 극단값 확인.
6. 중복률 — 완전 중복과 키 기준 중복을 따로 센다.
7. 타깃과의 관계 — 타깃을 거의 그대로 담은 컬럼이 있으면 누수 후보다.

결측률이 아주 높은 컬럼을 평균으로 채우면 거의 모든 행이 같은 값이 되어 정보가 없는 컬럼이 만들어진다. 이 경우 컬럼 제거나 "결측 여부" 플래그가 더 정직하다.

정제 판단 결정 트리

결측을 만났다
├─ 결측률이 압도적으로 높다(예: 90%+) → 컬럼 제거 또는 "결측 여부" 플래그만 남김
├─ 결측 자체가 신호다(MNAR)          → 지시 변수 추가 + 대치
├─ 다른 변수와 상관이 강하다(MAR)     → KNN·모델 기반 대치
└─ 무작위로 보이고 비율이 낮다(MCAR)  → 중앙값(치우침) / 평균(대칭) / 최빈값(범주형)

이상치를 만났다
├─ 명백한 입력 오류다        → 삭제 또는 논리 필터
├─ 분포가 오른쪽으로 길다    → 로그 변환
├─ 극단 영향만 줄이고 싶다   → 윈저라이징(클리핑)
└─ 이상치가 곧 정답이다      → 유지, 이상 탐지 문제로 접근

정제 작업의 순서

정제는 순서가 곧 정확성이다.

1. 스키마·타입 정리 — 숫자여야 할 컬럼이 문자열로 들어와 있지 않은가.
2. 논리 오류 필터 — 도메인상 불가능한 값 제거.
3. 중복 제거·키 정규화 — 분할 전에 반드시.
4. 학습/검증/테스트 분할 — 시계열은 시간순, 그룹형은 그룹 단위로.
5. 결측 대치·이상치 처리·스케일링 — 학습셋에서 fit, 나머지는 transform.

다음 글에서는 정제된 데이터를 모델이 잘 학습하도록 바꾸는 특성 공학(스케일링, 인코딩, 비닝)을 다룬다.

📖 용어

• EDA(탐색적 데이터 분석) : 모델링 전에 데이터의 분포·결측·이상·관계를 살펴보는 단계.
• MCAR / MAR / MNAR : 완전 무작위 결측 / 관측 변수에 의존하는 결측 / 값 자체에 의존하는 결측.
• 대치(imputation) : 결측값을 어떤 값으로 채워 넣는 것.
• MICE : 결측 변수들을 서로 반복 회귀해 여러 번 대치하는 다중 대치 기법.
• 지시 변수(indicator) : "이 값은 원래 결측이었다"를 0/1로 표시한 추가 컬럼.
• 이상치(outlier) : 다른 관측치에서 크게 벗어난 값. 오류일 수도, 진짜 희귀 사건일 수도 있다.
• Z-score : 값이 평균에서 몇 표준편차 떨어져 있는지 나타내는 척도.
• IQR(사분위 범위) : Q3 − Q1. 분포 가정 없이 이상치 경계를 정할 때 쓴다.
• 윈저라이징(winsorizing) : 이상치를 삭제하지 않고 경계값으로 눌러 담는 처리.
• 데이터 누수(leakage) : 학습 시점에 알 수 없었을 정보가 모델에 새어 들어가 성능이 부풀려지는 사고.