탐색적 데이터 분석(EDA)의 첫 단계는 "데이터를 깨끗하게 만드는 일"이다. MLS-C01 시험의 도메인 2(Exploratory Data Analysis)는 전체의 약 24%를 차지하고, 그 핵심에 **데이터 정제(data cleaning)**가 있다. 모델 아키텍처가 아무리 뛰어나도 결측치·이상치·중복이 뒤섞인 데이터를 넣으면 "garbage in, garbage out"이 된다.
오늘은 세 가지 더러움 — 결측치(missing values), 이상치(outliers), 중복·오류(duplicates & errors) — 을 다룬다. 각각을 탐지하는 방법과 처리 전략, 그리고 그 선택이 모델에 미치는 영향까지 본다.
결측치를 처리하기 전에 왜 비어 있는가를 먼저 이해해야 한다. 통계학에서는 결측 메커니즘을 세 가지로 분류한다.
| 메커니즘 | 의미 | 예시 |
|---|---|---|
| MCAR (Missing Completely At Random) | 결측이 완전히 무작위, 다른 변수와 무관 | 센서 일시 오류로 무작위 누락 |
| MAR (Missing At Random) | 결측이 관측된 다른 변수에 의존 | 고소득자가 소득 응답을 더 자주 거부 |
| MNAR (Missing Not At Random) | 결측이 그 값 자체에 의존 | 매우 낮은 신용점수자가 점수를 숨김 |