Day 1 - Data Cleaning: Missing Values, Outlier Detection, Duplicates and Errors

📌 핵심 정리

• 결측치는 **왜 비었는지(MCAR/MAR/MNAR)**를 먼저 판단하고 전략을 고른다. 기계적인 fillna(mean)은 MCAR에서만 안전하다.
• 치우친 수치형은 평균보다 중앙값 대치가 안전하다. 변수 간 상관이 강하면 KNN·모델 기반 대치.
• 이상치는 IQR 같은 강건 통계로 탐지하되 무조건 제거하지 않는다. 사기·이상 탐지에서는 이상치가 곧 정답이다.
• 중복·논리 오류는 분할 이전에 정리해야 한다. 분할 후에 하면 이미 누수가 발생한 뒤다.
• 모든 대치·정제 통계량은 학습셋에서만 산출하고 검증·테스트에는 transform만 적용한다.

결측치 처리: 메커니즘부터

탐색적 데이터 분석(EDA)의 첫 단계는 "데이터를 깨끗하게 만드는 것"이다. MLS-C01의 Domain 2(탐색적 데이터 분석)는 시험의 약 24%를 차지하고, 그 중심에 데이터 정제가 있다. 아무리 훌륭한 모델이라도 결측·이상치·중복이 섞인 데이터를 먹이면 "garbage in, garbage out"이다.

결측치를 처리하기 전에 왜 비었는지부터 알아야 한다. 통계학은 결측 메커니즘을 세 가지로 나눈다.