- 특성 선택은 원본 특성의 부분집합을 남기는 것이라 해석 가능성이 보존된다. PCA는 새 축을 만들어 의미를 잃는다.
- 세 접근: 필터(빠름·모델 무관) / 래퍼(정확·매우 느림) / 임베디드(균형, Lasso·트리 중요도).
- L1(Lasso)은 계수를 정확히 0으로 만들어 자동 선택 효과가 있다. L2(Ridge)는 줄이기만 한다.
- 중요도는 불순도 기반(MDI)이 고카디널리티 편향을 갖는다. 순열 중요도·SHAP이 더 신뢰된다.
- 다중공선성은 상관행렬(|r| > 0.8~0.9)·**VIF(> 5 주의, > 10 심각)**로 진단한다. 선형 모델에 치명적, 트리는 둔감하다.
Day 1의 차원 축소가 "새로운 합성 축을 만드는 것"이었다면, **특성 선택(feature selection)**은 "쓸모 있는 기존 특성만 남기는 것"이다. 둘 다 차원을 줄이지만, 선택은 원본 특성의 해석 가능성을 보존한다.
- 과적합 감소: 무관한 특성은 모델이 노이즈를 학습하게 만든다
- 학습·추론 속도 향상
- 해석 가능성 상승: 특성이 적을수록 모델 설명이 쉽다
- 차원의 저주 완화
💡 관련 이론: 특성 선택과 PCA는 둘 다 차원을 줄이지만 철학이 다르다