Day 1 - 차원 축소: PCA, t-SNE, 차원의 저주

📌 핵심 정리

• 차원의 저주: 차원이 늘면 데이터가 희박해지고 점 사이 거리가 동질화돼 KNN·K-means 같은 거리 기반 알고리즘이 무너진다.
• PCA는 선형·비지도 기법으로 분산을 최대한 보존하는 직교 축을 찾는다. 적용 전 표준화 필수.
• 주성분 개수 k는 누적 설명 분산(예: n_components=0.95)이나 스크리 플롯의 팔꿈치로 고른다.
• t-SNE는 비선형·국소 구조 보존 기법으로 시각화 전용이다. 새 데이터 transform 불가, 군집 간 거리에 의미 없음.
• 대규모 데이터는 SageMaker 내장 PCA를 쓰고, 특성 수가 매우 많으면 algorithm_mode=randomized를 고른다.

차원의 저주

Week 4는 탐색적 데이터 분석(EDA)의 두 번째 축인 고차원 데이터 다루기로 들어간다. 특성(feature)이 많아질수록 모델이 더 많은 정보를 갖는 것처럼 보이지만, 차원이 늘면 같은 표본 수로 채워야 할 공간의 부피가 기하급수적으로 커진다. 그 결과 데이터 포인트들이 서로 멀어지고 거리 기반 측정의 변별력이 사라진다.