Day 1 - 차원 축소: PCA, t-SNE, 차원의 저주

차원의 저주

Week 4는 탐색적 데이터 분석(EDA)의 두 번째 축인 고차원 데이터 다루기로 들어간다. 특성(feature)이 많아질수록 모델이 더 많은 정보를 갖는 것처럼 보이지만, 차원이 늘면 같은 표본 수로 채워야 할 공간의 부피가 기하급수적으로 커진다. 그 결과 데이터 포인트들이 서로 멀어지고 거리 기반 측정의 변별력이 사라진다.

[저차원 (2D)]                    [고차원 (d ≫ 1)]
    ●                              ●    ●    ●
       ● ← 가깝다                    ●    ●    ●
              ● ← 멀다             ●    ●    ●
                                   모든 쌍의 거리가 비슷
  최근접 / 최원접 구분 가능          d_max / d_min → 1
  → KNN·K-means 정상 동작            → 이웃이라는 개념이 무너짐

알고리즘별 고차원 취약도

KNN, K-means처럼 유클리드 거리에 의존하는 알고리즘은 고차원에서 특히 취약하다.

고차원 단위 초입방체에서 두 무작위 점 사이 거리의 최댓값과 최솟값 비율이 1에 수렴한다는 것이 차원의 저주의 수학적 핵심이다. 즉 "가장 가까운 이웃"과 "가장 먼 이웃"이 사실상 같아진다. 이 때문에 차원 축소는 단순히 계산을 줄이는 게 아니라, 거리 기반 학습이 작동하는 공간을 복원하는 의미가 있다.

PCA: 주성분 분석

PCA는 데이터의 분산을 최대한 보존하는 직교 축(주성분)을 찾아 그 축으로 데이터를 사영(projection)하는 선형 차원 축소 기법이다.

• 첫 번째 주성분(PC1)은 분산이 가장 큰 방향
• 두 번째 주성분(PC2)은 PC1과 직교하면서 남은 분산이 가장 큰 방향
• 상위 k개 주성분만 남겨 차원을 d → k로 줄인다

핵심 전제: PCA 전에는 반드시 표준화(standardization) 한다. 분산 기반이므로 스케일이 큰 변수가 주성분을 지배하기 때문이다.

PCA 적용 전 전처리 요구

import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
 
X_scaled = StandardScaler().fit_transform(X_train)
 
pca = PCA(n_components=0.95)   # 분산 95%를 설명하는 최소 주성분 수
X_reduced = pca.fit_transform(X_scaled)
 
print("선택된 주성분 수:", pca.n_components_)
print("설명 분산 비율:", pca.explained_variance_ratio_.cumsum())

n_components에 정수 대신 0~1 비율을 주면 "누적 설명 분산이 그 비율을 넘는 최소 주성분 수"를 자동 선택한다.

주성분 개수 k 고르는 법

적절한 k는 스크리 플롯(scree plot)이나 누적 설명 분산 곡선의 팔꿈치(elbow)로 고른다.

PCA는 데이터 공분산 행렬의 고유분해(eigendecomposition)와 동치다. 고유벡터가 주성분 방향, 고유값이 그 방향의 분산이다. 따라서 "설명 분산 비율"은 곧 각 고유값을 전체 고유값 합으로 나눈 값이다. 특이값 분해(SVD)로도 같은 결과를 얻으며, scikit-learn과 SageMaker는 대규모 데이터에서 randomized SVD를 사용해 효율을 높인다.

⚠️ 함정: PCA는 타깃을 보지 않는 비지도 변환이다. "분산이 큰 방향"이 항상 "예측에 유용한 방향"은 아니다. 분산이 작은 축에 결정적 신호가 숨어 있으면 PCA가 그것을 버릴 수 있다.

⚠️ 함정: 주성분은 원본 특성들의 선형 결합이라 물리적 의미가 사라진다. "어떤 변수가 예측에 쓰였는지 설명해야 한다"는 지문이 나오면 PCA가 아니라 특성 선택이 답이다.

SageMaker 내장 PCA 알고리즘

대규모 데이터에서는 메모리에 다 올릴 수 없으므로 SageMaker 내장 PCA 알고리즘을 쓴다.

• 입력은 recordIO-protobuf 또는 CSV, 학습은 분산 처리 지원
• 출력된 주성분으로 후속 모델(XGBoost 등)의 입력 차원을 축소

from sagemaker import image_uris
 
container = image_uris.retrieve("pca", region="ap-northeast-2")
# Estimator 하이퍼파라미터 예시
hyperparameters = {
    "feature_dim": 784,
    "num_components": 50,
    "algorithm_mode": "randomized",
    "subtract_mean": "true",
}

AWS 서비스 매핑

t-SNE: 시각화 전용 비선형 기법

t-SNE(t-distributed Stochastic Neighbor Embedding)는 고차원에서의 이웃 관계(국소 구조)를 2~3차원에 보존하도록 매핑하는 비선형 기법이다.

t-SNE는 군집을 눈으로 보기엔 훌륭하지만 모델 입력 전처리로는 쓰지 않는다. 군집 간 거리나 클러스터 크기에 물리적 의미가 없고, 새 샘플을 같은 공간에 사영할 수 없기 때문이다.

from sklearn.manifold import TSNE
 
tsne = TSNE(n_components=2, perplexity=30, random_state=42)
X_embedded = tsne.fit_transform(X_scaled)   # 시각화용 2D 좌표

perplexity는 고려할 이웃 수의 균형을 조절하며, 보통 5~50 범위에서 조정한다.

t-SNE는 고차원 거리들을 조건부 확률 분포로 바꾸고, 저차원에서 무거운 꼬리를 가진 t-분포로 같은 관계를 재현하도록 KL 발산을 최소화한다. t-분포의 무거운 꼬리가 "혼잡 문제(crowding problem)"를 완화해 군집이 뭉치지 않고 퍼지게 한다. 그러나 이 과정 때문에 클러스터 사이의 빈 공간 크기는 의미가 없다 — 시험에서 "t-SNE 결과의 클러스터 거리로 유사도를 판단하라"는 보기는 함정이다.

t-SNE는 fit_transform만 있고 학습된 매핑을 저장해 새 샘플에 적용하는 transform이 없다. "운영 중 들어오는 신규 데이터를 같은 임베딩 공간에 넣는다"는 보기는 오답이다.

차원 축소 기법 선택표

축소할까, 선택할까

차원을 줄여야 한다
├─ 결과를 변수 단위로 설명해야 하나? (규제 산업, 감사 대응)
│    ├─ 예   → 특성 선택 (원본 컬럼을 그대로 남긴다)
│    └─ 아니오 ↓
├─ 목적이 "눈으로 군집이 있는지 확인"인가?
│    ├─ 예   → t-SNE (2~3D, 시각화 전용. 모델 입력 금지)
│    └─ 아니오 ↓
├─ 관계가 대체로 선형인가?
│    ├─ 예   → PCA (표준화 → 누적 설명 분산으로 k 선택)
│    └─ 아니오 → 오토인코더 등 비선형 압축
└─ 데이터가 단일 인스턴스 메모리를 넘는가?
     └─ 예 → SageMaker 내장 PCA (특성 수 많으면 randomized)

고차원 대응 전처리 기법 정리

차원 축소는 고차원 문제의 해법 중 하나일 뿐이다. 시험에서는 "차원을 줄여라"가 아니라 "이 상황에 무엇이 맞는가"로 묻는다.

[고차원 원시 데이터]
        │
   ① 분할 (train / test)  ← 여기서부터 모든 fit은 학습셋만
        │
   ② 결측 대치 · 인코딩
        │
   ③ 표준화(StandardScaler)
        │
   ④ ┌─ 해석 필요 ─→ 특성 선택 (원본 컬럼 유지)
     └─ 해석 불필요 ─→ PCA (n_components=0.95)
        │
   ⑤ 모델 학습 (XGBoost / 선형 / 신경망 …)
        │
   ⑥ 테스트셋에는 ②~④에서 학습한 변환을 transform만 적용

지문 단서 → 정답 매핑

다음 글에서는 원본 특성을 그대로 남기면서 차원을 줄이는 특성 선택(feature selection)과 다중공선성을 다룬다.

📖 용어

• 차원의 저주(curse of dimensionality) : 차원이 늘수록 데이터가 희박해지고 거리 변별력이 사라져 학습이 어려워지는 현상.
• 희박화(sparsity) : 같은 표본 수로 훨씬 넓은 공간을 채워야 해서 데이터가 듬성듬성해지는 것.
• 주성분(principal component) : 데이터의 분산이 가장 큰 방향을 순서대로 잡은 새 좌표축. 서로 직교한다.
• 사영(projection) : 원본 데이터를 새 축 위로 "그림자 내리듯" 옮겨 좌표를 다시 매기는 것.
• 설명 분산 비율(explained variance ratio) : 각 주성분이 전체 분산 중 몇 %를 담고 있는지 나타내는 값.
• 스크리 플롯(scree plot) : 주성분 번호를 x축, 설명 분산을 y축으로 그린 그래프. 꺾이는 지점(elbow)에서 k를 고른다.
• 고유분해 / SVD : 공분산 행렬에서 주성분 방향(고유벡터)과 그 분산(고유값)을 뽑아내는 선형대수 연산. SVD는 같은 결과를 더 안정적으로 구하는 방법이다.
• 국소 구조 / 전역 구조 : 가까운 이웃들끼리의 관계 / 데이터 전체의 큰 배치. t-SNE는 앞쪽, PCA는 뒤쪽을 잘 보존한다.
• perplexity : t-SNE에서 "이웃을 몇 개까지 볼 것인가"를 조절하는 값. 보통 5~50 사이로 둔다.
• recordIO-protobuf : SageMaker 내장 알고리즘이 선호하는 이진 입력 포맷. CSV보다 대용량 처리에 효율적이다.