Day 2 - SageMaker 내장 알고리즘 1: XGBoost·Linear Learner·K-Means·KNN

네 알고리즘 한눈에

어제의 매핑 표에서 오늘은 가장 흔한 정형(표 형식) 데이터 알고리즘 네 개를 깊이 판다. 시험 범위에 드는 핵심 빌트인이며, 각각이 어떤 문제에 맞는지·입력 포맷·핵심 하이퍼파라미터를 구별하는 것이 관건이다.

                  [정형 데이터 문제]
                          │
              레이블이 있는가?
        ┌─────────예─────────┴────────아니오────────┐
        │                                          │
   출력이 범주/수치                            그룹을 발견
        │                                          │
 ┌──────┴───────┐                              K-Means
 │              │                            (k 사전 지정,
관계가 비선형?   "가장 비슷한                  스케일링 필수)
 │              사례로 판단"
 ├─ 예 → XGBoost      │
 │   (스케일링 불필요)  └→ KNN
 └─ 아니오/초대규모/해석      (스케일링 필수,
      → Linear Learner        고차원에 취약)
        (스케일링 필요)

XGBoost — 정형 데이터의 주력

그래디언트 부스팅 트리. 분류·회귀 모두 강력해 실무·시험·캐글에서 사실상 정형 데이터의 기본값이다.

• 용도: 이진/다중 분류, 회귀, 랭킹
• 입력 포맷: CSV, libsvm, Parquet, RecordIO-protobuf (CSV는 첫 번째 컬럼이 레이블)
• 강점: 결측치를 자체적으로 처리, 비선형성과 상호작용을 자동 포착, 트리 기반이라 스케일링 불필요

핵심 하이퍼파라미터:

objective         binary:logistic | multi:softmax | reg:squarederror
num_round         부스팅 라운드 수(트리 개수)
max_depth         트리 깊이 — 클수록 복잡·과적합 위험
eta               학습률 (작을수록 느리게 수렴, 보통 0.01~0.3)
subsample         행 샘플링 비율 (과적합 억제)
colsample_bytree  컬럼 샘플링 비율
gamma, lambda, alpha   정규화 (과적합 억제)
scale_pos_weight  클래스 불균형 보정

XGBoost의 과적합 제어는 "모델을 단순화하는" 손잡이들의 조합이다. max_depth를 줄이고, eta를 낮추는 대신 num_round를 늘리고, subsample/colsample_bytree로 무작위성을 주고, gamma/lambda/alpha로 정규화를 건다. 시험에서 "학습 손실은 계속 떨어지는데 검증 손실이 오른다(과적합)"는 시나리오는 대개 max_depth↓ / eta↓ / 정규화↑ / subsample↓ 방향이 정답이다. 과소적합은 반대 방향이다.

XGBoost 튜닝 방향표

⚠️ 함정: eta를 낮추기만 하고 num_round를 그대로 두면 학습이 덜 된 채 끝나 과소적합이 된다. eta↓와 num_round↑는 짝으로 움직인다.

Linear Learner — 선형 모델, 초대규모, 빠름

선형/로지스틱 회귀를 SageMaker가 분산·최적화해 제공하는 버전. 분류와 회귀를 모두 지원한다.

• 용도: 이진/다중 분류, 회귀
• 입력 포맷: RecordIO-protobuf(권장, 효율적), CSV
• 강점: 거대한 데이터에서 빠르고, 여러 모델을 동시에 학습해 최적을 자동 선택한다. 해석이 쉽다
• 주의: 선형 모델이므로 피처 스케일링이 결정적이다(빌트인이 정규화 옵션을 제공)

핵심 하이퍼파라미터:

predictor_type        binary_classifier | multiclass_classifier | regressor
num_classes           다중 분류일 때의 클래스 수
mini_batch_size       미니배치 크기
learning_rate         학습률
l1, wd(L2)            정규화
normalize_data        입력 표준화 여부
balance_multiclass_weights   불균형 보정

XGBoost와 Linear Learner의 갈림길: 비선형 관계가 중요하면 XGBoost, 대체로 선형이고 규모가 거대하며 해석이 중요하면 Linear Learner.

K-Means — 비지도 군집

레이블 없이 데이터를 k개 그룹으로 나눈다. 고객 세분화 등에 쓴다.

• 용도: 군집(비지도)
• 입력 포맷: RecordIO-protobuf, CSV
• 핵심: 클러스터 수 k를 반드시 사전에 지정해야 한다
• 주의: 거리 기반이므로 스케일링이 필수다

핵심 하이퍼파라미터:

k                 클러스터 수 (필수)
feature_dim       피처 차원
mini_batch_size   미니배치 크기
init_method       random | kmeans++ (초기 중심 선택)
extra_center_factor   후보 중심을 넉넉히 만든 뒤 줄이는 배수

k 선택에는 정답이 하나로 정해지지 않으므로 아래 방법을 쓴다.

SageMaker K-Means는 extra_center_factor로 후보 중심을 넉넉히 만든 뒤 줄여 안정적인 클러스터를 찾는다.

KNN — 거리 기반 분류/회귀

가장 가까운 k개 이웃의 다수결(분류) 또는 평균(회귀)으로 예측한다.

• 용도: 분류, 회귀
• 입력 포맷: RecordIO-protobuf, CSV
• 핵심: 학습이라기보다 "기억"에 가깝다. 추론 시 이웃 탐색 비용이 크므로 SageMaker는 차원 축소(sample_size, dimension_reduction)로 가속한다
• 주의: 거리 기반이라 스케일링 필수. 고차원에서 성능이 급격히 떨어진다(차원의 저주)

핵심 하이퍼파라미터:

k                 참조할 이웃 수
sample_size       학습에 사용할 샘플 수
dimension_reduction_type   sign | fjlt (차원 축소 방식)
predictor_type    classifier | regressor

차원의 저주란 차원이 늘수록 데이터가 공간에 흩어져 "가장 가까운 이웃"과 "가장 먼 이웃"의 거리 차이가 줄어드는 현상이다. 거리 자체가 변별력을 잃으므로 KNN 같은 거리 기반 알고리즘의 성능이 무너진다. SageMaker KNN이 dimension_reduction_type(sign, fjlt)을 제공하는 이유가 여기 있고, PCA(Day4)로 미리 차원을 줄이는 접근도 같은 목적이다.

거리 기반 알고리즘(KNN, K-Means)과 선형 모델(Linear Learner)은 피처 스케일이 결과를 직접 왜곡하므로 스케일링이 필수다. 예를 들어 "연봉(백만 단위)"과 "나이(수십 단위)"를 스케일링 없이 넣으면 유클리드 거리가 연봉에 지배당한다. 반면 트리 기반(XGBoost)은 각 피처를 독립적으로 임계값 분할하므로 스케일에 불변이다. 시험에서 "스케일링이 필요한가?"를 물으면 즉답: 거리/선형 계열은 필요, 트리 계열은 불필요.

전처리 요구 정리

네 알고리즘의 평가 지표

같은 알고리즘이라도 predictor_type/objective에 따라 봐야 할 지표가 달라진다.

⚠️ 함정: 군집 결과를 "정확도"로 평가하겠다는 보기는 오답이다. K-Means는 비지도라 비교할 정답 레이블 자체가 없다. 내부 지표(실루엣, WCSS)나 도메인 해석으로만 평가한다.

클래스 불균형 대응

공통 운영 팁

• RecordIO-protobuf는 대부분의 빌트인에서 가장 효율적인 입력 포맷이다(파이프 모드로 스트리밍 학습 가능).
• 큰 데이터는 Pipe 모드로 S3에서 스트리밍하면 디스크 복사 없이 학습 시작이 빨라진다.
• 하이퍼파라미터는 SageMaker Automatic Model Tuning으로 탐색할 수 있다(Week 7 주제).

[S3 학습 데이터]                [빌트인 컨테이너]            [모델 아티팩트]
 CSV / libsvm /      ──File─▶   하이퍼파라미터 지정   ──▶   s3://.../model.tar.gz
 Parquet /            또는      (objective, k, eta …)             │
 RecordIO-protobuf   ──Pipe─▶   검증 채널로 조기 종료             ▼
      │                                                  실시간 엔드포인트
 (스케일링·인코딩은                                        또는 배치 변환
  Processing Job에서 미리)

• 스케일링·인코딩은 학습 잡이 아니라 앞단 전처리 단계에서 끝내고, 같은 로직을 추론에도 재사용해야 학습-서빙 불일치가 생기지 않는다.

지문 단서 → 정답 매핑표

K-Means와 KNN은 이름이 비슷해 보기에서 자주 섞인다. K-Means는 비지도 군집(레이블 없음), KNN은 지도 예측(레이블 필요)이다. "k"라는 글자만 보고 고르면 틀린다.

내일은 텍스트·이미지·시계열·추천처럼 데이터 형태가 특수할 때 쓰는 전문 빌트인을 다룬다.

📖 용어

• 그래디언트 부스팅 : 약한 트리를 순차로 얹어 이전 트리의 오차를 보정해 나가는 앙상블 학습 방식.
• libsvm 포맷 : 레이블 인덱스:값 인덱스:값 형태로 0이 아닌 값만 적는 희소 데이터 텍스트 포맷.
• RecordIO-protobuf : SageMaker 빌트인이 선호하는 이진 입력 포맷. 파일이 작고 파이프 모드 스트리밍에 유리하다.
• Pipe 모드 : 학습 데이터를 인스턴스 디스크로 복사하지 않고 S3에서 바로 스트리밍하는 입력 방식.
• eta(학습률) : 각 부스팅 라운드가 모델을 얼마나 크게 갱신할지 정하는 비율. 작을수록 천천히 안정적으로 수렴한다.
• subsample / colsample_bytree : 각 트리를 만들 때 사용할 행·컬럼의 비율. 무작위성을 넣어 과적합을 줄인다.
• scale_pos_weight : XGBoost에서 양성 클래스의 가중치를 올려 클래스 불균형을 보정하는 파라미터.
• kmeans++ : 초기 중심을 서로 멀리 떨어지게 고르는 초기화 방법. 무작위 초기화보다 안정적이다.
• 엘보우(WCSS) : 군집 수 k를 늘리며 군집 내 제곱합의 감소폭이 꺾이는 지점을 k로 고르는 방법.
• 차원의 저주 : 차원이 늘수록 점들 사이 거리가 비슷해져 거리 기반 알고리즘의 변별력이 사라지는 현상.