Day 3 - SageMaker 내장 알고리즘 2: 텍스트·이미지·시계열·추천

데이터 형태가 알고리즘을 정한다

어제는 정형 데이터 알고리즘을 다뤘다. 오늘은 데이터 형태가 특수할 때 — 텍스트, 이미지, 시계열, 희소 상호작용 — 쓰는 전문 빌트인을 정리한다.

                  [데이터가 표 형식이 아니다]
                            │
        ┌───────────┬───────┴────────┬─────────────┐
      텍스트       이미지          시계열       사용자-아이템
        │            │               │            (매우 희소)
   레이블 있나?   무엇을 원하나?   관련 시계열      │
   ├─ 예 →       ├─ 라벨만 →      다수인가?    Factorization
   │  supervised │  Image          ├─ 예 →      Machines
   │  (문서 분류) │  Classification │  DeepAR   (RecordIO-protobuf)
   └─ 아니오 →   ├─ 위치까지 →     └─ 아니오 →
      Word2Vec   │  Object            단일 통계 기법
      (임베딩)   │  Detection         또는 Forecast
                 └─ 픽셀 단위 →
                    Semantic Segmentation

BlazingText — 텍스트 분류와 단어 임베딩

Word2Vec과 텍스트 분류를 GPU로 가속하는 빌트인. 두 가지 모드가 있다.

• Word2Vec(비지도): 단어를 벡터로 임베딩한다. 유사 단어 탐색, 다운스트림 피처 생성에 쓴다
• Text Classification(지도): 문서 → 레이블(감성, 주제 등). fastText 기반

모드 결정:
  레이블이 있고 문서를 분류한다 → supervised (text classification)
  레이블이 없고 단어 벡터만 필요 → Word2Vec (cbow / skipgram / batch_skipgram)

• 입력: 텍스트 파일(공백 토큰화). supervised 모드는 __label__<label> sentence 형식
• 강점: 대규모 코퍼스에서 속도가 압도적, 다국어 지원, subword로 OOV(사전에 없는 단어) 처리

BlazingText의 Word2Vec은 "문맥으로 중심 단어를 맞히기(CBOW)" 또는 "중심 단어로 문맥을 맞히기(skip-gram)"를 통해 의미가 비슷한 단어를 벡터 공간에서 가깝게 배치한다. 학습된 임베딩 자체를 단어 유사도 검색에 쓰거나, 다른 모델의 입력 피처로 넘긴다. 시험에서 "단어의 의미적 유사도" / "임베딩"은 Word2Vec 모드 신호, "문서를 카테고리로 분류"는 supervised 모드 신호다.

⚠️ 함정: supervised 모드에서 학습 파일의 레이블 접두사는 반드시 __label__ 형태여야 한다. 일반 CSV처럼 컬럼으로 레이블을 넣는 보기는 오답이다.

Image Classification — 이미지 분류

CNN(ResNet) 기반으로 이미지를 하나 또는 여러 레이블로 분류하는 빌트인이다.

• 용도: 단일/다중 레이블 이미지 분류
• 입력: RecordIO 또는 이미지(.jpg/.png) + .lst 목록 파일
• 핵심 기법: 전이 학습(Transfer Learning) — use_pretrained_model=1로 ImageNet 사전학습 가중치에서 시작하면 데이터가 적어도 좋은 성능이 난다

핵심 하이퍼파라미터:
  num_classes, num_training_samples
  use_pretrained_model   0(처음부터) | 1(전이 학습)
  image_shape, learning_rate, mini_batch_size
  augmentation_type      이미지 증강 (crop/color 등)

• 데이터가 적으면 전이 학습 + 데이터 증강이 정석이다.
• 객체의 위치까지 필요하면 분류가 아니라 Object Detection 빌트인, 픽셀 단위면 Semantic Segmentation이다.

⚠️ 함정: "이미지 + 데이터가 부족"에 "더 깊은 네트워크를 처음부터 학습"을 고르면 오답이다. 데이터가 적을수록 모델을 키우는 게 아니라 사전학습 가중치를 빌려오고 증강으로 데이터를 늘린다.

DeepAR — 시계열 예측

RNN 기반 시계열 예측 빌트인. 핵심 강점은 시계열 하나를 따로 모델링하는 게 아니라 관련된 여러 시계열을 함께 학습해 패턴을 공유하는 것이다.

• 용도: 수요·매출·트래픽의 미래 값 예측, 확률적(분위수) 예측
• 입력: JSON Lines — 각 시계열이 start, target, 선택적으로 cat(카테고리), dynamic_feat(공변량)를 가진다
• 강점: 수천 개 매장처럼 관련 시계열이 많을 때 개별 모델링보다 정확하다. 신규·짧은 시계열(콜드 스타트)도 유사 시계열에서 배운 패턴으로 예측할 수 있다

핵심 하이퍼파라미터:
  context_length      과거 입력 윈도의 길이
  prediction_length   예측 윈도의 길이
  epochs, num_cells, num_layers
  likelihood          출력 분포 (Gaussian 등)

전통적인 ARIMA·지수평활은 시계열 하나하나를 따로 모델링하지만, DeepAR는 여러 관련 시계열을 한 모델로 학습해 계절성·추세를 교차 학습한다. 그래서 이력이 짧은 신규 아이템도 유사 아이템의 패턴을 빌려 쓸 수 있다. 출력이 점 추정이 아니라 분포(분위수)이므로 P10/P50/P90 형태의 불확실성 구간을 준다. 시험에서 "수천 개의 관련 시계열" / "신제품 수요" / "확률적 예측 구간"은 DeepAR 신호다. 더 관리형이 필요하면 Amazon Forecast다.

DeepAR가 단일 시계열 기법보다 유리한 조건

"시계열 예측"이라고 무조건 DeepAR가 정답은 아니다. 시계열이 하나뿐이고 데이터도 짧다면 딥러닝은 과한 선택이다. "관련 시계열 다수" 또는 "확률 구간 필요"라는 단서가 있어야 DeepAR로 확정된다.

Factorization Machines — 희소 고차원 추천

사용자-아이템처럼 매우 희소하고 고차원인 데이터에서 피처 간 2차 상호작용을 효율적으로 모델링한다.

• 용도: 추천(클릭 예측, 평점 예측), 희소 분류/회귀
• 입력: RecordIO-protobuf(float32). 희소 데이터에 최적화되어 있어 CSV는 권장하지 않는다
• 강점: 원핫 인코딩으로 폭발한 초고차원 희소 입력에서도 상호작용을 효율적으로 학습한다

핵심 하이퍼파라미터:
  num_factors        잠재 요인(latent factor) 차원
  predictor_type     binary_classifier | regressor
  bias/linear/factors   항별 정규화·초기화 설정

추천 맥락에서 FM은 협업 필터링의 일반화다. 사용자 ID와 아이템 ID를 원핫으로 넣으면 행렬 분해처럼 동작하고, 여기에 추가 피처(시간, 맥락)를 함께 넣을 수도 있다.

FM에 CSV를 쓰겠다는 보기는 오답 신호다. 희소 고차원 데이터를 CSV로 표현하면 0이 대부분인 거대한 밀집 표가 되어 비효율적이다. RecordIO-protobuf(float32)가 정답이다.

전처리와 평가 지표

전문 빌트인은 정형 알고리즘과 전처리 요구가 다르다. "스케일링" 개념 자체가 성립하지 않는 경우도 있다.

추천·클릭 예측 데이터는 양성(클릭)이 극히 드문 전형적 불균형이다. 여기서 accuracy를 지표로 고르는 보기는 오답이며, 랭킹 품질을 보는 AUC나 소수 클래스에 정직한 PR-AUC가 정답 방향이다.

지문 단서 → 정답 매핑표

내일은 레이블 없이 다루는 비지도·이상 탐지 빌트인(RCF, PCA, IP Insights, LDA/NTM)을 다룬다.

📖 용어

• fastText : 단어를 부분 문자열(subword)까지 쪼개 표현하는 텍스트 분류·임베딩 기법. BlazingText supervised 모드의 기반이다.
• OOV(out-of-vocabulary) : 학습 사전에 없던 단어. subword 표현을 쓰면 처음 보는 단어도 벡터를 만들 수 있다.
• cbow / skipgram : 문맥으로 중심 단어를 맞히는 방식 / 중심 단어로 문맥을 맞히는 방식. Word2Vec의 두 학습 방향이다.
• 전이 학습(transfer learning) : 대규모 데이터로 미리 학습된 가중치에서 출발해 적은 데이터로 미세 조정하는 기법.
• 데이터 증강(augmentation) : 자르기·색 변형 등으로 학습 이미지를 인위적으로 늘려 과적합을 줄이는 기법.
• .lst 파일 : 이미지 경로와 레이블을 줄 단위로 적어 Image Classification에 넘기는 목록 파일.
• JSON Lines : 한 줄에 JSON 객체 하나씩 담는 포맷. DeepAR가 시계열 하나를 한 줄로 받는 방식이다.
• context_length / prediction_length : DeepAR가 참고하는 과거 구간의 길이 / 예측할 미래 구간의 길이.
• 분위수 예측(P10/P50/P90) : 하나의 값이 아니라 "10%·50%·90% 확률선"을 함께 내주는 확률적 예측.
• 잠재 요인(latent factor) : 사용자·아이템을 설명하는 보이지 않는 저차원 특성 벡터. FM의 num_factors가 그 차원을 정한다.