Day 2 - SageMaker Data Wrangler: 코드 없이 끝내는 데이터 준비

Data Wrangler란 무엇인가

어제 본 스케일링·인코딩·결측치 처리를 매번 pandas로 손코딩하면 시간이 오래 걸리고, 적용한 변환 순서를 재현하기도 어렵다. Data Wrangler는 이 전체 흐름을 시각적 인터페이스로 묶어주는 SageMaker Studio 내장 도구다.

핵심은 flow라는 개념이다. flow는 데이터 소스 → 변환 단계들 → 출력으로 이어지는 방향성 그래프(DAG)이며, 각 노드가 하나의 데이터 처리 단계다. 사용자가 GUI에서 변환을 추가하면 Data Wrangler가 내부적으로 그에 해당하는 코드(pandas/PySpark)를 생성한다.

[S3 데이터 소스]
      |
      v
[결측치 대치: median]
      |
      v
[One-Hot 인코딩: category]
      |
      v
[StandardScaler: numeric]
      |
      v
[출력: Feature Store / S3 / Pipeline]

300개 이상의 내장 변환을 제공하므로 흔한 전처리는 대부분 코드 없이 해결된다. 커스텀 로직이 필요하면 Python(pandas), PySpark, SQL 코드 블록을 직접 넣을 수도 있다.

노트북 손코딩과의 차이

Data Wrangler의 flow는 데이터 엔지니어링의 ETL/ELT 파이프라인을 시각화한 것이다. 각 변환이 멱등적(idempotent)이고 순서가 명확한 DAG로 표현되므로, 같은 입력에 같은 변환을 적용하면 항상 같은 출력이 나온다. 이 재현성(reproducibility)이 ML 파이프라인의 핵심 가치다. 손코딩한 노트북은 셀 실행 순서에 따라 결과가 달라지지만, flow는 순서가 그래프에 고정된다.

다양한 데이터 소스 연결

Data Wrangler는 여러 소스에서 직접 데이터를 가져온다. 시험에서 "어디서 데이터를 불러올 수 있는가"를 묻는 문제가 있다.

Athena 연동이 특히 유용하다. 거대한 S3 데이터셋 전체를 다운로드하지 않고, SQL WHERE 절로 필요한 부분만 샘플링해 불러올 수 있다.

⚠️ 함정: Data Wrangler에서 보는 데이터는 기본적으로 샘플(상위 N행 또는 무작위 샘플)이다. 화면에서 변환을 미리보기로 확인하더라도, 실제 전체 데이터에 적용하려면 export하여 SageMaker Processing Job으로 돌려야 한다. 샘플에서 잘 돼 보여도 전체 데이터의 분포가 다르면 결과가 달라질 수 있으니, 샘플 크기와 방식을 인지해야 한다.

변환(Transform)

Data Wrangler의 변환은 어제 배운 특성 공학을 GUI로 옮긴 것이다.

# Data Wrangler의 변환은 GUI에서 클릭으로 구성하고
# export 시 노트북/스크립트/Processing Job 정의로 생성된다 (개념)
#
# .flow 파일이 변환 정의를 담고, Processing Job이 전체 데이터에 적용한다.
#   flow(설계도)  →  export  →  Processing Job(전체 데이터 실행)

Data Wrangler에는 Quick Model이라는 기능이 있어, 현재까지의 변환 결과로 즉석에서 트리 기반 모델을 학습시켜 예상 성능과 특성 중요도(feature importance)를 미리 보여준다. 이로써 "이 변환이 실제로 모델 성능에 도움이 되는가"를 본격 학습 전에 빠르게 검증할 수 있다. 또 Target Leakage 분석으로 타깃 정보가 새는 특성을 자동 탐지해준다.

분석(Analyze)

변환만큼 중요한 게 데이터 이해다. Data Wrangler는 클릭 한 번으로 여러 분석 시각화를 제공한다.

이 리포트들은 어제 배운 "데이터 사전 확인, 결측 메커니즘 파악, 이상치 탐지"를 자동화해준다.

한 팀이 이탈 예측 모델을 만들며 "마지막 로그인일" 특성을 넣었는데, 알고 보니 이탈한 고객만 이 값이 채워져 있었다(이탈 시점에 기록). Data Wrangler의 Target Leakage 분석이 이 특성의 비정상적으로 높은 예측력을 잡아내 누수를 사전에 발견했다. 누수 특성을 그대로 뒀다면 오프라인 검증 정확도는 99%였겠지만 실서비스에선 무용지물이었을 것이다.

내보내기(Export)

flow를 완성하면 여러 대상으로 내보낼 수 있다. 시험에서 export 옵션을 구분하는 문제가 나온다.

Data Wrangler 자체는 미리보기/설계 도구이고, 실제 대규모 처리는 export된 Processing Job이 수행한다. flow(.flow 파일)는 변환 정의를 담은 청사진이고, 이를 재실행하면 새 데이터에도 같은 변환을 적용할 수 있어 재현성이 보장된다.

                    ┌──> Processing Job ──> 전체 데이터에 변환 적용
                    │
[.flow 청사진] ─────┼──> Feature Store ───> 학습·추론이 같은 특성 공유
                    │
                    ├──> Pipelines ───────> 자동 재학습 단계로 편입
                    │
                    └──> Python/Notebook ─> 코드로 추출해 직접 관리

Data Wrangler → Feature Store → Pipelines로 이어지는 흐름은 MLOps의 "feature pipeline"을 구현한 것이다. 데이터 준비를 일회성 노트북 작업이 아니라 버전 관리되고 재실행 가능한 파이프라인 단계로 만들면, 학습 시점과 추론 시점에 동일한 변환이 적용된다(training/serving skew 방지). 이는 Day 3의 Feature Store 일관성과 직결된다.

Data Wrangler vs 다른 도구

언제 Data Wrangler를 고를지가 시험 포인트다.

Data Wrangler의 강점은 GUI·시각화·즉석 모델 검증이라는 "탐색과 설계" 단계에 있다.

⚠️ 함정: "Data Wrangler로 수백 GB를 처리한다"는 표현이 나오면 정확히는 flow를 Processing Job으로 export해 처리하는 것이다. Data Wrangler 화면 자체가 대용량을 처리하는 게 아니라는 점을 구분해야 한다.

샘플과 전체 데이터의 간극 관리

Data Wrangler가 화면에서 다루는 것은 샘플이다. 이 사실이 실무에서 문제를 만드는 지점은 정해져 있다.

• Athena 소스를 쓰면 WHERE로 기간·조건을 조절해 대표성 있는 샘플을 만들 수 있다.
• 최종 판단은 항상 Processing Job으로 전체를 돌린 결과로 한다.

전처리 파이프라인의 재현성 계보

[.flow 파일]        ← 변환 정의(청사진). 버전 관리 대상
     │ export
     v
[Processing Job]    ← 전체 데이터에 실제 적용
     │ 출력
     v
[Feature Store]     ← 학습·추론이 함께 읽는 저장소
     │
     └─> [Pipelines] 단계로 편입되면 재학습 때마다 같은 변환이 자동 적용

이 계보가 끊기는 지점이 곧 skew가 생기는 지점이다.

"Data Wrangler로 전처리했다"는 말만으로는 재현성이 보장되지 않는다. flow를 export해 파이프라인 단계로 고정해야 비로소 학습·추론이 같은 변환을 쓴다.

도구 선택 한 줄 정리

다음 글에서는 처리한 특성을 저장하고 재사용·일관성 있게 제공하는 SageMaker Feature Store를 본다.

📖 용어

• Data Wrangler : SageMaker Studio 안에서 데이터를 불러오고 클릭으로 변환·분석하는 데이터 준비 도구.
• flow : 소스에서 변환을 거쳐 출력까지 이어지는 그래프. 변환 순서를 고정해 재현성을 만든다.
• DAG(방향성 비순환 그래프) : 화살표가 한 방향으로만 흐르고 되돌아오지 않는 작업 그래프.
• 멱등적(idempotent) : 같은 입력에 같은 처리를 몇 번 해도 결과가 같은 성질.
• 샘플(sample) : 전체가 아닌 일부 행. Data Wrangler 화면은 기본적으로 샘플을 보여준다.
• Processing Job : 전체 데이터에 전처리를 적용하는 SageMaker 배치 작업. flow의 실제 실행 주체.
• Data Quality and Insights Report : 결측·중복·누수·불균형·특성 중요도를 자동으로 뽑아주는 리포트.
• Quick Model : 현재 변환 상태로 즉석 모델을 학습해 성능과 특성 중요도를 미리 보여주는 기능.
• Target Leakage 분석 : 타깃 정보가 새어 들어간 특성을 비정상적으로 높은 예측력으로 찾아내는 진단.
• 특성 중요도(feature importance) : 각 특성이 예측에 얼마나 기여했는지의 정도.