이번 주는 MLS-C01의 토대를 깔았다. ML 수명주기를 Specialty 깊이로 다시 보고(Day 1), 데이터를 어디에 어떤 포맷으로 둘지(Day 2), 어떻게 수집할지(Day 3), 어떻게 레이블링할지(Day 4)를 다뤘다. 오늘은 이 조각들이 하나의 데이터 파이프라인으로 어떻게 맞물리는지 통합하고, 시험에서 자주 흔들리는 결정 기준을 정리한다.
이번 주 내용을 하나의 흐름으로 이으면 다음과 같다.
[원천] 클릭로그·IoT·거래 ──┐
▼
[수집] 스트림? → Kinesis (Firehose=적재 / KDS=다소비·재생) (Day 3)
배치? → Glue ETL / EMR / Batch
▼
[저장] S3 데이터레이크 (Parquet/RecordIO) (Day 2)
▼
[레이블] SageMaker Ground Truth (워크포스 + 액티브 러닝 + 합의) (Day 4)
▼
[특성] Glue/Processing로 피처 엔지니어링 → Feature Store
▼
[학습 I/O] S3(Pipe/File/FastFile) | EFS | FSx for Lustre (Day 2)
▼
[모델] 학습 → 평가(비즈니스 지표 연결) → 배포 → 모니터링 (Day 1)
└──── 드리프트 시 루프백 ────┘
💡 관련 이론: 이 파이프라인 전체에서 일관되게 흐르는 원칙은 재현성과 training-serving skew 방지다. 수집·정제·피처 로직을 코드로 고정하고, 데이터 버전을 관리하며, 학습과 추론에서 동일한 변환을 쓰는 것. 노트북에서 즉흥적으로 만든 피처나 출처 불명의 데이터는 운영에서 조용히 모델을 망가뜨린다.
시험에서 자주 갈리는 선택을 한 줄 기준으로 압축한다.
스토리지 입력 모드 (Day 2)
| 상황 | 선택 |
|---|---|
| 대용량·순차·시작 빨리 | Pipe 모드 |
| 작은 데이터·랜덤 접근 | File 모드 |
| 대용량인데 일부/랜덤만 | FastFile 모드 |
| 반복·고처리량 공유 | FSx for Lustre |
| 범용 공유 파일시스템 | EFS |
데이터 포맷 (Day 2)
| 상황 | 선택 |
|---|---|
| 정형 데이터 분석·ETL, 일부 컬럼만 | Parquet (컬럼형) |
| SageMaker 내장 알고리즘 대용량 학습 | RecordIO-protobuf |
| 수백만 작은 파일 | 샤딩으로 큰 묶음 통합 |
수집 서비스 (Day 3)
| 상황 | 선택 |
|---|---|
| 코드 없이 S3 등으로 단순 적재 | Kinesis Data Firehose |
| 다소비자·재처리·커스텀 처리 | Kinesis Data Streams |
| 스트림 실시간 집계·이상탐지 | Managed Service for Flink |
| 스키마 추론·카탈로그 | Glue Crawler |
| 서버리스 Spark ETL | Glue ETL Job |
레이블링 (Day 4)
선택지를 클릭하면 정답·해설이 펼쳐집니다.
문제 1
거래의 0.1%만 사기이고 미탐 비용이 큰 사기 탐지 모델의 성능을 비교한다. 가장 정직한 단일 지표는?
문제 2
수백 GB 데이터를 여러 인스턴스로 분산 학습하며 GPU 유휴를 최소화하고 인스턴스마다 다른 데이터 조각만 읽게 하려면?
문제 3
PII가 포함된 의료 데이터를 레이블링하면서 레이블링 인건비도 줄이고 싶다. 가장 적절한 조합은?
문제 4
하나의 이벤트 스트림을 실시간 대시보드·사기 모델·추후 재처리에 독립적으로 쓰고 장애 시 재생도 필요하다. 적합한 수집 서비스는?
문제 5
여러 제약(민감 데이터, 극단적 불균형, 다소비 스트림)이 동시에 걸린 시나리오 문제를 풀 때 가장 올바른 접근은?
| 상황 | 선택 |
|---|---|
| 민감·규제 데이터 | Private 또는 Vendor 워크포스 |
| 공개·대규모·저비용 | Mechanical Turk |
| 레이블링 비용 절감 | 액티브 러닝(자동 레이블링) |
| 무작위 오류 감소 | 합의(다수 라벨러 + 통합) |
# 분류 지표 결정 트리 (의사코드)
if 클래스가_심하게_불균형:
if 미탐_비용이_큼(사기·질병): → recall 우선, 비교는 PR-AUC
elif 오탐_비용이_큼(스팸·마케팅): → precision 우선
else: → PR-AUC
else:
if 임계값_미정: → ROC-AUC
else: → F1 / accuracy💡 관련 이론: 단일 지표 함정을 항상 경계하자. accuracy 99.9%가 불균형 데이터에서는 "전부 음성" 모델일 수 있다. 오프라인 지표는 배포 게이트, 온라인 비즈니스 지표(A/B 테스트)는 최종 판정이라는 2단 구조를 기억하면 Day 1의 핵심을 다 잡은 것이다.
시나리오: 글로벌 이커머스가 실시간 클릭스트림으로 사기 거래를 탐지하려 한다. 과거 사기 레이블은 매우 적고, 거래의 0.1%만 사기다. 데이터는 PII를 포함한다.
단계별 정답 흐름:
이 한 시나리오에 Week 1의 모든 개념이 들어 있다. 각 결정의 근거를 말로 설명할 수 있으면 이번 주를 소화한 것이다.
💡 관련 이론: 여러 개념이 충돌하는 시나리오 문제에서는 "제약 조건"이 먼저다. PII는 워크포스를 강제하고, 극단적 불균형은 지표를 강제하며, 다소비자 요건은 KDS를 강제한다. 보기 중 가장 멋진 기술이 아니라, 모든 제약을 동시에 만족하는 선택이 정답이다.
Week 2는 데이터 엔지니어링 2로, EMR·Spark 기반 대규모 처리, 데이터 변환·정제 심화, 결측치·이상치·불균형 데이터 처리, 그리고 피처 엔지니어링의 본격적인 기법으로 들어간다. 오늘 정리한 파이프라인의 "특성(Feature)" 단계를 깊게 파는 주다.