Day 5 - Week 1 Integrated Review: ML Overview & Data Engineering 1

📌 핵심 정리

• Week 1은 **수명주기(Day 1) → 저장(Day 2) → 수집(Day 3) → 레이블링(Day 4)**을 하나의 데이터 파이프라인으로 잇는다.
• 파이프라인 전체를 관통하는 원칙은 재현성과 training-serving skew 방지 두 가지다.
• 입력 모드·포맷·수집 서비스·워크포스는 모두 상황에 따른 선택이지 절대적 정답이 없다. 지문의 단서를 찾아 매핑하는 훈련이 핵심이다.
• 불균형 데이터에서 accuracy는 함정이다. 미탐 비용이 크면 recall, 극단 불균형이면 PR-AUC.
• 제약이 충돌하는 시나리오는 모든 제약을 동시에 만족하는 선택이 정답이다. 하나만 어겨도 오답.

데이터 엔지니어링 파이프라인 한눈에 보기

이번 주 내용은 다음 흐름으로 이어진다.

[Source]  클릭 로그 · IoT · 거래 이벤트  ──┐
                                          ▼
[Ingest]  스트림? → Kinesis (Firehose=적재 / KDS=다소비자·replay)   (Day 3)
          배치?   → Glue ETL / EMR / Batch
                                          ▼
[Store]   S3 데이터레이크 (Parquet / RecordIO)                     (Day 2)
                                          ▼
[Label]   SageMaker Ground Truth (워크포스 + 액티브 러닝 + 합의)    (Day 4)
                                          ▼
[Features] Glue·Processing으로 피처 엔지니어링 → Feature Store
                                          ▼
[Train I/O] S3 (Pipe/File/FastFile) | EFS | FSx for Lustre        (Day 2)
                                          ▼
[Model]   학습 → 평가(비즈니스 지표 연결) → 배포 → 모니터링         (Day 1)
                                          └──── 드리프트 → 루프백 ────┘

💡 개념: 이 파이프라인 전체를 관통하는 하나의 원칙은 재현성과 training-serving skew 방지다. 수집·정제·피처 로직을 코드에 고정하고, 데이터를 버전 관리하고, 학습과 추론에서 동일한 변환을 쓴다. 노트북에서 즉흥적으로 만든 피처나 출처 불명 데이터는 운영에서 조용히 모델을 망가뜨린다.

핵심 판단 기준 총정리

시험에서 헷갈리는 결정들을 압축한다.

스토리지 입력 모드 (Day 2)

데이터 포맷 (Day 2)

수집 서비스 (Day 3)

레이블링 (Day 4)

빠른 복습: 평가 지표 (Day 1)

# 분류 지표 결정 트리 (의사코드)
if 클래스가_극단적으로_불균형:
    if 미탐_비용이_큼 (사기, 질병):          → recall 우선, PR-AUC로 비교
    elif 오탐_비용이_큼 (스팸, 마케팅):      → precision 우선
    else:                                    → PR-AUC
else:
    if 임계값_미정:                          → ROC-AUC
    else:                                    → F1 / accuracy

💡 개념: 항상 단일 지표 함정을 경계하라. 불균형 데이터에서 accuracy 99.9%는 "전부 음성" 모델일 수 있다. 오프라인 지표는 배포를 통과시키는 게이트이고, 온라인 비즈니스 지표(A/B 테스트)가 최종 판정을 내린다. 이 2단 구조를 기억하면 Day 1의 요지를 잡은 것이다.

미니 통합 시나리오

시나리오: 글로벌 이커머스가 실시간 클릭 스트림에서 사기 거래를 탐지하려 한다. 과거 사기 레이블이 매우 희소하고, 사기는 전체 거래의 0.1%다. 데이터에는 PII가 포함된다.

단계별 풀이 흐름:

1. 수집 — 다소비자와 재처리가 필요하므로 Kinesis Data Streams + Flink로 실시간 피처, 동시에 Firehose로 S3 적재(람다 아키텍처).
2. 저장 — S3 데이터레이크에 Parquet로.
3. 레이블링 — PII가 있으므로 Private 워크포스. 레이블이 매우 희소하므로 액티브 러닝으로 효율화하거나, seed조차 너무 적으면 비지도 이상 탐지(Random Cut Forest)로 출발.
4. 평가 — 0.1% 불균형 + 미탐 비용 큼 → recall 우선, PR-AUC로 비교.
5. 배포 — 소량 트래픽 A/B로 먼저 검증한 뒤 확대, 드리프트 모니터링.

이 한 시나리오에 Week 1의 모든 개념이 들어 있다. 각 결정의 근거를 말로 설명할 수 있으면 이번 주를 소화한 것이다.

💡 개념: 제약 충돌형 시나리오에서는 제약이 먼저다. PII가 워크포스를 강제하고, 극단적 불균형이 지표를 강제하고, 다소비자 요건이 KDS를 강제한다. 정답은 가장 화려한 기술이 아니라 모든 제약을 동시에 만족하는 선택이다. 하나라도 위반하면(예: PII를 공개 워크포스에) 다른 장점과 무관하게 오답이다.

⚠️ 함정: 보기 중 "가장 최신 서비스", "가장 저렴한 옵션", "가장 단순한 구성"이 눈에 띄어도 제약을 어기면 전부 오답이다. 제약 → 후보 소거 → 남은 것 중 비용·운영 부담 비교, 이 순서를 지켜라.

헷갈리는 짝 비교

Week 1 오답 노트

시험에서 반복해 걸려 넘어지는 지점만 모았다.

• accuracy를 고르는 습관 — 지문에 "0.1%", "희소", "불균형"이 보이면 즉시 버린다.
• "실시간이니까 KDS" — 소비자가 하나이고 적재만 하면 Firehose가 정답이다.
• "데이터가 크니까 EMR/큰 클러스터" — 산발적이고 운영 인력이 적으면 서버리스 쪽이 맞다.
• 샤딩을 켰는데 효과가 없다 — 데이터가 단일 거대 파일이면 객체 단위 분배가 일어나지 않는다.
• 민감 데이터에 Mechanical Turk — 단가만 보고 고르면 컴플라이언스 위반이다.
• 레이블이 없는데 지도학습 분류를 고름 — 레이블 가용성이 문제 유형을 바꾼다.
• 오프라인 지표만 보고 전량 배포 — 소량 트래픽 A/B로 온라인 지표를 먼저 확인해야 한다.
• Glue Crawler에 변환을 기대함 — Crawler는 스키마만 등록하고 데이터를 옮기거나 바꾸지 않는다.

스스로 점검하기

머릿속으로 답해 보자.

1. 수백 GB를 4대에 분산 학습하며 GPU 유휴를 줄이려면? → Pipe 모드 + ShardedByS3Key
2. 같은 데이터셋으로 HPO를 200회 반복한다면? → FSx for Lustre
3. 50개 컬럼 중 3개만 반복해서 읽는다면? → Parquet
4. 여러 팀이 같은 스트림을 독립 소비하고 재처리도 필요하다면? → Kinesis Data Streams
5. 스키마를 모르는 JSON 로그를 Athena로 보려면 먼저? → Glue Crawler
6. 환자 X-ray 50만 장의 워크포스는? → Private 또는 Vendor
7. 레이블링 예산이 빠듯할 때 첫 수단은? → 액티브 러닝
8. 양성 0.1%에서 가장 정직한 단일 지표는? → PR-AUC

Week 1 서비스 지도

이번 주에 등장한 서비스를 역할별로 한 장에 모았다. 시험에서 서비스 이름만 보고 자리를 떠올릴 수 있어야 한다.

지문에서 단서 찾기

Specialty 지문은 정답을 가리키는 단어를 반드시 심어 둔다. 아래 매핑을 외워 두면 소거가 빨라진다.

다음 주 예고

Week 2는 Data Engineering 2로 들어간다. EMR과 Spark를 이용한 대규모 처리, 데이터 변환·정제 심화, 결측치·이상치·불균형 데이터 처리, 그리고 특성 공학 기법 전반을 다룬다. 이번 주 파이프라인에서 "Features" 단계를 확대해 들여다보는 셈이다.

📖 용어

• 데이터레이크 : 정형·비정형 데이터를 원본 그대로 대량 저장해 두는 중앙 저장소. 보통 S3 위에 만든다.
• 재현성(reproducibility) : 같은 입력과 같은 코드면 언제 돌려도 같은 결과가 나오는 성질.
• training-serving skew : 학습 때와 추론 때 피처 계산이 달라 운영 성능이 떨어지는 사고.
• 드리프트(drift) : 운영 중 데이터 분포가 변해 모델 성능이 서서히 나빠지는 현상. 재학습 트리거의 근거.
• 입력 모드 : S3 데이터를 학습 컨테이너로 가져오는 방식. File·Pipe·FastFile.
• ShardedByS3Key : 인스턴스마다 S3 객체의 다른 조각만 받게 하는 분배 설정.
• replay(재생) : 스트림에 보관된 데이터를 처음부터 다시 읽어 재처리하는 것.
• 액티브 러닝 : 모호한 샘플만 사람에게 보내 레이블링 비용을 줄이는 전략.
• PR-AUC : precision-recall 곡선 아래 면적. 양성이 극히 적을 때 가장 정직한 지표.
• 제약 충돌 시나리오 : 규제·불균형·다소비자 같은 조건이 동시에 걸린 문제. 모든 제약을 만족하는 답을 골라야 한다.