마지막 주의 시작이다. 오늘은 시험 비중의 약 40%를 차지하는 앞쪽 두 도메인 — **도메인 1 데이터 엔지니어링(20%)**과 도메인 2 탐색적 데이터 분석(24%) — 을 한 흐름으로 복습한다. 두 도메인은 "데이터를 모으고, 저장하고, 옮기고, 변환하고, 정제하고, 시각화해서 학습 가능한 상태로 만드는" 한 파이프라인의 앞부분이다. 개별 서비스 암기가 아니라 "요구사항이 어떤 단어로 표현되면 어떤 서비스·기법으로 번역되는가"를 다시 세운다.
[원천 데이터]
│
├─ 1) 수집/적재 (도메인 1)
│ 실시간 스트림 → Kinesis (Data Streams / Firehose)
│ 배치 적재 → S3 + Glue 카탈로그
│ 관계형/이관 → DMS, DataSync
│
├─ 2) 저장 (도메인 1)
│ 데이터 레이크 = S3 (사실상 표준)
│ 쿼리 = Athena(서버리스), Redshift(웨어하우스)
│
├─ 3) 변환/ETL (도메인 1)
│ Glue(서버리스 Spark) / EMR(대규모 클러스터)
│
├─ 4) 정제 (도메인 2)
│ 결측치 처리, 이상치, 중복 제거, 타입 보정
│
├─ 5) 피처 엔지니어링 (도메인 2)
│ 인코딩, 스케일링, 비닝, 차원