Day 5 - Week 2 종합 — 데이터 수집·저장 복습

📌 핵심 정리

• 이번 주의 전체 그림은 S3를 중심으로 한 데이터 레이크다. 모든 서비스가 S3를 입출력으로 공유한다.
• 수집은 데이터가 오는 모양으로 고른다 — 스트리밍은 Kinesis, DB는 DMS, 파일은 DataSync.
• 저장은 학습을 위해 가공한다 — Parquet + Snappy + 날짜 파티셔닝 + 샤딩.
• Glue가 카탈로그·변환의 허브 — Crawler로 스키마를 등록하고 ETL Job/DataBrew로 변환한다.
• Athena는 스캔량 과금이라 포맷·파티션 설계가 곧 비용이다. SELECT * 습관이 요금을 키운다.

전체 데이터 파이프라인 한눈에

이번 주 서비스들을 따로 외우기보다 "raw 데이터가 들어와 학습 가능한 데이터셋이 되기까지"의 흐름 위에 얹는 것이 시험 대비에 효율적이다.