데이터레이크의 핵심은 "원본은 절대 손대지 않고, 단계별로 정제된 사본을 누적한다"는 철학입니다. 오늘은 Amazon S3를 데이터레이크 스토리지로 사용할 때의 존(zone) 구조, 파티셔닝, 네이밍 규칙을 다룹니다.
S3는 사실상 무제한 용량, 11 9's(99.999999999%)의 내구성, 컴퓨팅과 스토리지의 분리를 제공합니다. 이 분리 덕분에 Athena, EMR, Redshift Spectrum, Glue 등 여러 엔진이 동일한 데이터를 동시에 읽을 수 있습니다. 전통적 DW와 달리 스토리지를 먼저 채우고 스키마는 읽을 때 적용(schema-on-read)합니다.
💡 관련 이론: 데이터레이크는 schema-on-read, 데이터웨어하우스는 schema-on-write입니다. 레이크는 정형/반정형/비정형 데이터를 원본 그대로 저장하고, 쿼리 시점에 스키마를 부여합니다.
데이터레이크는 가공 단계별로 버킷 또는 프리픽스를 분리합니다. 일반적으로 3계층(메달리온 아키텍처의 bronze/silver/gold와 동일 개념)을 사용합니다.
s3://company-datalake-raw/ # Raw(Bronze) — 원본 그대로, 불변
└── source=salesforce/dt=2026-06-25/...