이번 주는 S3 기반 데이터레이크의 레이아웃, Lake Formation 권한, 오픈 테이블 포맷, 스토리지 비용 최적화를 다뤘습니다. 오늘은 네 주제를 하나의 데이터레이크 운영 시나리오로 엮어 복습합니다.
- 존 분리: raw(불변 원본) → clean(검증·정규화) → curated(비즈니스 집계). 단계별 권한·재처리 격리.
- 파티셔닝: Hive 스타일
key=value(보통 날짜 계층)로 파티션 프루닝. 카디널리티가 적절해야 하며, 작은 파일 문제(128MB~1GB 권장)에 주의.
- 파티션 프로젝션: 파티션이 많을 때 카탈로그 등록 없이 규칙으로 계산해 병목 회피.
- 포맷: Parquet + 압축(Snappy/ZSTD)으로 스캔량·비용 절감.
💡 관련 이론: 컴퓨팅과 스토리지 분리(S3 위 여러 엔진 공유)와 schema-on-read가 데이터레이크의 근본 특성입니다.
- 데이터 위치 등록(register) → credential vending으로 접근 일원화.
- 권한 모델: 명명형 vs LF-Tags(TBAC). 대규모는 태그 기반이 확장적.
- 세분화 보안: 컬럼 / 행(데이터 필터) / 셀 수준.
- 블루프린트: 수집 워크플로우(크롤러+잡+트리거) 자동 생성.
- IAM 권한과 Lake Formation 권한이 모두 필요.