Day 1 - 데이터 엔지니어링이란

회사에 데이터는 넘쳐난다. 주문 DB, 웹 로그, 결제 이벤트, 고객 문의, IoT 센서 값. 그런데 정작 "지난 분기 지역별 재구매율"을 뽑으려면 며칠이 걸리고, 매번 다른 숫자가 나온다. 데이터가 없어서가 아니라, 여러 시스템에 흩어진 원시 데이터를 신뢰할 수 있는 분석 가능한 형태로 옮기고 정제하는 사람이 없어서다. 그 사람이 데이터 엔지니어다.

DEA-C01(AWS Certified Data Engineer – Associate)은 바로 이 "흩어진 원시 데이터에서 분석 가능한 데이터까지"를 AWS 위에서 어떻게 다루는지를 묻는 자격증이다. 오늘은 데이터 엔지니어의 역할, 데이터 파이프라인이라는 개념, 그리고 모든 설계 판단의 출발점이 되는 두 가지 대비축 — OLTP vs OLAP, 데이터레이크 vs 웨어하우스 — 를 본다.

데이터 엔지니어가 하는 일

데이터 엔지니어의 산출물은 모델도 대시보드도 아니다. 파이프라인이다. 원시 데이터가 들어오면 자동으로 정제·변환되어, 분석가·과학자·BI 도구가 바로 쓸 수 있는 형태로 쌓이게 만드는 시스템이다.

분석가가 "왜 매출이 떨어졌나"를 SQL로 파헤친다면, 데이터 엔지니어는 그 SQL이 항상 정확한 최신 데이터를 가리키도록 **그 아래의 배관(plumbing)**을 책임진다. 데이터가 늦게 도착하거나, 중복되거나, 스키마가 깨지면 위층의 모든 분석이 조용히 틀려진다.

💡 관련 이론: 데이터 엔지니어링의 핵심 철학은 "garbage in, garbage out"이다. 아무리 정교한 모델이나 대시보드도 입력 데이터가 부정확하면 무의미하다. 그래서 데이터 엔지니어의 1순위 책임은 화려한 변환이 아니라 데이터 품질과 신뢰성이다. DEA-C01이 수집·변환뿐 아니라 데이터 품질·모니터링·거버넌스를 비중 있게 묻는 이유가 여기 있다.

데이터 파이프라인: ETL과 ELT

데이터를 한 곳에서 다른 곳으로 옮기며 정제하는 흐름을 파이프라인이라 부른다. 고전적인 형태는 ETL이다.

ETL (Extract → Transform → Load)
  추출 → 변환 → 적재
  원천에서 뽑고 → 중간에서 변환하고 → 목적지에 넣는다

ELT (Extract → Load → Transform)
  추출 → 적재 → 변환
  원천에서 뽑고 → 일단 다 넣고 → 목적지 안에서 변환한다

전통적 ETL은 변환을 별도 서버에서 미리 끝낸 뒤 웨어하우스에 깨끗한 데이터만 넣었다. 웨어하우스 저장·연산이 비쌌기 때문이다. 그런데 클라우드에서 S3 같은 저렴한 스토리지와 Redshift·Athena 같은 강력한 쿼리 엔진이 등장하면서 흐름이 바뀌었다. **원시 데이터를 일단 다 적재하고(L), 필요할 때 안에서 변환(T)**하는 ELT가 흔해졌다.

AWS에서 전형적인 파이프라인은 이렇게 생겼다.

[원천 DB/로그/스트림]
        │ Extract
        ▼
   [S3 원시 영역]  ← 저렴하게 일단 다 저장
        │ Transform (Glue / EMR / Athena)
        ▼
  [S3 정제 영역 / Redshift]  ← 분석 가능한 형태
        │
        ▼
   [QuickSight / SageMaker]  ← 소비

💡 관련 이론: ETL과 ELT의 선택은 "변환을 어디서 하느냐"의 문제다. ELT는 원시 데이터를 보존하므로, 나중에 변환 로직이 바뀌어도 원천을 다시 부르지 않고 재처리할 수 있다(reprocessing). 이 "원시 데이터를 버리지 않는다"는 원칙이 다음에 볼 데이터레이크의 핵심 사상이다.

OLTP vs OLAP: 처리의 두 세계

데이터 시스템을 이해하는 가장 중요한 대비축이다. 같은 "데이터베이스"라도 목적이 정반대다.

📝 연습 문제

선택지를 클릭하면 정답·해설이 펼쳐집니다.

문제 1

데이터 엔지니어의 가장 핵심적인 산출물과 1순위 책임을 가장 정확히 짝지은 것은?

• A머신러닝 모델 — 예측 정확도
• B데이터 파이프라인 — 데이터 품질과 신뢰성
• CBI 대시보드 — 시각화 디자인
• D운영 데이터베이스 — 트랜잭션 속도

문제 2

클라우드 환경에서 전통적 ETL 대신 ELT가 널리 쓰이게 된 핵심 배경은?

• A변환 로직이 더 단순해졌기 때문
• BS3 같은 저렴한 스토리지와 강력한 쿼리 엔진 덕에 원시 데이터를 먼저 적재하고 안에서 변환하는 것이 유리해졌기 때문
• C데이터 보안 요구가 사라졌기 때문
• DOLTP가 OLAP를 대체했기 때문

문제 3

운영 중인 주문 처리 시스템(OLTP)의 데이터를 대상으로 "지난 3년 월별·지역별 매출 집계"를 직접 실행하려 한다. 이 접근의 가장 큰 문제는?

• AOLTP는 SQL을 지원하지 않는다
• B대량 행을 스캔하는 무거운 집계가 거래 처리에 부하를 주어 서비스가 느려진다
• COLTP 데이터는 암호화할 수 없다
• D집계 결과가 항상 부정확하다

문제 4

schema-on-read 방식으로 정형·반정형·비정형 데이터를 원시 그대로 저장하는 저장 패턴을 무엇이라 하며, AWS의 대표 구성은?

• A데이터 웨어하우스 — Redshift
• B데이터레이크 — S3 + Glue Data Catalog
• COLTP 데이터베이스 — DynamoDB
• D인메모리 캐시 — ElastiCache

문제 5

DEA-C01의 4개 도메인 중 가장 큰 비중을 차지하며 데이터 엔지니어 업무의 핵심임을 보여주는 영역은?

• A데이터 보안·거버넌스
• B데이터 수집·변환
• C데이터 운영·지원
• D데이터 저장·관리