이번 주는 데이터 엔지니어링의 출발점인 "수집(ingestion)"을 배치와 스트리밍으로 나눠 훑었다. 오늘은 흩어진 조각을 하나의 의사결정 지도로 묶는다. DEA-C01 수집 도메인 문제의 9할은 "이 시나리오에 어떤 서비스를 골라야 하나"이고, 그 답은 항상 키워드에서 나온다. 이 종합편의 목표는 시나리오 → 서비스 매핑을 반사적으로 떠올리게 만드는 것이다.
데이터 수집
│
┌───────────────────┴───────────────────┐
배치(Batch) 스트리밍(Streaming)
│ │
┌─────┼─────────┬──────────┐ ┌────────┼──────────┬─────────┐
S3 업로드 DataSync Transfer Snow KDS Firehose MSK
(단발/소량) (반복/대량) Family (PB/느린 (실시간 (근실시간 (기존
동기화·검증 (SFTP 수신) 회선) 멀티컨슈머 단순적재) Kafka)
·재처리)