"쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)." 파이프라인이 아무리 안정적이어도 들어오는 데이터가 틀렸다면 결과는 신뢰할 수 없습니다. 오늘은 데이터 품질을 측정·강제하고, 불량 데이터를 걸러 재처리하는 방법을 다룹니다.
데이터 품질은 보통 여섯 가지 차원으로 정의합니다.
💡 관련 이론: 품질 검증은 가능한 한 파이프라인의 앞쪽(수집 직후) 에 두는 것이 좋습니다. 불량 데이터가 curated 존까지 흘러간 뒤 발견하면 영향 범위와 재처리 비용이 기하급수적으로 커집니다(shift-left).
Glue Data Quality는 데이터셋의 품질 규칙을 선언형 언어 DQDL(Data Quality Definition Language) 로 정의하고 점수를 매깁니다. Glue Data Catalog 테이블이나 ETL 잡 내부에서 실행할 수 있습니다.