Day 2 - 데이터: 정형/비정형, 데이터 분리, 그리고 품질의 힘

📌 핵심 정리

• 데이터는 **정형(표 형태)과 비정형(이미지·음성·텍스트)**으로 나뉘며, 세상 데이터의 대부분은 비정형이다.
• 데이터를 학습/검증/테스트로 나누는 이유는 단 하나 — 공정한 평가. 테스트셋은 끝까지 감춰 둔다.
• 테스트 데이터가 학습에 섞이는 **데이터 누수(Data Leakage)**는 점수를 부풀리고 실전에서 무너진다.
• 데이터 품질 5축: 정확성·완전성·일관성·적시성·대표성. 대표성 부족은 곧 편향으로 이어진다.
• 클래스 불균형에서는 단순 정확도가 무의미하다. "전부 정상"만 답해도 99.9%가 나온다.

정형 데이터 vs 비정형 데이터

데이터를 나누는 가장 기본적인 기준은 "정해진 구조가 있느냐"이다.