ML의 연료는 데이터다. 어제 본 수명주기 전체가 결국 "어떤 데이터를, 어떻게 다루느냐"에 달려 있다. 그래서 오늘은 데이터 그 자체를 정면으로 다룬다. 데이터에는 어떤 종류가 있는지(정형/비정형), 왜 데이터를 한 덩어리로 쓰지 않고 세 조각으로 나누는지(학습/검증/테스트), 그리고 왜 "데이터 품질"이 모델의 운명을 가르는지를 정리한다.
이 세 가지는 AIF-C01에서 직접적으로, 또 시나리오 형태로 자주 등장한다.
데이터를 나누는 가장 기본적인 기준은 "정해진 구조가 있느냐"이다.
| 구분 | 정형 데이터(Structured) | 비정형 데이터(Unstructured) |
|---|---|---|
| 구조 | 행과 열로 정리됨(표 형태) | 정해진 표 구조가 없음 |
| 예시 | 엑셀 표, 데이터베이스 테이블, CSV | 이미지, 음성, 영상, 자유 텍스트 |
| 다루기 | 비교적 쉬움(이미 숫자/범주) | 어려움(숫자로 변환 필요) |
| 비중 | 전체 데이터의 일부 | 세상 데이터의 대부분 |
정형 데이터는 "고객 ID, 나이, 구매 금액"처럼 칸이 딱 정해진 표를 떠올리면 된다. 반면 비정형 데이터는 사진 한 장, 음성 녹음, 트윗 한 줄처럼 정해진 칸이 없다.
💡 관련 이론: 한 가지 더 알아 둘 것이 **반정형 데이터(Semi-structured)**다