Day 2 - 데이터: 정형/비정형, 데이터 분리, 그리고 품질의 힘

정형 데이터 vs 비정형 데이터

데이터를 나누는 가장 기본적인 기준은 "정해진 구조가 있느냐"이다.

• 정형: "고객 ID, 나이, 구매 금액"처럼 칸이 딱 정해진 표.
• 비정형: 사진 한 장, 음성 녹음, 트윗 한 줄처럼 정해진 칸이 없다.

반정형 데이터(Semi-structured)도 있다. JSON이나 XML, 로그 파일처럼 완전한 표는 아니지만 태그·키 같은 어느 정도의 구조를 가진 데이터다. 시험에서는 "정형 ↔ 비정형"의 양극단과, 그 사이에 반정형이 있다는 정도만 알면 충분하다.

은행의 거래 내역(날짜, 금액, 계좌번호)은 전형적인 정형 데이터다. 반면 콜센터 통화 녹음 파일이나 고객이 남긴 자유 형식의 불만 글은 비정형 데이터다. 비정형 데이터에서 의미를 뽑아내는 것이 딥러닝과 생성형 AI가 특히 빛나는 영역이다.

데이터를 세 조각으로 나누는 이유

모은 데이터를 전부 학습에 쓰지 않는다. 한마디로 "공정한 시험을 보기 위해서"다.

• 학생이 시험 문제를 미리 보고 공부했다면 그 점수는 실력을 보여주지 못한다.
• 마찬가지로 모델이 학습한 데이터로 성능을 재면 "외운 걸 그대로 답한" 것이라 의미가 없다.
• 그래서 테스트 데이터는 학습에 절대 쓰지 않고 끝까지 감춰 둔다.

검증(Validation)과 테스트(Test)의 차이가 헷갈리기 쉽다. 검증 데이터는 학습 과정 중에 "이 설정이 좋은가?"를 점검하며 모델을 조율하는 데 쓰고(모의고사), 테스트 데이터는 모든 조율이 끝난 뒤 최종 실력을 단 한 번 재는 데 쓴다(수능). 일반적인 분할 비율은 학습 60~80%, 검증 10~20%, 테스트 10~20% 정도다(고정된 정답은 아니다).

테스트 데이터가 학습 데이터에 섞여 들어가는 것을 데이터 누수(Data Leakage)라고 한다. 이러면 평가 점수가 비현실적으로 높게 나오고, 실제 운영에서는 형편없는 모델이 만들어진다. 셋을 깨끗하게 분리하는 것이 공정한 평가의 첫 조건이다.

데이터 품질 — 모델의 운명을 가르는 것

"Garbage In, Garbage Out" — 아무리 정교한 알고리즘이라도 나쁜 데이터로는 좋은 모델을 만들 수 없다.

• 대표성이 특히 중요하고 시험에서도 강조된다.
• 예: 얼굴 인식 모델을 특정 인종 사진으로만 학습시키면 다른 인종 얼굴을 잘 인식하지 못한다.
• 데이터가 현실을 골고루 담지 못하면 모델은 편향(Bias)을 갖게 된다.

데이터 편향(Bias)은 책임 있는 AI(Responsible AI)의 핵심 주제다. 모델의 편향은 주로 데이터에서 온다. 데이터가 한쪽으로 치우쳐 있으면 모델의 판단도 치우친다. 그래서 "다양하고 대표성 있는 데이터를 모으는 것"은 단지 성능 문제가 아니라 공정성·윤리 문제이기도 하다.

🎯 시나리오: "채용 지원서를 평가하는 모델을 만들었는데, 과거 합격자가 대부분 특정 성별이었던 데이터로 학습했다. 어떤 문제가 생기는가?" → 데이터의 대표성·공정성이 부족해 모델이 과거의 편향을 그대로 학습하고 재생산한다. 이는 데이터 품질(특히 대표성)의 전형적 실패 사례다.

데이터의 양과 균형

• 일반적으로 데이터가 많을수록 모델이 더 다양한 패턴을 배울 수 있다.
• 분류 문제에서는 클래스 균형이 중요하다.
• 예: 사기 거래 탐지에서 정상 99.9% / 사기 0.1% → 모델이 "전부 정상"이라고만 답해도 99.9% "정확"해 보이는 함정에 빠진다.

⚠️ 함정: 이런 불균형 데이터(Imbalanced Data)에서는 단순 정확도가 거의 무의미하다. "전부 정상"이라고 답하는 모델도 정확도 99.9%가 나오지만, 정작 잡아야 할 사기는 하나도 못 잡는다. 이래서 정확도 외의 지표(정밀도·재현율)가 필요한데, 이건 내일 Day 3에서 다룬다.

숫자로 확인하는 불균형의 함정

거래 10,000건 중 사기가 10건(0.1%)인 데이터에 "전부 정상"이라고만 답하는 모델을 가정한다.

• 정확도는 "다수 쪽을 얼마나 맞혔는가"에 끌려간다. 찾으려는 대상이 드물수록 정확도는 그 대상에 대해 아무 말도 해 주지 않는다.
• 대응은 두 갈래다. 지표를 바꾼다(내일 배울 재현율·정밀도). 그리고 데이터를 손본다 — 드문 쪽 사례를 더 모으거나, 학습 데이터에서 드문 쪽의 비중을 높이거나 흔한 쪽을 줄여 균형을 맞춘다.

시험 가이드가 말하는 데이터 유형

정형/비정형 말고도 시험 가이드는 데이터를 여러 축으로 부른다. 축이 다르므로 한 데이터에 이름이 여러 개 붙는다.

• "레이블된 이미지", "레이블 없는 텍스트"처럼 겹쳐 쓸 수 있다. 정형이면서 시계열인 데이터(일별 매출 표)도 흔하다.

⚠️ 함정: 시계열 데이터는 무작위로 섞어서 나누면 안 된다. 섞으면 3월 데이터로 학습하고 2월 데이터로 시험 보는 일이 생겨, 모델이 "미래를 미리 본" 상태로 평가된다. 시간 순서를 지켜 과거로 학습하고 가장 최근 구간으로 테스트해야 실제 사용 상황과 같아진다.

데이터 누수의 세 가지 얼굴

누수는 "테스트 데이터를 실수로 학습에 넣었다"만이 아니다. 공통점은 하나다 — 실전에서는 알 수 없는 정보가 학습에 흘러들었다.

• 셋 다 증상이 같다. 테스트 점수가 믿기 어려울 만큼 높고, 실제 서비스에서는 그 점수가 나오지 않는다.
• 세 번째가 가장 찾기 어렵다. 점검 질문은 "이 값을 예측하는 시점에 정말 알고 있는가"다.

품질 문제: 증상에서 원인으로

• 책임 있는 AI 영역에서도 데이터셋의 특성으로 포용성, 다양성, 선별된 출처, 균형을 묻는다. 오늘의 대표성·균형이 그 토대다.
• AWS에는 학습 전에 데이터가 특정 집단에 치우쳤는지 측정하는 Amazon SageMaker Clarify가 있다(Week 5에서 다룬다).

흔한 오해 바로잡기

• "데이터는 많을수록 무조건 좋다" → 치우친 데이터를 더 모으면 편향이 더 단단해질 뿐이다. 양보다 골고루 담겼는지가 먼저다.
• "테스트 점수가 나쁘면 고쳐서 같은 테스트 데이터로 다시 재면 된다" → 반복할수록 테스트 데이터에 맞춰진다. 조율은 검증 데이터로 하고, 테스트 데이터는 마지막에 쓴다.
• "비정형 데이터는 머신러닝에 쓸 수 없다" → 숫자로 바꾸는 단계가 더 필요할 뿐이다. 오히려 딥러닝이 가장 잘하는 영역이다.
• "정형 데이터는 품질 걱정이 없다" → 표에 깔끔히 들어 있어도 값이 틀리거나, 비어 있거나, 한쪽에 치우칠 수 있다. 구조와 품질은 별개다.
• "검증 데이터와 테스트 데이터는 같은 것" → 검증은 고르는 데 쓰고, 테스트는 다 고른 뒤 한 번 재는 데 쓴다.

내일은 이렇게 준비한 데이터로 만든 모델을 "어떻게 잘 만들었는지 측정하는가" — 정확도·정밀도·재현율, 그리고 과적합·과소적합을 다룬다.

📖 용어

• 정형 데이터 : 행과 열이 딱 정해진 표 형태의 데이터. 엑셀·DB 테이블·CSV가 대표적이다.
• 비정형 데이터 : 표의 칸에 넣기 어려운 데이터. 사진, 음성, 영상, 자유롭게 쓴 글 등.
• 반정형 데이터 : 완전한 표는 아니지만 태그나 키 같은 약간의 구조가 있는 데이터. JSON·XML·로그 파일.
• 학습용 데이터 : 모델이 공부하는 데 쓰는 데이터. 교과서에 해당한다.
• 검증용 데이터 : 학습 도중 "이 설정이 괜찮은가"를 점검하는 데 쓰는 데이터. 모의고사에 해당한다.
• 테스트용 데이터 : 모든 조율이 끝난 뒤 최종 실력을 딱 한 번 재는 데이터. 수능에 해당한다.
• 데이터 누수 : 감춰 뒀어야 할 테스트 데이터가 학습에 섞여 들어가 점수가 부풀려지는 사고.
• 대표성 : 데이터가 현실의 여러 경우를 골고루 담고 있는 정도. 부족하면 모델이 한쪽으로 치우친다.
• 편향(Bias) : 모델의 판단이 특정 집단이나 방향으로 치우친 상태. 주로 데이터에서 온다.
• 클래스 불균형 : 분류 대상 중 한쪽이 압도적으로 많고 다른 쪽이 극히 적은 상태. 정확도를 못 믿게 만든다.

📝 연습 문제

선택지를 클릭하면 정답·해설이 펼쳐집니다.

문제 1

다음 중 비정형 데이터(Unstructured Data)에 해당하는 것은?

• A행과 열로 정리된 고객 데이터베이스 테이블
• B날짜·금액·계좌번호로 구성된 거래 내역 CSV
• C고객이 남긴 자유 형식의 음성 통화 녹음
• D나이와 성별 칼럼이 있는 엑셀 표

문제 2

데이터를 학습용·검증용·테스트용으로 나누는 가장 근본적인 이유는?

• A데이터 저장 비용을 줄이기 위해
• B학습에 쓰지 않은 데이터로 공정하게 성능을 평가하기 위해
• C모델 학습 속도를 빠르게 하기 위해
• D데이터를 암호화하기 위해

문제 3

테스트용으로 따로 떼어 둔 데이터가 학습 데이터에 섞여 들어가 평가 점수가 비현실적으로 높게 나오는 현상을 무엇이라 하는가?

• A데이터 드리프트(Data Drift)
• B데이터 누수(Data Leakage)
• C과소적합(Underfitting)
• D클래스 불균형(Class Imbalance)

문제 4

얼굴 인식 모델을 특정 인종의 사진으로만 학습시켰더니 다른 인종 얼굴을 잘 인식하지 못했다. 이는 데이터 품질의 어떤 측면이 부족했기 때문인가?

• A적시성(Timeliness)
• B일관성(Consistency)
• C대표성(Representativeness)
• D저장 용량

문제 5

정상 거래 99.9%, 사기 거래 0.1%인 데이터로 사기 탐지 모델을 평가할 때, 단순 정확도(Accuracy)만 보면 안 되는 이유로 가장 적절한 것은?

• A정확도는 항상 0이 나오기 때문
• B"전부 정상"이라고만 답해도 정확도 99.9%가 나와 사기를 못 잡는 모델을 좋게 오해할 수 있기 때문
• C데이터가 정형이라 정확도를 계산할 수 없기 때문
• D사기 데이터가 비정형이기 때문