Day 4 - ML 개발에서 사람의 역할: 라벨링, 피드백, 반복 개선

왜 사람이 필요한가

• AIF-C01은 이 주제를 "Human-in-the-loop(사람이 개입하는 고리)" 개념과 책임 있는 AI의 맥락에서 묻는다.
• "이 사진은 고양이"라는 정답은 누가 알려 주는가? 기계가 처음부터 아는 것이 아니라 사람이 알려 줘야 한다.
• 모델이 내놓은 답이 맞는지 틀린지, 무엇이 부적절한지를 최종 판단하는 것도 사람이다.

Week 1에서 본 세 학습 유형(지도·비지도·강화) 가운데 사람의 라벨링이 직접 걸리는 것은 지도 학습(Supervised Learning)이다. 지도 학습은 "입력 + 정답(라벨)" 쌍으로 배우고, 비지도 학습은 정답 없이 데이터 구조만으로 배운다. 시험 입문 수준에서는 "라벨이 있으면 지도, 없으면 비지도"라는 구분을 기억하면 된다.

1. 데이터 라벨링 — 정답을 붙이는 작업

• 원시 데이터에 "이건 무엇이다"라는 정답표(label)를 붙이는 작업.
• 지도 학습 모델은 이 라벨을 보고 패턴을 배운다.

• 라벨링은 느리고 비싸고 사람의 노동이 많이 드는 작업이다(수만 장 사진에 일일이 라벨을 붙이는 일을 떠올리면 된다).
• 그래서 라벨링 품질 관리가 ML 프로젝트의 큰 과제다.

⚠️ 함정: 라벨이 틀리면 모델도 틀리게 배운다. 만약 라벨러가 강아지 사진에 "고양이"라고 잘못 붙이면, 모델은 그 잘못된 정답을 그대로 학습한다. 그래서 여러 사람이 같은 데이터를 라벨링해 일치도를 확인하거나, 검수 단계를 두어 라벨 품질을 관리한다.

AWS에는 Amazon SageMaker Ground Truth라는 라벨링 도구가 있다. 사람 라벨러를 관리하고, 자동 라벨링으로 사람의 일을 덜어 주는 기능을 제공한다. 시험에서는 "라벨링을 돕는 AWS 서비스가 있다" 정도만 알면 충분하다.

2. 피드백 — 모델의 답을 평가하고 교정하기

• 모델이 답을 내놓으면 사람은 그 답을 평가하고 교정한다. 이 피드백이 모델 개선의 핵심 연료다.
• 특히 생성형 AI에서 사람의 피드백은 결정적이다.
• 피드백은 한 번으로 끝나지 않는다: 모델이 답함 → 사람이 평가 → 모델 개선 → 다시 답함의 고리(loop)가 계속 돈다.

생성형 AI(대규모 언어 모델)를 다듬는 대표 기법이 RLHF(Reinforcement Learning from Human Feedback, 사람 피드백 기반 강화학습)다. 사람이 모델의 여러 답변 중 어느 것이 더 좋은지 평가하면, 그 평가를 바탕으로 모델이 "사람이 선호하는 방향"으로 조정된다. 챗봇이 더 도움이 되고 덜 위험하게 답하도록 만드는 데 이 사람 피드백이 핵심이다.

3. Human-in-the-loop — 사람이 고리 안에 있다

• HITL은 ML 시스템의 작동 과정에 사람의 판단을 의도적으로 끼워 넣는 설계다.
• 모델이 확신이 없거나, 결정이 중요하거나, 위험이 큰 경우 → 자동으로 결정하지 않고 사람에게 넘긴다.

HITL은 책임 있는 AI(Responsible AI)의 핵심 안전장치다. AI가 모든 것을 자동으로 결정하게 두면, 편향된 판단이나 위험한 실수를 걸러 낼 방법이 없다. 사람을 고리 안에 두면 모델의 한계를 보완하고, 잘못된 결정에 대한 책임 소재도 분명해진다. "중요하거나 위험한 결정일수록 사람의 개입을 강화한다"가 원칙이다.

🎯 시나리오: "AI가 대출 신청을 자동 심사하는데, 거절 결정이 사람의 삶에 큰 영향을 준다. 어떻게 설계해야 하는가?" → 고위험 결정이므로 Human-in-the-loop를 적용해, 최소한 거절 같은 중대한 결정은 사람이 최종 검토·승인하도록 해야 한다.

4. 반복 개선 — ML은 한 번에 완성되지 않는다

• Day 1의 순환하는 수명주기를 돌리는 힘의 큰 부분이 사람의 반복 개선이다.
• 배포 후 사람이 실제 사용 결과를 보고 → 틀린 사례를 모으고 → 새 데이터에 라벨을 붙이고 → 재학습한다.

• 핵심: ML은 "완성"되는 것이 아니라 "계속 개선"되는 것. 사람의 라벨·피드백·검토가 이 고리를 살아 있게 한다.

⚠️ 함정: "모델을 한 번 잘 만들면 사람 손이 더 안 가도 된다"는 생각은 위험하다. 데이터가 변하고(드리프트), 새로운 상황이 등장하며, 모델은 낡는다. 사람의 지속적인 모니터링과 피드백 없이는 좋은 모델도 시간이 지나면 무너진다.

라벨링·피드백·검토는 서로 다른 시점의 일이다

셋 다 "사람이 끼어든다"는 점은 같지만 언제, 무엇에 대해 끼어드는지가 다르다. 시험은 이 시점을 섞어서 묻는다.

• 지문에 "학습 데이터를 준비한다"가 있으면 라벨링, "모델의 응답 중 더 나은 것을 고른다"면 피드백, "예측을 사용자에게 내보내기 전에 담당자가 확인한다"면 HITL 검토다.
• 책임 있는 AI 영역은 편향을 찾는 수단으로 레이블 품질 분석, 사람 감사, 하위 그룹 분석(집단별로 성능을 따로 재 보는 것)을 든다. 셋 모두 사람의 판단이 들어가는 일이다.

SageMaker Ground Truth는 사람 손을 어떻게 덜어 주나

Amazon SageMaker Ground Truth는 "사람 + 머신러닝"으로 레이블된 데이터셋을 만드는 서비스다. 알아 둘 것은 세 가지다.

1) 누가 라벨링하는가 — 작업 인력 세 가지

• 판별 단서: "환자 기록", "사내 기밀 문서"처럼 데이터가 민감하면 비공개 인력이다.

2) 자동 라벨링 — 확신 없는 것만 사람에게

① 표본 일부를 사람이 라벨링한다
        ↓
② 그 결과로 라벨링용 모델을 학습한다
        ↓
③ 모델이 남은 데이터에 레이블과 신뢰도 점수를 매긴다
        ├─ 신뢰도가 기준 이상 → 자동으로 레이블 확정
        └─ 신뢰도가 낮음     → 사람에게 보낸다
        ↓
④ 사람이 붙인 레이블로 모델을 고쳐 ②부터 반복

• 이 방식을 능동 학습(active learning)이라 한다. 쉬운 것은 기계가, 헷갈리는 것은 사람이 맡아 라벨링 시간과 비용을 줄인다.
• 사람이 완전히 빠지는 것이 아니다. 출발점의 표본과 어려운 사례는 끝까지 사람 몫이다.

3) 여러 사람의 답을 하나로 — 주석 통합

• 같은 데이터를 두 명 이상에게 맡기고, 그 답들을 합쳐 하나의 레이블로 확정한다. 한 사람의 실수나 주관이 그대로 정답이 되는 것을 막는다.

• 작업자를 늘리면 레이블 정확도는 오르지만 비용도 함께 오른다. 품질과 비용의 맞바꿈이다.

• 참고: AWS 문서는 현재 Ground Truth를 신규 고객에게는 열지 않고 기존 고객만 계속 쓸 수 있는 서비스로 안내한다. 시험에서는 "라벨링을 돕는 서비스 = Ground Truth"라는 역할로 기억하면 된다.

RLHF는 어떤 순서로 진행되나

수식 없이 흐름만 잡는다.

• 핵심은 ③이다. 사람이 모든 답을 일일이 채점할 수는 없으므로, 사람의 취향을 흉내 내는 채점기(보상 모델)를 만들어 그 채점기가 대신 점수를 주게 한다.
• Week 1의 강화학습과 이어 보면, 보상을 환경이 주는 대신 사람의 평가에서 배운 모델이 준다는 점이 다르다.

HITL은 "전부 사람이 본다"가 아니다

• 모든 예측을 사람이 검토하면 자동화의 의미가 없다. 실제 설계는 어떤 건을 사람에게 보낼지 조건을 정하는 일이다.
• 대표 조건은 둘이다: 모델의 신뢰도가 기준보다 낮은 건, 그리고 품질 점검용으로 무작위로 뽑은 표본.

가상의 예로, 대출 서류에서 항목을 읽어 내는 모델이 하루 10,000건을 처리한다. 신뢰도 90% 이상인 9,200건은 그대로 통과시키고, 그보다 낮은 800건(8%)만 담당자에게 보낸다. 담당자는 전체의 8%만 보면서도 가장 틀리기 쉬운 건을 걸러 낸다. 흐린 스캔이나 알아보기 힘든 손글씨가 주로 이 800건에 들어간다.

• AWS에서 이 구조를 제공하는 것이 Amazon Augmented AI(Amazon A2I)다. Amazon Textract·Amazon Rekognition의 낮은 신뢰도 예측이나 직접 만든 모델의 예측을 사람 검토로 넘기는 흐름을 만들어 준다(A2I 역시 문서상 현재 신규 고객에게는 열려 있지 않다).

흔한 오해 바로잡기

• "HITL = 모든 예측을 사람이 검토" → 위험이 크거나 모델이 확신하지 못하는 건만 골라 보낸다.
• "자동 라벨링을 쓰면 사람이 필요 없다" → 처음 표본과 신뢰도 낮은 건은 사람이 라벨링한다. 사람의 일이 줄 뿐이다.
• "비지도 학습에는 사람이 필요 없다" → 레이블이 필요 없을 뿐이다. 나온 결과가 쓸 만한지 해석하고 검증하는 일은 사람이 한다.
• "라벨러를 늘리면 품질은 저절로 오른다" → 지침이 모호하면 사람마다 다르게 붙인다. 명확한 라벨링 기준과 검수가 먼저다.
• "사람이 검토했으니 편향은 없다" → 사람의 판단에도 편향이 있고, 그것이 레이블로 들어가면 모델이 그대로 배운다.

내일은 이번 주의 모든 내용 — ML 수명주기와 데이터 — 을 한데 모아 복습하고, 시험에서 묻는 포인트를 정리한다.

📖 용어

• 데이터 라벨링 : 원시 데이터에 "이건 무엇이다"라는 정답을 사람이 붙여 주는 작업.
• 라벨(label) : 데이터에 붙인 정답표. 모델이 학습할 때 기준으로 삼는 값이다.
• 지도 학습 : 입력과 정답이 짝을 이룬 데이터로 배우는 방식. 라벨이 반드시 필요하다.
• 비지도 학습 : 정답 없이 데이터 자체의 구조나 묶임만 보고 배우는 방식.
• RLHF : 사람이 모델 답변의 좋고 나쁨을 평가해, 그 평가로 모델을 사람이 원하는 방향으로 조정하는 기법.
• Human-in-the-loop(HITL) : AI가 혼자 결정하게 두지 않고, 중요한 대목에 사람의 판단을 끼워 넣는 설계.
• 책임 있는 AI : AI를 공정하고 안전하고 설명 가능하게 만들려는 원칙과 실천을 묶어 부르는 말.
• Amazon SageMaker Ground Truth : 사람 라벨러를 관리하고 자동 라벨링도 돕는 AWS의 라벨링 서비스.
• 반복 개선 : 배포 → 사용 결과 관찰 → 라벨·피드백 반영 → 재학습을 계속 돌려 모델을 조금씩 낫게 만드는 일.
• 라벨 일치도 : 같은 데이터를 여러 사람이 라벨링했을 때 얼마나 같은 답을 붙였는지. 라벨 품질을 재는 방법.

📝 연습 문제

선택지를 클릭하면 정답·해설이 펼쳐집니다.

문제 1

지도 학습(Supervised Learning)에서 사람이 데이터에 "이것은 고양이/강아지"라는 정답을 붙이는 작업을 무엇이라 하는가?

• A데이터 드리프트(Data Drift)
• B데이터 라벨링(Data Labeling)
• C과적합(Overfitting)
• D모델 배포(Deployment)

문제 2

대규모 언어 모델(생성형 AI)을 사람이 선호하는 방향으로 다듬기 위해, 사람이 모델의 답변을 평가하고 그 평가를 학습에 반영하는 대표 기법은?

• A데이터 누수(Data Leakage)
• BRLHF(사람 피드백 기반 강화학습)
• C비지도 학습(Unsupervised Learning)
• D클래스 불균형 처리

문제 3

대출 거절처럼 사람의 삶에 큰 영향을 주는 고위험 결정에 대해, AI가 단독으로 자동 결정하지 않고 사람이 최종 검토·승인하도록 설계하는 접근을 무엇이라 하는가?

• A데이터 라벨링
• BHuman-in-the-loop(사람 개입 고리)
• C과소적합
• D데이터 드리프트

문제 4

데이터 라벨링 품질이 모델에 미치는 영향으로 가장 정확한 것은?

• A라벨이 틀려도 모델은 스스로 올바르게 학습한다
• B잘못된 라벨은 모델이 잘못된 정답을 그대로 학습하게 만든다
• C라벨 품질은 모델 성능과 무관하다
• D라벨링은 비지도 학습에서만 필요하다

문제 5

"모델을 한 번 잘 만들면 더 이상 사람의 개입이 필요 없다"는 주장에 대한 가장 적절한 반박은?

• A옳다, 잘 만든 모델은 영원히 정확하다
• B데이터가 변하고 모델이 낡으므로, 지속적인 모니터링·피드백·재학습이 필요하다
• C사람의 개입은 학습 속도만 늦출 뿐 도움이 안 된다
• D비지도 학습은 사람이 전혀 필요 없으므로 옳다