Day 5 - Week 2 종합: ML 수명주기와 데이터 한눈에 복습

한 장으로 보는 Week 2

이번 주는 모델을 직접 코딩하지 않아도 알아야 하는 것, 곧 모델이 태어나 운영되기까지의 흐름과 그 흐름을 떠받치는 데이터의 원리를 훑었다. 오늘은 나흘치를 하나로 엮는다.

[ ML 수명주기 — 순환하는 원 (Day 1) ]

 데이터 수집 → 데이터 준비 → 학습 → 평가 → 배포 → 모니터링
      ▲                                              │
      └──────── 성능 저하 시 다시 처음으로 ◄──────────┘

   ├─ 데이터(Day 2): 정형/비정형, 학습·검증·테스트 분리, 품질
   ├─ 평가(Day 3): 정확도·정밀도·재현율, 과적합/과소적합
   └─ 사람(Day 4): 라벨링, 피드백(RLHF), Human-in-the-loop, 반복 개선

핵심 메시지 하나만 가져간다면 이것이다 — ML은 직선이 아니라 원이고, 그 원을 사람과 데이터가 함께 돌린다.

핵심 개념 총정리

헷갈리기 쉬운 짝 비교

정밀도 vs 재현율 — 다시 한 번

이 둘은 시험에서 헷갈리기 쉬운 짝이다. 상황 키워드로 구분한다.

💡 관련 이론: 정밀도와 재현율 중 무엇이 옳다는 정답은 없다. 항상 "어떤 실수가 더 치명적인가"라는 비즈니스·윤리적 판단이 선택을 결정한다. 스팸 필터는 정밀도, 암 진단·사기 탐지는 재현율을 우선하는 것이 전형적이다.

과적합 vs 과소적합 — 점수로 진단

⚠️ 함정: 학습 점수만 보고 "99%! 훌륭한 모델"이라 판단하는 것이 대표적인 실수다. 반드시 테스트 점수와의 격차를 함께 봐야 한다. 큰 격차는 과적합 경고등이다.

데이터 드리프트 vs 데이터 누수

이 둘은 이름이 비슷하지만 시점도 결과도 정반대다. 드리프트는 "운영 중 모델이 낡는 문제", 누수는 "평가가 거짓말하는 문제"다.

시험 대비 마지막 점검

🎯 시나리오 1: "데이터를 모았으니 바로 모델을 학습시키면 되는가?" → 아니다. 데이터 준비(정제·변환·분리)가 빠졌다. 가장 시간이 많이 드는 단계다.

🎯 시나리오 2: "사기 거래가 0.1%인 데이터에서 정확도 99.9% 모델을 만들었다. 좋은가?" → 단정할 수 없다. 불균형 데이터에서 정확도는 속기 쉽다. 재현율 등 다른 지표를 봐야 한다.

🎯 시나리오 3: "고위험 자동 결정을 AI에게 전부 맡기려 한다." → 위험하다. Human-in-the-loop로 사람이 중대한 결정을 검토·승인하게 해야 한다.

거꾸로 읽는 수명주기: 증상에서 단계로

지금까지는 단계를 앞에서부터 따라갔다. 시험과 실무는 반대로 온다 — 증상이 먼저 주어지고, 어느 단계의 문제인지 짚어야 한다.

• 첫 두 줄을 가르는 단서는 시간이다. "처음부터 안 맞았다"면 누수, "점점 안 맞게 됐다"면 드리프트다.
• 셋째·넷째 줄을 가르는 단서는 학습 점수다. 학습 점수가 높으면 과적합, 학습 점수부터 낮으면 과소적합이다.

한 사례로 한 바퀴 돌기

보험사가 "허위 청구를 가려내는 모델"을 만드는 경우를 따라가 본다. 여섯 단계마다 이번 주의 개념이 하나씩 걸린다.

평가 단계의 숫자. 20,000건 중 실제 허위는 200건(1%)이다. 모델은 250건을 허위로 잡았고 그중 150건이 진짜였다.

• 정확도로는 두 모델이 0.25%p 차이밖에 나지 않는다. 재현율로 보면 0%와 75%다. 불균형 데이터에서 정확도가 왜 쓸모없는지가 이 한 줄에 있다.
• 정밀도 60%는 잡은 250건 중 100건이 멀쩡한 청구라는 뜻이다. 그래서 자동 거절이 아니라 사람 검토로 넘긴다. 정밀도가 낮은 모델의 헛잡음을 사람이 걸러 주는 구조다.
• 허위 청구를 놓치는 비용이 크다고 판단해 기준선을 느슨하게 잡으면 재현율은 오르고 정밀도는 내려간다. 그만큼 조사 담당자의 검토량이 늘어난다. 지표 선택이 곧 인력 계획이 된다.

단계마다 어떤 AWS 도구가 붙는가

이번 주에 이름이 나온 서비스를 수명주기 위에 올려 둔다. 자세한 내용은 Week 4·5에서 다룬다.

• AWS 문서는 현재 Ground Truth·Clarify·A2I·Model Monitor를 신규 고객에게는 열지 않고 기존 고객만 계속 쓸 수 있는 서비스로 안내한다. 시험 대비로는 "어느 단계의 무슨 일을 맡는 도구인가"를 기억한다.
• 이 순환을 사람이 매번 손으로 돌리지 않고 반복 가능한 절차로 자동화해 운영하는 방식이 MLOps다. 시험 가이드는 MLOps의 개념으로 실험, 반복 가능한 프로세스, 확장 가능한 시스템, 모델 모니터링, 모델 재학습 등을 든다.

헷갈리는 짝을 한 질문으로 가르기

다음 주에는 생성형 AI 기초로 들어간다. 파운데이션 모델이 무엇인지, LLM이 어떻게 작동하는지, 프롬프트는 어떻게 쓰는지를 다룬다.

📖 용어

• ML 수명주기 : 수집 → 준비 → 학습 → 평가 → 배포 → 모니터링을 계속 되풀이하는 한 바퀴.
• 데이터 드리프트 : 배포한 뒤 시간이 지나며 실제 데이터의 성격이 변해 모델이 서서히 안 맞게 되는 현상.
• 데이터 누수 : 실전에서는 알 수 없는 정보(테스트 데이터, 결과 뒤에 생기는 값)가 학습에 흘러들어 평가 점수가 부풀려지는 사고.
• 대표성 : 데이터가 현실의 여러 집단과 경우를 골고루 담은 정도. 부족하면 편향이 생긴다.
• 정밀도 / 재현율 : 모델이 잡은 것 중 진짜의 비율 / 실제로 있던 것 중 잡아낸 비율.
• 기준선(임계값) : 모델의 점수가 몇 이상일 때 "맞다"고 판정할지 사람이 정하는 선. 옮기면 정밀도와 재현율이 맞바뀐다.
• Human-in-the-loop(HITL) : 중요한 결정이나 모델이 확신하지 못하는 건에 사람의 검토를 끼워 넣는 설계.
• 능동 학습 : 모델이 확신하는 것은 자동으로 처리하고 헷갈리는 것만 사람에게 물어 라벨링 비용을 줄이는 방식.
• MLOps : ML 수명주기를 반복 가능하고 자동화된 절차로 운영하는 방식. 모니터링과 재학습을 포함한다.
• 비즈니스 지표 : 사용자당 비용·ROI·고객 피드백처럼 모델이 사업에 이익이 되는지를 재는 잣대.

📝 연습 문제

선택지를 클릭하면 정답·해설이 펼쳐집니다.

문제 1

ML 수명주기에 대한 설명으로 가장 정확한 것은?

• A수집 → 학습 → 배포로 끝나는 한 방향 직선이다
• B수집 → 준비 → 학습 → 평가 → 배포 → 모니터링을 거치며, 성능 저하 시 다시 도는 순환 구조다
• C배포가 마지막 단계이며 그 이후로는 아무 작업이 없다
• D데이터 준비 단계는 생략해도 무방하다

문제 2

다음 중 정밀도(Precision)를 우선해야 하는 상황으로 가장 적절한 것은?

• A암 환자를 한 명도 놓치면 안 되는 진단 모델
• B정상 메일을 스팸으로 잘못 분류하면 곤란한 스팸 필터
• C사기 거래를 최대한 많이 잡아야 하는 탐지 시스템
• D실종자를 한 명도 놓치면 안 되는 수색 시스템

문제 3

학습 데이터 정확도는 98%로 매우 높지만 테스트 데이터 정확도는 64%로 크게 낮다. 이 현상과 그 진단으로 옳은 것은?

• A과소적합 — 모델이 너무 단순하다
• B과적합 — 모델이 학습 데이터를 외워 일반화에 실패했다
• C데이터 누수가 전혀 없다는 증거다
• D클래스 균형이 완벽하다는 의미다

문제 4

데이터 드리프트(Data Drift)와 데이터 누수(Data Leakage)를 구분한 설명으로 옳은 것은?

• A둘 다 학습 전에 발생하며 동일한 문제다
• B드리프트는 배포 후 시간이 지나며 분포가 변하는 문제, 누수는 테스트 데이터가 학습에 섞여 평가가 부풀려지는 문제다
• C누수는 운영 중 성능 저하, 드리프트는 평가 점수 부풀림이다
• D둘 다 모델 배포 단계에서만 발생한다

문제 5

고위험 자동 의사결정 시스템에서 책임 있는 AI를 위해 권장되는 설계는?

• A모든 결정을 AI가 단독으로 자동 처리하게 한다
• B중대한 결정은 Human-in-the-loop로 사람이 검토·승인하게 한다
• C데이터 라벨링을 생략해 속도를 높인다
• D모니터링을 중단해 비용을 절감한다