기준: AIF-C01 시험 가이드오류 제보
생성형 AI는 놀랍지만, 동시에 위험하다. 자신만만하게 거짓을 말하고, 학습 데이터의 편견을 그대로 답에 담고, 같은 질문에 매번 다른 답을 한다. 이걸 모르고 의료·금융·법률 같은 중요한 곳에 그냥 배포하면 사람과 회사 모두 큰 대가를 치른다.
AIF-C01 시험은 단순히 "생성형 AI가 멋지다"를 묻지 않는다. "어디에 써야 하고 어디에 쓰면 안 되는가", 그리고 "위험을 어떻게 줄이는가"를 끊임없이 묻는다. 오늘은 생성형 AI의 3대 위험인 환각·편향·비결정성을 이해하고, 책임 있는 AI(Responsible AI) 관점에서 적합한 사용처를 가려내는 안목을 기른다.
환각은 모델이 사실이 아닌 내용을, 마치 사실인 양 그럴듯하게 만들어내는 현상이다. 존재하지 않는 논문을 인용하거나, 가짜 통계를 대거나, 없는 법 조항을 만들어낸다.
왜 이런 일이 생길까? Day 1에서 봤듯 LLM의 본질은 "그럴듯한 다음 토큰을 예측"하는 것이지, "진실을 검증"하는 게 아니다. 모델은 "사실인지"가 아니라 "자연스러운지"를 기준으로 답을 만든다. 그래서 모르는 것도 모른다고 하기보다 그럴듯하게 채워 넣는 경향이 있다.
환각을 줄이는 대표 방법:
| 방법 | 작동 원리 |
|---|---|
| RAG | 신뢰할 수 있는 문서를 함께 제공해 그 근거 안에서 답하게 한다 |
| 출처 요구 프롬프트 | "근거 문서를 인용하라", "모르면 모른다고 답하라" |
| temperature 낮추기 | 보수적으로 답하게 해 엉뚱한 토큰 선택을 줄인다 |
| 사람 검토(Human-in-the-loop) | 중요한 출력은 사람이 최종 확인 |
2023년 미국의 한 변호사가 법원 서류에 ChatGPT가 만들어준 판례를 인용했다가 망신을 당했다. 인용된 판례 여러 개가 실존하지 않는, 모델이 지어낸 가짜였기 때문이다. 변호사는 제재를 받았다. 교훈은 분명하다. 생성형 AI의 출력은 "초안"이지 "검증된 사실"이 아니다. 사실 확인이 중요한 영역에서는 반드시 사람의 검토와 출처 확인이 필요하다.
환각은 버그가 아니라 생성 모델의 본질적 특성에 가깝다. 모델은 확률 분포에서 그럴듯한 샘플을 뽑을 뿐, 외부 세계의 진위를 조회하는 능력이 내장돼 있지 않다. 그래서 "환각을 0으로 만든다"기보다 "환각의 영향을 통제한다"가 현실적 목표다. RAG로 근거를 묶고, 사람이 검토하고, 도메인에 맞게 위험을 평가하는 것이 책임 있는 설계다.
편향은 모델이 성별·인종·연령·지역 등에 대해 불공정하거나 차별적인 출력을 내는 것이다. 모델은 인터넷 등 사람이 만든 데이터로 학습하는데, 그 데이터에 사회적 편견이 담겨 있으면 모델도 그대로 흡수한다.
예: "간호사"라고 하면 여성, "엔지니어"라고 하면 남성 이미지를 더 자주 생성하거나, 특정 집단에 대해 부정적 어조를 보이는 식이다.
편향이 위험한 이유는 채용, 대출 심사, 추천처럼 사람의 기회에 영향을 주는 결정에 쓰일 때다. 이런 영역에서 편향된 AI는 차별을 자동화하고 확대한다.
편향을 다루는 방법:
🔍 더 깊이: AWS는 책임 있는 AI를 지원하는 여러 기능을 제공한다. Amazon Bedrock Guardrails는 유해·민감 콘텐츠를 필터링하고 민감 정보(PII)를 마스킹하며 허용 주제를 제한한다. SageMaker Clarify는 학습 전후 편향 지표와 특성 중요도(feature importance)를 산출한다. AWS AI Service Cards는 AI 서비스의 의도된 사용처·한계·공정성 고려사항을 문서로 공개한다. AIF 시험에서 "편향 측정/유해 콘텐츠 차단/투명성"이 나오면 각각 Clarify / Guardrails / AI Service Cards를 연결하면 된다.
비결정성은 같은 입력에도 출력이 매번 달라질 수 있는 성질이다. Day 2에서 본 샘플링(temperature, Top-P 등) 때문이다. 모델은 매번 확률 분포에서 토큰을 "뽑기"하므로, 같은 프롬프트라도 다른 단어가 선택될 수 있다.
| 상황 | 비결정성의 영향 |
|---|---|
| 창작·브레인스토밍 | 오히려 장점 (다양한 아이디어) |
| 분류·추출 등 일관성 필요 작업 | 단점 (재현 어려움, 테스트 곤란) |
| 규제·감사 대상 의사결정 | 위험 (같은 입력에 다른 결정은 책임 문제) |
비결정성을 줄이는 방법은 temperature를 낮추고(0에 가깝게), Top-P/Top-K를 좁히는 것이다. 다만 완전한 결정성은 보장되지 않으므로, 100% 재현이 필수인 영역은 생성형 AI 단독에 의존하지 않는 것이 안전하다.
⚠️ 함정: "temperature를 0으로 하면 항상 똑같은 답이 나온다"고 단정하기 쉽다. 실무에서는 같은 모델·같은 설정이라도 인프라·버전·내부 구현에 따라 미묘하게 달라질 수 있다. 따라서 "결정성이 매우 중요하다"는 시나리오에서는 생성형 AI 출력을 그대로 최종 결정으로 쓰기보다, 검증 단계나 규칙 기반 로직을 함께 두는 설계가 안전하다.
3대 위험 외에도 AIF 시험이 다루는 위험들이 있다.
이 모든 위험을 묶는 우산이 책임 있는 AI(Responsible AI)다. 핵심 원칙은 보통 공정성(Fairness), 설명가능성(Explainability), 투명성(Transparency), 견고성(Robustness), 프라이버시·보안(Privacy & Security), 거버넌스(Governance)로 정리된다. AWS는 이 원칙들을 SageMaker Clarify(공정성·설명), Bedrock Guardrails(안전), AI Service Cards(투명성) 등으로 구체화한다. 시험에서는 이 원칙과 도구의 연결을 묻는다.
위험을 알면, "어디에 써야 안전한가"가 보인다. 핵심 판단 기준:
| 질문 | YES면 적합 | NO/위험하면 주의 |
|---|---|---|
| 틀려도 사람이 검토/수정할 수 있나? | 초안 작성, 아이디어 | 자동 최종 결정 |
| 다양성이 가치가 있나, 일관성이 필수인가? | 창작 | 규제 의사결정 |
| 민감 데이터/규제가 걸려 있나? | 일반 콘텐츠 | 의료 진단, 대출 승인 단독 |
| 출처/사실 검증이 가능한가? | RAG+검토 가능 | 검증 불가한 자동 게시 |
좋은 사용처 예: 마케팅 문구 초안, 코드 자동완성, 고객 응대 초안, 문서 요약, 내부 지식 검색(RAG).
주의가 필요한 사용처: 사람 손 없는 의료 진단, 자동 대출 승인/거절, 검증 없는 법률 자문, 사실 확인 없는 뉴스 자동 발행. 이런 곳은 반드시 Human-in-the-loop(사람의 최종 검토)와 거버넌스를 둬야 한다.
오늘 잡아야 할 그림은 명확하다. 생성형 AI에는 환각(그럴듯한 거짓), 편향(데이터의 편견), 비결정성(매번 다른 답)이라는 본질적 위험이 있고, 여기에 프라이버시·저작권·유해성·프롬프트 주입까지 더해진다. 이를 통제하는 틀이 책임 있는 AI이며, AWS는 SageMaker Clarify(편향·설명), Bedrock Guardrails(안전), AI Service Cards(투명성)로 지원한다. 그리고 "틀려도 사람이 검토 가능한가, 일관성이 필수인가, 민감/규제 영역인가"를 기준으로 적합한 사용처를 가려야 한다.
다음 글에서는 Week 3 전체 — 생성형 AI의 개념, LLM 작동 원리, 프롬프트 엔지니어링, 위험까지를 한 번에 묶어 복습한다.
선택지를 클릭하면 정답·해설이 펼쳐집니다.
문제 1
생성형 AI의 "환각(hallucination)"을 가장 정확하게 설명한 것은?
문제 2
채용 심사용 AI가 특정 성별에 불리한 결과를 반복적으로 내고 있다. 이 문제와 가장 관련 깊은 개념과, AWS에서 편향을 측정하는 도구의 조합은?
문제 3
환각을 줄이기 위한 방법으로 적절하지 않은 것은?
문제 4
다음 중 생성형 AI를 적용하기에 가장 주의가 필요한(위험한) 사용처는?
문제 5
"비결정성(non-determinism)"으로 인해 같은 프롬프트에도 출력이 달라질 수 있다. 일관성을 높이기 위한 가장 적절한 조치는?