Day 2 - AWS의 책임 있는 AI 도구: SageMaker Clarify, Model Monitor, Bedrock Guardrails, AI Service Cards

한눈에 보는 도구 매핑

어제 배운 원칙(공정성, 편향, 투명성, 설명가능성, 견고성, 프라이버시)을 AWS 로 어떻게 실천하는지가 오늘의 주제다. AWS 는 각 원칙에 대응하는 관리형 도구를 제공한다.

이 표가 오늘의 핵심이다. 시험에서 "모델이 특정 집단에 편향됐는지 확인하고 싶다"면 → Clarify, "배포 후 시간이 지나며 성능이 떨어지는지 보고 싶다"면 → Model Monitor, "챗봇 출력에서 욕설·개인정보를 막고 싶다"면 → Guardrails, "이 AWS AI 서비스의 한계와 권장 용도를 알고 싶다"면 → AI Service Cards 다.

SageMaker Clarify: 편향 측정 + 설명가능성

Amazon SageMaker Clarify 는 책임 있는 AI 도구의 핵심이다. 두 가지 일을 한다.

1. 편향 탐지(Bias Detection): 데이터와 모델 양쪽에서 편향을 측정한다.
   • 학습 전 편향: 학습 데이터 자체에 특정 집단(예: 성별, 나이)이 불균형하게 분포하는지.
   • 학습 후 편향: 학습된 모델의 예측 결과가 집단 간에 차별적인지.
   • 여러 통계 지표(클래스 불균형, 예측 격차 등)를 자동 계산한다.
2. 설명가능성(Explainability): 어떤 입력 특성이 예측에 얼마나 기여했는지를 SHAP 값 기반으로 계산해 보여준다. "이 대출이 거절된 이유는 신용점수 특성이 가장 크게 작용했다" 같은 설명을 만든다.

• 학습 전 편향 측정은 모델이 없어도 할 수 있다. "모델을 학습시키기 전에 데이터의 불균형부터 확인하고 싶다"는 지문도 Clarify 다.
• Clarify 는 편향을 측정해 보고한다. 편향을 자동으로 없애 주지는 않는다. 데이터를 다시 모으거나 균형을 맞추는 일은 사람이 한다.
• 결과 보고서는 위험·규정 준수 담당 팀이나 외부 규제 기관에 제출하는 모델 거버넌스 자료로도 쓸 수 있다.

Clarify 는 학습 전(데이터), 학습 후(모델), 배포 후(추론) 어느 단계에서도 쓸 수 있다. 특히 Model Monitor 와 결합하면 배포된 모델의 편향이 시간이 지나며 커지는지(bias drift)도 감시할 수 있다. 즉 Clarify 는 "편향과 설명"이라는 두 원칙을 한 도구로 묶어 다룬다고 기억하면 된다.

SageMaker Model Monitor: 배포 후 품질 감시

모델은 배포하면 끝이 아니다. 시간이 지나면서 현실 데이터가 학습 데이터와 달라지면(데이터 드리프트), 모델 성능이 조용히 나빠진다. SageMaker Model Monitor 는 배포된 모델 엔드포인트를 자동으로 감시한다.

• 기준선(baseline)을 정해두고, 실제 트래픽이 그 기준에서 벗어나면 CloudWatch 로 경보를 보낸다. 기준선은 보통 모델을 학습시킨 데이터셋에서 만든다.
• 실시간 엔드포인트뿐 아니라 주기적으로 도는 배치 변환 작업도 감시할 수 있다.
• 모델 품질을 보려면 실제 정답이 필요하다. 정답은 예측보다 늦게 도착하는 경우가 많아(대출이 실제로 연체됐는지는 몇 달 뒤에 안다), 정답 없이 볼 수 있는 데이터 품질 감시가 먼저 이상 신호를 준다.

⚠️ 함정: Model Monitor 는 "모델을 자동으로 고쳐주는" 도구가 아니다. 이상을 감지해 알려주는 모니터링 도구다. 문제를 발견하면 재학습·재배포는 사람이 결정해야 한다. "모델이 알아서 자가 치유한다"는 식의 보기는 함정이다.

Bedrock Guardrails: 생성형 AI의 안전장치

Amazon Bedrock Guardrails 는 생성형 AI(LLM) 애플리케이션에 안전·프라이버시 장벽을 두는 기능이다. 입력(사용자 프롬프트)과 출력(모델 응답) 양쪽에 적용된다. 예전 문서와 문제에서는 "Guardrails for Amazon Bedrock"이라는 이름으로도 나온다. 같은 기능이다.

• 콘텐츠 필터의 분류는 증오(Hate), 모욕(Insults), 성적(Sexual), 폭력(Violence), 위법 행위(Misconduct), 프롬프트 공격(Prompt Attack) 이다. 분류마다 필터 강도를 조절할 수 있고, 텍스트뿐 아니라 이미지도 대상이다.
• 민감정보 필터는 차단과 마스킹 중에서 고를 수 있다. 정해진 유형 외에 정규식으로 직접 패턴을 정의할 수도 있다(예: 사내 사번 형식).
• 컨텍스트 그라운딩 검사는 RAG 처럼 근거 문서가 있을 때 의미가 있다. 응답이 근거에 없는 내용을 덧붙였거나 질문과 무관하면 걸러 낸다.
• 위 표에 더해 자동 추론 검사(Automated Reasoning checks) 가 있다. 미리 정한 논리 규칙에 비춰 응답의 정확성을 검증하는 기능이다.
• 필터에 걸렸을 때 사용자에게 돌려줄 안내 문구도 직접 정할 수 있다.

이렇게 Guardrails 는 안전성(유해 출력 차단)과 프라이버시(PII 보호)를 한꺼번에 책임진다. 모델 자체와 분리된 정책이라, 어떤 FM 을 쓰든 동일하게 적용할 수 있다는 점이 강점이다. 모델을 호출하지 않고 텍스트만 검사하는 API(ApplyGuardrail)도 있어서 Bedrock 밖의 모델에도 같은 기준을 댈 수 있다.

가상의 사례로, 한 은행이 Bedrock 기반 고객 상담 챗봇을 만들었다. Guardrails 로 ① 고객이 입력한 계좌번호·주민번호를 자동 마스킹(PII 필터)하고, ② "투자 종목을 추천해줘" 같은 요청은 규제 위험이 있어 거부 주제로 막고, ③ 욕설·차별 발언을 콘텐츠 필터로 차단했다. 모델을 바꿔 끼워도 이 정책은 그대로 유지돼, 안전 기준을 일관되게 적용할 수 있었다.

AI Service Cards: 투명성을 위한 공개 문서

AWS AI Service Cards 는 AWS 가 자사 AI 서비스(예: Amazon Rekognition, Textract 등)에 대해 공개하는 문서다. 각 카드는 그 서비스의 권장 사용 사례, 설계상의 선택, 공정성·정확성에 대한 고려, 한계와 책임 있는 사용 가이드를 담는다.

• 이는 투명성 원칙의 구현이다. 사용자가 "이 AI 서비스가 어떤 용도에 적합하고, 어디서 조심해야 하는지"를 사전에 알 수 있게 한다.
• 카드는 AWS AI 서비스뿐 아니라 Amazon Nova 같은 AWS 의 모델에도 발행된다.

AI Service Cards 는 일종의 "영양 성분표"다. 모델을 직접 들여다볼 수는 없어도, AWS 가 "이 서비스는 이런 데이터로 평가했고, 이런 한계가 있으며, 이런 용도엔 쓰지 말라"고 공개함으로써 책임 있는 사용을 돕는다. 시험에서 "AWS AI 서비스의 의도된 용도와 한계를 알려주는 투명성 자료는?"이라는 질문이 나오면 AI Service Cards 다.

이름이 닮은 두 문서: AI Service Cards 와 SageMaker Model Cards

둘 다 "카드"이고 둘 다 투명성을 위한 문서라서 쉽게 섞인다. 가르는 기준은 누가 쓰고 무엇을 설명하나다.

• Model Cards 의 위험 등급은 unknown·low·medium·high 중에서 고른다. 대출 승인 모델은 이메일 분류 모델보다 위험 등급이 높다.
• Model Cards 는 PDF 로 내보내 이해관계자에게 공유할 수 있고, 수정하면 새 버전이 쌓여 변경 이력이 남는다.
• 지문이 "AWS 가 공개한", "AWS 서비스의 한계"라면 AI Service Cards, "우리 모델의 용도와 평가 결과를 한곳에 기록"이라면 Model Cards 다.

수명주기 단계로 도구 배치하기

같은 도구라도 "언제 쓰는가"를 알면 헷갈리지 않는다.

• Amazon Bedrock 의 모델 평가는 자동(프로그래밍 방식) 평가, 사람이 채점하는 평가, 다른 LLM 을 심판으로 쓰는 평가를 제공한다. 지식 기반(RAG)이 관련 정보를 잘 찾아 적절히 답하는지도 평가할 수 있다. Clarify 가 전통 ML 의 편향·설명을 다룬다면 이쪽은 FM 의 응답 품질을 다룬다.
• Amazon A2I 는 어제 배운 Human-in-the-Loop 를 구현하는 서비스다. 모델의 확신도가 낮은 예측이나 무작위로 뽑은 예측을 사람 검토자에게 보낸다. Textract 의 문서 추출, Rekognition 의 유해 이미지 판정처럼 자주 쓰는 경우에는 미리 만들어진 검토 흐름이 있다.

⚠️ 함정: AWS 문서는 SageMaker Clarify, SageMaker Model Monitor, Amazon A2I 가 신규 고객에게는 더 이상 열려 있지 않고 기존 고객은 계속 쓸 수 있다고 안내한다. 그렇다고 시험에서 이 이름들의 역할 구분이 사라진 것은 아니다. 시험이 묻는 것은 "편향 측정·설명 = Clarify, 배포 후 감시 = Model Monitor, 사람 검토 = A2I"라는 역할의 짝이다.

헷갈리는 쌍 가르기

• 마지막 줄이 실무에서 중요하다. 시스템 프롬프트에 "개인정보를 말하지 마"라고 적는 것은 모델이 따르기를 기대하는 것이고, Guardrails 는 모델 응답을 별도로 검사해 걸러 낸다.
• Guardrails 가 하지 않는 일도 알아 둔다. 학습 데이터의 편향을 측정하지 않고, 모델을 재학습시키지 않으며, 누가 API 를 호출했는지 기록하지 않는다(그것은 Day 4 의 CloudTrail 이다).

원칙 → 도구 빠른 복습

• 편향을 측정하고 결정을 설명하고 싶다 → SageMaker Clarify
• 배포된 모델이 시간이 지나며 나빠지는지 감시한다 → SageMaker Model Monitor
• 생성형 AI 출력에서 유해·민감 내용을 막는다 → Bedrock Guardrails
• AWS AI 서비스의 용도·한계를 공개 문서로 본다 → AI Service Cards

내일은 시야를 넓혀 AI 보안(IAM 최소권한, 데이터 암호화, PII 보호, PrivateLink, 책임 공유 모델)으로 넘어간다. 책임 있는 AI 가 "윤리·신뢰"라면 보안은 "기술적 방어"다.

📖 용어

• SHAP 값 : 예측 하나에 각 입력 특성이 얼마나 기여했는지를 나눠 보여주는 수치.
• 특성 기여도(feature attribution) : 어떤 특성이 예측을 얼마나 밀어 올리거나 내렸는지의 정도.
• 드리프트(drift) : 운영 중인 데이터나 모델의 성질이 학습 때와 달라지는 현상.
• 기준선(baseline) : 드리프트를 판단하려고 미리 정해 둔 정상 범위. 보통 학습 데이터에서 만든다.
• 거부 주제(Denied Topics) : 애플리케이션이 다루지 않도록 Guardrails 에 정의한 주제.
• 마스킹 : 개인정보를 지우지 않고 가려서 표시하는 것. 예: 카드번호를 별표로 대체.
• 컨텍스트 그라운딩 검사 : 모델의 응답이 제공된 근거 문서에 실제로 기반하는지 확인하는 검사.
• AI Service Card : AWS 가 자사 AI 서비스의 용도·한계·설계 결정을 공개한 문서.
• Model Card : 모델을 만든 팀이 그 모델의 용도·위험·학습·평가 내용을 기록한 문서.

📝 연습 문제

선택지를 클릭하면 정답·해설이 펼쳐집니다.

문제 1

한 데이터 과학자가 학습 데이터에 특정 연령대가 과도하게 많은지 측정하고, 모델 예측 결과가 집단 간 차별적인지 확인하려 한다. 또 각 예측의 근거(특성 기여도)도 설명하고 싶다. 가장 적절한 AWS 도구는?

• AAmazon Bedrock Guardrails
• BAmazon SageMaker Clarify
• CAWS AI Service Cards
• DAmazon SageMaker Model Monitor

문제 2

생성형 AI 챗봇이 사용자 입력에 포함된 주민번호·카드번호를 마스킹하고, 욕설을 차단하며, "투자 종목 추천" 같은 특정 주제를 다루지 않게 하려 한다. 적절한 기능은?

• AAmazon SageMaker Model Monitor
• BAWS CloudTrail
• CAmazon Bedrock Guardrails
• DAmazon SageMaker Clarify

문제 3

Amazon SageMaker Model Monitor에 대한 설명으로 옳은 것은?

• A배포된 모델의 데이터 드리프트와 품질 저하를 감지해 경보를 보낸다
• B문제를 감지하면 모델을 자동으로 재학습·재배포한다
• C생성형 AI 출력의 유해 콘텐츠를 차단하는 도구다
• DAWS AI 서비스의 한계를 공개하는 문서다

문제 4

AWS AI Service Cards의 주된 목적은?

• A모델 학습 속도를 높이는 것
• BAWS AI 서비스의 권장 용도·한계·공정성 고려사항을 공개해 투명성을 제공하는 것
• C개인정보를 암호화하는 것
• D모델의 편향을 자동으로 제거하는 것

문제 5

책임 있는 AI 원칙과 이를 지원하는 AWS 도구의 연결이 올바른 것은?

• A투명성 - Amazon Bedrock Guardrails
• B편향·설명가능성 - Amazon SageMaker Clarify
• C안전성 - AWS AI Service Cards
• D운영 감시 - Amazon Bedrock Guardrails