Day 5 - Week 3 종합 복습: 생성형 AI 기초 한눈에 묶기

한 장으로 보는 Week 3

이번 주는 AIF-C01 의 도메인 2 "생성형 AI 기초"(채점 문항의 24%)를 통과했다. 가장 비중이 큰 도메인 3 "파운데이션 모델 응용"(28%)도 이 기초 위에 서 있으므로, 두 도메인을 합친 절반 이상이 이번 주 개념에 걸려 있다.

• 월요일: "생성형 AI 가 전통 ML 과 뭐가 다른가"로 시작해 파운데이션 모델과 LLM 을 잡았다.
• 화요일: 그 안을 열어 토큰·임베딩·컨텍스트 윈도우·추론을 봤다.
• 수요일: 모델에게 잘 말 거는 법(프롬프트 엔지니어링).
• 목요일: 그 한계와 위험(환각·편향·비결정성).

시험은 개념을 따로따로 묻기보다 "이 시나리오에 맞는 선택은?"으로 엮어 묻기 때문에, 개념 간의 연결을 잡는 것이 핵심이다.

[Day1] 생성형 AI = 새 콘텐츠 생성 (≠ 전통 ML의 판단/예측)
          └ 토대: 파운데이션 모델(FM) → 언어용 FM = LLM
                                          └ AWS: Amazon Bedrock으로 호출
                    │
[Day2] LLM 내부:  텍스트 → [토큰화] → [임베딩(의미 벡터)]
                          → [컨텍스트 윈도우 안 처리] → [추론(다음 토큰 예측)]
                    └ 비용=토큰, 기억한계=윈도우, 다양성=temperature
                    │
[Day3] 잘 쓰기:   프롬프트 엔지니어링 (지시·맥락·입력·형식)
                    └ Zero-shot / Few-shot(In-Context Learning) / CoT
                    └ 시도 순서: 프롬프트 → RAG → 파인튜닝
                    │
[Day4] 위험:      환각 · 편향 · 비결정성 (+프라이버시·저작권·유해성·주입)
                    └ 책임 있는 AI: Clarify(편향) / Guardrails(안전) / AI Service Cards(투명성)
                    └ 고위험 영역엔 Human-in-the-loop

이 흐름 하나면 Week 3 의 80%가 복습된다. 각 화살표가 "왜 그런가"를 설명할 수 있으면 시험 준비가 된 것이다.

핵심 용어 빠른 정리

이 용어들은 따로 외우기보다 "텍스트가 모델을 통과하는 여정"과 "모델을 다루는 방법의 사다리(프롬프트→RAG→파인튜닝)"라는 두 축에 걸어두면 오래 간다. 문제의 상황이 이 두 축 위 어디에 해당하는지 찾으면 풀 단서가 된다.

비교 정리

• 전통 ML vs 생성형 AI: 판단/예측이면 전통 ML, 새 콘텐츠 생성이면 생성형 AI.
• 프롬프트 vs RAG vs 파인튜닝:
  • 형식·톤만 바꾸기 → 프롬프트(가장 싸고 빠름).
  • 모르는 정보(최신·사내) 공급 → RAG(가중치 변경 없음).
  • 도메인 패턴 깊이 내재화 → 파인튜닝(비싸고 가중치 변경).
• Zero-shot vs Few-shot: 예시 0개 vs 몇 개. 둘 다 In-Context Learning 이라 가중치를 바꾸지 않음(파인튜닝과 구분).
• temperature 낮음 vs 높음: 낮으면 일관·사실 기반, 높으면 다양·창의.

⚠️ 함정: 시험에서 특히 헷갈리는 세 가지. ① "Few-shot = 학습"이 아니다. 예시를 프롬프트에 보여줄 뿐 가중치는 안 바뀐다. ② "RAG = 파인튜닝"이 아니다. RAG 는 학습이 아니라 "참고 자료를 끼워 넣는" 것이다. ③ "더 긴 프롬프트 = 더 좋은 답"이 아니다. 명확함이 길이보다 중요하다.

새 관점 1: 질문 하나가 답이 되기까지

요일별로 배운 것을 요청 한 건의 일생으로 다시 세운다. 사내 규정 챗봇에 "출장비 한도가 얼마야?"라고 묻는 상황이다.

• ①이 빠지면 모델은 규정을 모른 채 ④에서 그럴듯한 숫자를 지어낸다. 환각의 대표 경로다.
• ②에서 문서를 너무 많이 붙이면 ③의 한도에 걸리고 비용도 는다. 그래서 RAG 는 "전부"가 아니라 "관련된 조각만" 넣는다.
• 챗봇은 턴마다 이전 대화를 ②에 다시 넣는다. 대화가 길수록 매 턴의 입력 토큰이 커진다.
• 시험 가이드는 이렇게 "윈도우 안에 무엇을 넣을지 설계하는 일"을 컨텍스트 엔지니어링이라고 부른다. 프롬프트 문장 다듬기보다 넓은 개념으로, 지시·검색 결과·대화 기록·도구 결과의 배분을 다룬다.

새 관점 2: 닮은 개념 가려내기

임베딩 · 벡터 저장소 · RAG 는 한 문장에 같이 나와서 같은 것처럼 보이지만 역할이 다르다.

temperature · Top-P · Top-K 는 모두 "다음 토큰을 얼마나 과감하게 고를까"를 정하지만 손대는 곳이 다르다. AWS 문서의 예를 빌린다. "말발굽 소리가 들린다. 저것은 ___"의 후보가 말 0.7, 얼룩말 0.2, 유니콘 0.1 이라고 가정한다.

• 셋 다 낮추면 일관되고, 높이면 다양해진다. 방향은 같으므로 시험에서는 "일관성이 필요 → 낮춘다, 창의성이 필요 → 높인다"로 답한다.
• 어느 파라미터도 모델이 모르는 사실을 알게 해 주지는 않는다. temperature 를 0 으로 해도 없는 지식은 생기지 않는다.

새 관점 3: 증상에서 처방으로

AWS 서비스 매핑 (AIF에서 묻는 연결)

• 벡터 저장소 줄의 네 서비스는 시험 가이드가 "임베딩을 벡터 데이터베이스에 저장하는 서비스"의 예로 직접 든 것이다. Amazon Kendra 는 벡터 DB 가 아니라 관리형 검색 서비스로 RAG 의 검색 단계를 맡을 수 있으며, 현재는 신규 고객에게 열려 있지 않다.
• 코딩 보조는 이름이 바뀌는 중이다. Amazon Q Developer 의 IDE 플러그인은 지원 종료가 공지됐고 AWS 는 후속으로 Kiro 를 안내한다. 최신 시험 가이드도 Kiro 를 범위 내 서비스로 든다.

🔍 더 깊이: 시험 시나리오는 보통 "요구사항 → 적합한 서비스"로 묻는다. "사내 문서 기반 챗봇"이면 Bedrock + 임베딩 + 벡터 DB(RAG), "출력에서 욕설·개인정보를 막아야 한다"면 Guardrails, "모델이 공정한지 점검"이면 Clarify, "투명성·책임성 문서가 필요"면 AI Service Cards. 키워드와 서비스의 짝을 외워두면 변형 문제도 풀린다.

셀프 체크 (머릿속으로 답해보기)

1. 전통 ML 과 생성형 AI 를 한 문장으로 구분하면?
2. 파운데이션 모델이 경제적으로 유리한 이유는?
3. 토큰이 비용과 어떻게 연결되나?
4. 임베딩이 RAG 에서 하는 역할은?
5. 컨텍스트 윈도우를 넘으면 무슨 일이 생기나?
6. Zero-shot 과 Few-shot 의 차이, 그리고 둘 다 파인튜닝이 아닌 이유는?
7. 모델 동작 조정의 정석 순서(싼 것부터)는?
8. 환각·편향·비결정성을 각각 한 줄로 설명하면?
9. 환각을 줄이는 방법 두 가지는?
10. 고위험 의사결정에 꼭 필요한 안전장치는?

막히는 항목이 있으면 그 날의 글로 돌아간다. 답이 술술 나오면 Week 3 범위는 충분히 익힌 것이다.

가상의 사례로, 한 기업이 "생성형 AI 로 고객지원 자동화"를 도입할 때, 팀은 Week 3 에서 배운 순서를 그대로 따랐다. ① Bedrock 으로 FM 을 빌리고, ② 프롬프트 엔지니어링으로 톤·형식을 잡고, ③ 사내 FAQ 를 임베딩해 RAG 로 정확도를 올리고, ④ Guardrails 로 민감정보·유해표현을 막고, ⑤ 환불·계정 삭제 같은 고위험 요청은 Human-in-the-loop 로 사람에게 넘겼다. 화려한 신기술이 아니라, "싼 것부터, 위험은 통제"라는 기초 원칙이 성공의 핵심이었다.

다음 주에는 이 기초 위에서 AWS 의 구체적 생성형 AI 서비스들(특히 Amazon Bedrock 과 그 주변 도구)을 들여다보며 실제 솔루션을 어떻게 조합하는지로 나아간다.

📖 용어

• 파운데이션 모델(FM) : 방대한 데이터로 한 번 사전학습해 여러 작업에 재사용하는 큰 모델.
• 토큰 : 모델이 글을 자르는 단위. 요금과 한도를 세는 기준이다.
• 임베딩 : 글의 의미를 숫자 벡터로 바꾼 것. 뜻이 비슷하면 벡터도 가깝다.
• 벡터 저장소 : 임베딩을 저장하고 가까운 벡터를 찾아 주는 저장소.
• 컨텍스트 윈도우 : 모델이 한 번에 볼 수 있는 토큰의 최대치. 입력과 출력을 합쳐 센다.
• 컨텍스트 엔지니어링 : 한정된 윈도우 안에 지시·문서·대화 기록 중 무엇을 넣을지 설계하는 일.
• Top-P / Top-K : 다음 토큰의 후보를 누적 확률 또는 개수로 잘라 내는 추론 파라미터.
• RAG : 관련 문서를 검색해 프롬프트에 붙여 답하게 하는 방식. 모델은 그대로 둔다.
• 환각 : 사실이 아닌 내용을 그럴듯하게 만들어 내는 현상.
• Human-in-the-loop : 중요한 출력은 사람이 최종 확인하도록 절차에 사람을 넣는 것.

📝 연습 문제

선택지를 클릭하면 정답·해설이 펼쳐집니다.

문제 1

Week 3의 핵심을 종합할 때, 모델 동작을 조정하는 방법을 비용/난이도가 낮은 것부터 정렬한 것은?

• A파인튜닝 → RAG → 프롬프트 엔지니어링
• B프롬프트 엔지니어링 → RAG → 파인튜닝
• CRAG → 프롬프트 엔지니어링 → 파인튜닝
• D세 방법은 비용 차이가 없다

문제 2

다음 짝 중 AWS 서비스와 그 용도의 연결이 올바른 것은?

• AAmazon SageMaker Clarify - 데이터·모델의 편향 측정과 설명가능성
• BAmazon Bedrock Guardrails - 모델 학습 속도 향상
• CAWS AI Service Cards - 임베딩 벡터 저장
• DAmazon Bedrock - 오직 이미지 압축

문제 3

"Few-shot 프롬프팅"과 "파인튜닝"의 가장 중요한 차이는?

• AFew-shot은 모델 가중치를 바꾸지 않고, 파인튜닝은 가중치를 변경한다
• BFew-shot이 파인튜닝보다 항상 비싸다
• C둘 다 모델을 처음부터 재학습한다
• D파인튜닝은 예시를 프롬프트에 넣는 것이다

문제 4

사내 최신 정책 문서를 근거로 정확히 답하는 챗봇을 만들고, 환각을 줄이려 한다. 가장 적절한 조합은?

• Atemperature를 최대로 높이고 예시를 늘린다
• B사내 문서를 임베딩해 벡터 DB에 저장하고 RAG로 관련 문서를 함께 제공한다
• C모델 크기만 키우면 자동으로 해결된다
• D프롬프트를 최대한 길게만 작성한다

문제 5

생성형 AI의 위험과 그 설명이 잘못 짝지어진 것은?

• A환각 - 사실이 아닌 내용을 그럴듯하게 생성
• B편향 - 데이터의 편견을 학습해 불공정한 출력
• C비결정성 - 같은 입력에도 출력이 달라질 수 있음
• D환각 - 모델이 응답을 영구적으로 거부하는 현상