Day 1 - 생성형 AI란 무엇인가: 전통 ML과의 차이, 그리고 파운데이션 모델

Week 2까지 우리는 "전통적인" 머신러닝의 세계를 봤다. 데이터를 모으고, 레이블을 붙이고, 특정 문제 하나를 풀도록 모델을 학습시키는 방식이다. 스팸이냐 아니냐, 이 사진이 고양이냐 개냐, 다음 달 매출이 얼마냐. 각 모델은 자기 일 하나만 잘했다. 그런데 2022년 말 ChatGPT가 등장하면서 세상이 바뀌었다. 글을 쓰고, 코드를 짜고, 그림을 그리고, 요약을 하는 — 하나의 모델이 수십 가지 일을 한다. 이것이 생성형 AI(Generative AI)다.

AIF-C01 시험에서 생성형 AI는 가장 비중이 큰 영역이다. 오늘은 "생성형 AI가 도대체 전통 ML과 뭐가 다른가", 그리고 그 핵심에 있는 파운데이션 모델(Foundation Model)과 LLM(Large Language Model)이 무엇인지를, 용어를 외우는 게 아니라 진짜로 이해하는 걸 목표로 한다.

전통 ML vs 생성형 AI: 무엇을 "출력"하는가

가장 단순한 구분법은 "모델이 무엇을 내놓느냐"다.

전통 ML은 판별 모델(discriminative model)이 많다. "주어진 데이터가 어느 범주에 속하는가"의 경계선을 긋는다. 반면 생성형 AI는 생성 모델(generative model)로, "이 데이터가 만들어진 확률 분포 자체"를 학습해서 그 분포에서 새로운 샘플을 뽑아낸다. 그래서 한 번도 본 적 없는 문장이나 그림을 만들어낼 수 있다.

판별 모델은 조건부 확률 P(레이블 | 데이터)를 학습하고, 생성 모델은 결합 확률 P(데이터, 레이블) 또는 데이터 자체의 분포 P(데이터)를 학습한다. "스팸일 확률"을 구하는 건 판별, "스팸 메일 한 통을 새로 써내는" 건 생성이다. 생성형 AI가 "창작"처럼 보이는 이유는 학습한 확률 분포에서 그럴듯한 샘플을 뽑기 때문이지, 사람처럼 의도를 가지고 만드는 게 아니다.

파운데이션 모델(FM): 한 번 만들어 여러 곳에 쓰는 토대

전통 ML의 가장 큰 비용은 "문제마다 새 모델을 처음부터 학습"하는 것이었다. 생성형 AI의 혁신은 파운데이션 모델이라는 개념에서 나온다. 이름 그대로 "토대(foundation)"가 되는 모델이다.

핵심 아이디어는 세 단계다.

1. 사전학습(Pre-training): 인터넷 규모의 방대한 데이터로 거대한 모델을 한 번 학습시킨다. 이 단계는 엄청난 비용(수백만 달러, 수천 개 GPU)이 든다.
2. 범용성: 이렇게 만든 모델은 특정 작업용이 아니라, 언어/이미지의 일반적 패턴을 다 익힌 "만능 기초"가 된다.
3. 적응(Adaptation): 이 토대 위에 프롬프트나 약간의 추가 학습(파인튜닝)만 얹으면 번역, 요약, 분류, 챗봇 등 수많은 작업에 재활용된다.

"Foundation Model"이라는 용어는 2021년 스탠퍼드 HAI 연구진이 정립했다. 핵심은 하나의 비싼 모델을 만들어 수많은 다운스트림 작업에 재사용한다는 경제학이다. 마치 건물 한 채를 지을 때 기초 공사를 한 번만 하고 그 위에 여러 층을 올리는 것과 같다.

🔍 더 깊이: AWS에서 파운데이션 모델을 쓰는 대표 서비스가 Amazon Bedrock이다. Bedrock은 Anthropic Claude, Amazon Titan, Meta Llama, Mistral, AI21, Cohere 등 여러 회사의 FM을 단일 API로 호출하게 해주는 "완전관리형 FM 마켓플레이스"다. 사용자가 직접 GPU를 사거나 모델을 학습시킬 필요 없이, API 호출만으로 거대 모델을 빌려 쓴다. 이게 "Infrastructure as API"의 생성형 AI 버전이다. AIF 시험에서 "여러 FM을 골라 쓰고 싶다, 인프라 관리는 하기 싫다"는 시나리오가 나오면 Bedrock이 정답이다.

LLM(Large Language Model): 언어를 다루는 파운데이션 모델

파운데이션 모델은 이미지·오디오·텍스트 등 여러 종류가 있는데, 그중 텍스트(언어)를 다루는 것이 LLM(대규모 언어 모델)이다. ChatGPT, Claude, Llama가 모두 LLM이다.

LLM이 하는 일은 의외로 단순하게 설명할 수 있다. "지금까지의 텍스트가 주어졌을 때, 다음에 올 단어(토큰)가 무엇일지 확률적으로 예측"하는 것이다. 이걸 반복하면 문장이 만들어진다.

입력: "오늘 날씨가 정말"
모델 예측: "좋다" (45%), "춥다" (20%), "흐리다" (15%), ...
→ "좋다" 선택
→ 입력: "오늘 날씨가 정말 좋다" → 다음 토큰 예측 → 반복

"고작 다음 단어 예측인데 어떻게 코드를 짜고 추론을 하느냐"는 의문이 들 수 있다. 이 의문의 답은 규모(scale)다. 모델 크기(파라미터 수)와 학습 데이터가 어느 임계점을 넘으면, 단순한 다음-단어-예측만으로도 번역·요약·추론 같은 "창발적 능력(emergent abilities)"이 나타난다. 이걸 2020년 OpenAI가 정리한 Scaling Laws(스케일링 법칙)라고 부른다.

💡 관련 이론: LLM의 토대가 된 것이 2017년 구글이 발표한 Transformer 아키텍처다("Attention Is All You Need" 논문). 그 전의 RNN/LSTM은 문장을 앞에서부터 순차적으로 처리해서 느렸고 긴 문맥을 기억하기 어려웠다. Transformer의 셀프 어텐션(self-attention)은 문장의 모든 단어를 동시에 보면서 "어떤 단어가 어떤 단어와 관련 있는지" 가중치를 계산한다. 병렬 처리가 가능해 GPU에서 빠르게 학습되고, 긴 문맥도 잘 잡는다. 오늘날의 LLM은 Transformer 구조를 토대로 한다.

생성형 AI는 어떤 종류의 콘텐츠를 만드나

LLM은 텍스트지만, 생성형 AI는 텍스트만이 아니다. AIF 시험에서 "이 작업에 적합한 모델/서비스는?" 식으로 묻는다.

멀티모달(multimodal)은 텍스트 + 이미지처럼 여러 종류의 입력을 동시에 다루는 모델이다. "이 사진에 뭐가 있는지 설명해줘"가 멀티모달의 대표 작업이다.

가상의 사례로, 한 글로벌 미디어 기업이 고객 지원 티켓 분류를 전통 ML 분류 모델로 운영하다 생성형 AI로 전환했다. 기존엔 새 카테고리가 생길 때마다 데이터를 모아 모델을 재학습해야 했지만, FM 기반으로 바꾸자 프롬프트에 카테고리 설명만 적어주면 즉시 새 분류가 가능해졌다. 모델 재학습 주기가 "수 주"에서 "프롬프트 한 줄 수정"으로 줄었다. 이것이 파운데이션 모델 재사용의 경제적 위력이다.

그래서 언제 생성형 AI를 쓰고, 언제 전통 ML을 쓰나

생성형 AI가 만능은 아니다. AIF 시험은 "적합한 도구 선택"을 끊임없이 묻는다.

• 전통 ML이 더 나은 경우: 정확한 수치 예측(매출, 가격), 명확한 분류 경계가 있고 정답이 분명한 작업, 결정성과 설명가능성이 중요한 규제 환경(대출 심사 등).
• 생성형 AI가 더 나은 경우: 자유로운 텍스트/이미지 생성, 다양한 작업을 한 모델로 빠르게, 레이블 데이터를 모으기 어려운 상황, 사람과의 대화형 인터페이스.

핵심 판단 기준은 "새로운 콘텐츠를 만들어야 하는가, 아니면 판단/예측만 하면 되는가"다. 답장을 써야 하면 생성형, 스팸 여부만 가리면 전통 ML이다.

정리

오늘 잡아야 할 그림은 세 가지다. 첫째, 전통 ML은 판단/예측을 하고 생성형 AI는 새로운 콘텐츠를 생성한다. 둘째, 파운데이션 모델은 비싸게 한 번 만들어 수많은 작업에 재사용하는 토대이며, AWS에서는 Amazon Bedrock으로 빌려 쓴다. 셋째, LLM은 언어를 다루는 FM으로, 본질은 "다음 토큰 예측"이지만 규모가 커지면서 추론·번역 같은 능력이 창발한다.

다음 글에서는 LLM이 "다음 토큰을 예측"한다고 할 때, 그 토큰이 도대체 무엇이고 모델 내부에서 텍스트가 어떻게 숫자로 바뀌는지 — 토큰, 임베딩, 컨텍스트 윈도우, 추론을 쉽게 풀어본다.

📝 연습 문제

선택지를 클릭하면 정답·해설이 펼쳐집니다.

문제 1

다음 중 생성형 AI와 전통 머신러닝의 가장 본질적인 차이를 가장 잘 설명한 것은?

• A생성형 AI는 GPU를 쓰고 전통 ML은 CPU만 쓴다
• B생성형 AI는 새로운 콘텐츠를 생성하고, 전통 ML은 주로 판단/예측을 한다
• C생성형 AI는 데이터가 필요 없다
• D전통 ML이 항상 생성형 AI보다 정확하다

문제 2

파운데이션 모델(Foundation Model)의 핵심 경제적 이점은 무엇인가?

• A작업마다 모델을 처음부터 새로 학습해야 한다
• B한 번 비싸게 사전학습한 모델을 수많은 다운스트림 작업에 재사용한다
• C학습에 비용이 전혀 들지 않는다
• D오직 이미지 생성에만 쓸 수 있다

문제 3

LLM(대규모 언어 모델)이 문장을 생성하는 기본 원리는 무엇인가?

• A사람이 미리 작성한 답변을 데이터베이스에서 검색한다
• B지금까지의 텍스트를 바탕으로 다음에 올 토큰을 확률적으로 예측하는 것을 반복한다
• C항상 같은 입력에 같은 답을 100% 보장한다
• D문법 규칙을 사람이 일일이 코딩해 넣는다

문제 4

여러 회사의 파운데이션 모델(Claude, Titan, Llama 등)을 인프라 관리 없이 단일 API로 호출하고 싶다. 가장 적합한 AWS 서비스는?

• AAmazon EC2에 직접 모델을 설치한다
• BAmazon Bedrock
• CAmazon S3
• DAWS Lambda 단독

문제 5

다음 중 생성형 AI보다 전통 ML이 더 적합한 작업은?

• A고객 문의에 대한 자연스러운 답변 문장 작성
• B마케팅용 이미지 생성
• C다음 분기 매출액의 정확한 수치 예측
• D긴 보고서의 요약