어제 우리는 LLM이 "다음 토큰을 확률적으로 예측"한다고 배웠다. 그런데 모델은 컴퓨터다. 컴퓨터는 글자를 모른다. 숫자만 안다. 그렇다면 "오늘 날씨가 좋다"라는 한국어 문장이 도대체 어떻게 숫자로 바뀌어 모델에 들어가고, 어떻게 다시 글자로 나오는 걸까?
오늘은 LLM 내부에서 텍스트가 처리되는 여정을 4개의 핵심 개념으로 따라간다. 토큰(token) → 임베딩(embedding) → 컨텍스트 윈도우(context window) → 추론(inference). 이 네 단어는 AIF 시험에 직접 나오기도 하고, 비용·성능을 이해하는 열쇠이기도 하다. 수식 없이, 그림을 그리듯 이해하는 게 목표다.
LLM은 문장을 통째로 받지 않는다. 토큰이라는 작은 조각으로 잘라서 처리한다. 토큰은 단어일 수도, 단어의 일부일 수도, 글자 하나일 수도 있다.
"생성형 AI는 멋지다"
→ 토큰화 → ["생성", "형", " AI", "는", " 멋", "지다"] (예시)
"unbelievable"
→ ["un", "believ", "able"] (영어는 보통 단어 조각으로 쪼개짐)
왜 단어가 아니라 이렇게 어중간하게 자를까? 세상의 모든 단어를 사전에 넣을 수는 없기 때문이다. 자주 쓰는 조각(subword)만 사전에 두면, 처음 보는 단어도 조각을 조합해 표현할 수 있다. 이걸 서브워드 토크나이징이라고 한다.