토큰token

AI 모델이 글을 처리하는 기본 단위. 단어보다 작은 조각인 경우가 많습니다.

LLM은 글을 글자나 단어 그대로가 아니라 토큰이라는 조각으로 나눠 읽고 씁니다. 영어는 대략 단어 하나가 토큰 1~2개이고, 한국어는 같은 내용에 토큰이 더 많이 쓰이는 편입니다.

AI 서비스 요금과 한 번에 처리할 수 있는 분량(컨텍스트 윈도)이 모두 토큰 수로 정해집니다.