본문으로 건너뛰기

LLM이 뭔가요? 5분 만에 이해하기

ChatGPT, Claude, Gemini 같은 서비스의 바탕이 되는 기술을 수식 없이 설명합니다.

입문입문자직장인

8분2026.10 기준

이 글을 마치면

  • LLM이 '다음 말 예측'으로 답을 만든다는 원리를 쉬운 말로 설명할 수 있습니다.
  • 토큰과 컨텍스트 윈도가 무엇이고, 요금과 어떤 관계인지 압니다.
  • 할루시네이션이 왜 생기는지 알고, 답을 확인하는 습관을 들일 수 있습니다.
단어 블록으로 된 문장 끝 빈칸에, 확률 막대가 가장 긴 후보 단어가 들어가는 일러스트
일러스트: AI Ping

이런 분께

  • AI 뉴스에 나오는 용어가 낯선 분
  • AI를 업무에 쓰기 전에 원리를 알고 싶은 분

준비물

  • 준비물은 없습니다. 궁금한 마음만 있으면 됩니다.

핵심 정리

  1. 다음 말을 예측하는 기계

    LLM(대규모 언어 모델)은 엄청난 양의 글을 읽고, 앞의 말 다음에 어떤 말이 올지 예측하도록 학습한 프로그램입니다.

    "오늘 날씨가 정말" 다음에 "좋다"가 올 가능성이 높다는 것을 아는 것처럼, 이 예측을 아주 길고 정교하게 반복하면서 문장과 답변을 만들어 냅니다.

    "오늘 날씨가 정말" 다음에 올 말을 고르는 모습 (숫자는 설명을 위한 예시)
    다음에 올 말가능성
    좋다62%
    덥다21%
    춥다11%
    맑다6%
  2. 글자가 아니라 토큰 단위로 읽는다

    LLM은 글을 토큰이라는 조각으로 나눠서 처리합니다. 한 번에 읽을 수 있는 토큰의 양을 컨텍스트 윈도라고 하는데, 이 크기가 클수록 긴 문서를 한 번에 다룰 수 있습니다.

    API로 AI를 쓸 때의 요금도 보통 토큰 수로 계산합니다. 대화형 앱 구독은 월 정액인 경우가 많습니다.

  3. 그럴듯하지만 틀릴 수 있다

    LLM 자체는 사실을 찾아보는 게 아니라 그럴듯한 다음 말을 예측합니다. 그래서 자신 있는 말투로 틀린 정보를 말하는 할루시네이션이 생길 수 있습니다.

    웹 검색을 함께 쓰는 서비스도 있지만, 어느 쪽이든 중요한 수치나 사실은 출처를 확인하는 습관이 필요합니다.

    확인해 보기

    • 답에 나온 수치·날짜·인용은 원래 출처에서 한 번 더 확인하세요.
    • "출처도 알려 줘"라고 해도, 그 출처가 실제로 있는지는 직접 열어 봐야 합니다. 그럴듯한 출처를 지어내기도 합니다.
  4. 잘 쓰려면: 맥락을 많이 주기

    LLM은 내가 준 정보 안에서 가장 잘 작동합니다. 상황, 목적, 원하는 형식을 구체적으로 적은 프롬프트가 좋은 답을 만듭니다.

    프롬프트 예시
    나는 마케팅팀 신입이야. 다음 주 회의에서 'LLM'이 무엇인지 동료들에게 1분 안에 설명해야 해. 비유를 하나 넣어서 쉬운 말로 설명문을 써 줘.
    AI 답변 예시

    LLM은 엄청나게 많은 글을 읽고, 문장에서 다음에 올 말을 맞히는 연습을 한 프로그램입니다.

    휴대폰 자판의 '다음 단어 추천'을 아주 크게 키운 것이라고 생각하면 쉽습니다. 다만 단어 하나를 추천하는 수준을 넘어, 문장과 문단을 이어서 써 낼 만큼 정교합니다.

    그래서 글쓰기와 요약은 잘하지만, 사실을 찾아보는 게 아니라 그럴듯한 말을 이어 쓰는 것이라 중요한 내용은 확인이 필요합니다.

    확인해 보기

    • 1분 안에 읽히는지, 비유가 듣는 사람에게 익숙한지 확인하세요. 길다면 '30초 분량으로 줄여 줘'라고 다시 요청합니다.

자주 하는 실수

  • LLM의 답을 검색 결과처럼 사실로 받아들이기
  • 맥락 없이 짧은 질문만 던지고 답이 별로라고 판단하기

참고 자료

더 배워 보기

  • 개념 쉽게8분

    토큰과 요금, 쉽게 이해하기

    AI 요금표의 '100만 토큰당 2달러'가 무슨 뜻인지, 내 사용량이면 얼마가 드는지 어림하는 법까지 정리했습니다.

    입문입문자직장인개발자
  • 개념 쉽게9분

    AI 에이전트란 무엇인가

    질문에 답만 하는 챗봇과 달리, 에이전트는 목표를 받아 도구를 쓰고 결과를 확인하며 일을 끝까지 진행합니다. 작동 원리와 잘 맞는 일, 맡기기 전에 정할 것을 정리했습니다.

    입문입문자개발자