RAG 쉽게 이해하기: AI에게 참고서를 쥐여 주는 방법
사내 문서로 답하는 챗봇은 어떻게 만들까요? 요즘 AI 서비스에서 널리 쓰이는 RAG의 원리를 정리했습니다.
입문입문자개발자
9분2026.10 기준
이 글을 마치면
- LLM이 사내 문서나 최신 정보를 모르는 이유를 설명할 수 있습니다.
- RAG가 질문 → 문서 검색 → 답변 순서로 동작하는 원리를 이해합니다.
- RAG와 파인튜닝 중 어느 쪽이 상황에 맞는지 판단할 수 있습니다.
이런 분께
- 사내 문서 챗봇 도입을 검토 중인 분
- AI 서비스 기획서에 나오는 RAG가 궁금한 분
준비물
- 'LLM이 뭔가요?' 글을 먼저 읽으면 이해가 쉽습니다.
핵심 정리
학습한 것까지만 안다: LLM의 한계
LLM은 학습할 때 본 글까지만 압니다. 우리 회사 휴가 규정이나 어제 바뀐 가격표는 알 수가 없습니다.
질문할 때 참고 자료를 함께 넣기
RAG(검색 증강 생성)는 질문이 들어오면 관련 문서를 먼저 찾아서, 그 내용을 질문과 함께 LLM에 넣어 주는 방식입니다.
시험 볼 때 참고서를 펼쳐 놓고 답을 쓰는 것과 비슷합니다. 답의 근거가 된 문서를 함께 보여 줄 수 있어 확인도 쉽습니다.
사내 문서 챗봇이 질문 하나를 처리하는 순서 (예시) 순서 하는 일 예 1 질문 받기 "회의실은 며칠 전부터 예약할 수 있나요?" 2 관련 문서 찾기 사내 시설 이용 안내에서 '회의실 예약' 항목을 찾음 3 질문과 문서를 함께 넣기 찾은 항목의 원문과 질문을 LLM에 함께 전달 4 답과 근거 보여 주기 "2주 전부터 예약할 수 있습니다" + 근거 문서 링크 문서를 잘 찾는 게 절반
관련 문서를 찾을 때는 보통 임베딩이라는 기술로 글의 의미를 숫자로 바꿔 비교합니다. 단어가 달라도 뜻이 비슷한 문서를 찾을 수 있습니다.
엉뚱한 문서를 찾으면 답도 엉뚱해집니다. RAG 서비스의 품질은 대부분 이 검색 단계에서 갈립니다.
확인해 보기
- 답과 함께 나온 근거 문서를 열어, 답이 실제로 그 문서 내용과 맞는지 확인하세요.
- 엉뚱한 문서가 자꾸 근거로 붙는다면, 답변을 다듬기 전에 문서 정리나 검색 단계부터 손봐야 합니다.
파인튜닝과는 무엇이 다른가
파인튜닝은 모델 자체를 추가로 학습시키는 방법이고, RAG는 모델은 그대로 두고 참고 자료만 바꿔 주는 방법입니다. 자주 바뀌는 정보라면 RAG가 훨씬 관리하기 쉽습니다.
RAG와 파인튜닝 한눈에 비교 비교 RAG 파인튜닝 바꾸는 것 참고 자료(문서) 모델 자체 정보가 바뀌면 문서만 바꾸면 됨 다시 학습시켜야 함 근거 보여 주기 찾은 문서를 함께 보여 줄 수 있음 어디서 나온 답인지 보여 주기 어려움 잘 맞는 일 자주 바뀌는 사내 규정·제품 정보 말투·형식처럼 일정한 방식 익히기
자주 하는 실수
- 문서 정리 없이 모든 파일을 넣으면 알아서 잘 찾을 거라고 기대하기
- 답만 보고 근거 문서는 확인하지 않기
참고 자료
- RAG란? 검색 증강 생성 AI 설명 — AWS
- 검색 증강 생성(RAG)이란 무엇인가요? — Google Cloud
- Microsoft Foundry의 RAG(검색 확대 생성) 및 인덱스 — Microsoft Learn
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — arXiv (Lewis et al., 2020)
