AI는 왜 틀릴까: 할루시네이션 이해하기

AI가 자신 있게 틀린 말을 하는 이유와, 특히 잘 틀리는 곳, 답을 확인하는 방법을 정리했습니다.

핵심 정리

1. 1

   그럴듯한 말을 이어 쓰기 때문

   LLM은 질문을 받으면 사실을 검색하는 대신, 지금까지의 문장 다음에 올 법한 말을 이어 씁니다. 대부분은 이 예측이 맞지만, 잘 모르는 내용에서도 멈추지 않고 그럴듯한 문장을 만들어 냅니다.

   이렇게 사실이 아닌 내용을 자신 있게 말하는 것을 할루시네이션이라고 합니다. 말투만 봐서는 맞는 답과 틀린 답을 구별할 수 없다는 점이 가장 큰 문제입니다.

2. 2

   특히 잘 틀리는 곳

   틀리는 곳에는 패턴이 있습니다. 아래 다섯 가지가 답에 들어 있다면 그 부분부터 확인하세요.

   웹 검색을 함께 쓰는 AI 서비스도 있지만, 찾은 자료를 잘못 요약하거나 엉뚱한 자료를 근거로 삼을 수 있어서 확인이 필요한 건 마찬가지입니다.

   자주 틀리는 다섯 곳과 확인 방법

   어디서	이런 식으로 틀림	이렇게 확인
   숫자·날짜	통계, 연도, 금액이 조금씩 다름	원래 자료의 숫자와 하나씩 대조
   인용·출처	없는 논문·기사·링크를 만들어 냄	링크를 직접 열어 제목과 내용 확인
   최신 정보	학습 이후에 바뀐 사실을 모름	날짜가 적힌 공식 발표 확인
   이름·고유명사	비슷한 사람·회사·제품을 섞음	공식 사이트나 원문에서 확인
   긴 계산	중간 단계에서 실수	계산기나 엑셀로 다시 계산

3. 3

   틀릴 가능성을 줄이는 요청법

   자료를 직접 붙여 넣고 그 안에서만 답하게 하면 지어낼 여지가 줄어듭니다. 모르면 모른다고 답해도 된다고 알려 주고, 답의 근거가 된 문장을 그대로 보여 달라고 하세요.

   근거 문장을 함께 받으면, 원문을 다시 읽지 않고도 그 문장만 찾아 확인할 수 있습니다. 자료 없이 '출처도 알려 줘'라고만 하면 그럴듯한 인용이나 출처를 지어낼 수 있으니, 근거로 삼을 자료를 꼭 함께 주세요.

   이렇게 해도 틀림이 완전히 사라지지는 않습니다. 다음 단계의 확인 습관은 그대로 필요합니다.

   아래 보도자료 내용만 근거로 질문에 답해 줘. 자료에 없는 내용은 '자료에 없음'이라고 답하고, 답마다 근거가 된 문장을 그대로 인용해 줘.
   질문: 출시일과 가격은?
   [보도자료 붙여 넣기]

   출시일: 10월 13일 — 근거: "10월 13일부터 전 세계에서 쓸 수 있다."

   가격: 자료에 없음 — 보도자료에는 가격이 나오지 않습니다.

   확인해 보기

   • 인용한 문장이 실제로 자료에 있는지 찾아보세요. 자료에 없는 문장을 인용했다면 그 답은 버립니다.
4. 4

   확인하는 습관 들이기

   모든 답을 의심할 필요는 없습니다. 하지만 밖으로 나가는 자료에 들어가는 숫자·이름·인용·링크는 반드시 직접 확인하세요.

   확인해 보기

   • 답에서 숫자·이름·인용·링크에 표시를 해 둡니다.
   • 표시한 것마다 원래 자료나 공식 사이트에서 직접 확인합니다.
   • 중요한 결정에 쓰는 내용이라면 다른 자료로 한 번 더 교차 확인합니다.