AI는 왜 틀리나: 할루시네이션이 생기는 원리와 잡아내는 법

1. 1

   안내문에 한 줄이 더 붙었습니다

   독서 모임 안내문 끝에 “무료로 참여하실 수 있습니다”라는 문장이 붙었다고 가정해 봅시다. 자연스러운 안내지만 우리가 가진 메모에는 참가비가 없습니다. 무료가 틀렸다고 확정할 수도 없고, 맞다고 확인할 수도 없습니다. 지금 내릴 수 있는 판단은 “이 자료로는 근거를 찾지 못했다”입니다.

   

   이를 보여 주기 위해 편집자가 만든 예시이며, 특정 모델이 실제로 한 답변을 인용한 것은 아닙니다. 생성형 AI가 사실과 다르거나 제공한 자료로 뒷받침되지 않는 내용을 만들어 내는 현상을 흔히 환각, 또는 할루시네이션이라고 부릅니다. 다만 모든 오류를 같은 이름으로 묶으면 고치는 방법을 찾기 어렵습니다.

   날짜를 옮겨 적다가 바꿨다면 원자료 대조가 필요합니다. 계산이 틀렸다면 다시 계산해야 합니다. 최신 안내가 필요한데 오래된 자료를 썼다면 적용 시점을 확인해야 합니다. “AI는 틀린다”에서 멈추지 말고 어떤 종류의 틀림인지를 구분하세요. 틀린 부분이 다른 문장에 영향을 줬는지도 함께 살핍니다.

   모델의 학습과 추론, 검색과 계산 도구, 출력 검증은 오류를 줄이는 데 도움을 줄 수 있습니다. 그렇다고 어떤 짧은 지시 하나로 오류가 완전히 없어지지는 않습니다. 반대로 모델은 계산을 전혀 못 한다거나 모든 오류가 영원히 해결 불가능하다고 단정할 이유도 없습니다. 이 수업은 현재 받은 결과를 확인하는 방법에 집중합니다.

1. 2

   무엇이 달라졌는지 표시하기

   원자료와 초안을 나란히 두고 숫자와 고유명사부터 표시하세요. 이번 메모의 기준은 11월 7일, 오후 2시, 도서관 2층, 책 한 권입니다. 이 값들은 연습용으로 정한 값입니다. 아래 표는 실무 전체의 오류를 빠짐없이 분류한 표가 아니라, 이 작은 안내문에서 먼저 살펴볼 네 가지입니다.

   빠진 정보도 오류입니다. “도서관에서 만나요”라는 문장은 거짓이 아닐 수 있지만 층수가 빠져 처음 오는 사람에게 필요한 정보를 전달하지 못합니다. 반대로 “무료”처럼 추가된 조건은 틀린 내용으로 확정하기 전에 근거 없음으로 표시합니다. 빠짐과 추가를 구분하면 수정 요청이 구체적으로 바뀝니다.

   표시할 때는 문장 전체에 빨간 줄을 긋기보다 “무료라는 말에 근거가 없음”, “2층 누락”처럼 문제를 적으세요. 그래야 고친 뒤 그 부분이 해결됐는지 확인할 수 있습니다. 맞는 문장까지 통째로 다시 쓰게 하면 이미 확인한 사실이 새로 바뀔 수도 있습니다.

   안내문에서 살펴볼 오류 예시

   원자료 또는 조건	초안의 문제	할 일
   11월 7일	11월 9일로 바뀜	원자료대로 날짜 수정
   도서관 2층	층수 누락	2층 추가
   참가비 정보 없음	무료라고 추가	삭제 또는 확인 필요
   처음 오는 사람에게 안내	내부 약어만 사용	뜻을 풀어 설명

2. 3

   계산은 다시 계산해서 확인합니다

   한 상자에 물건이 483개이고 상자가 627개 있다고 가정합시다. 총수량은 483 × 627입니다. 이 숫자는 계산을 연습하기 위해 만든 값입니다. 483 × 600 = 289,800, 483 × 27 = 13,041이므로 합계는 302,841입니다. 계산기나 같은 식을 넣은 스프레드시트로도 확인할 수 있습니다.

   오류 예시로 303,141이라는 결과를 적어 두고 올바른 합계와 비교해 보세요. 차이는 300입니다. 긴 설명이 붙어 있거나 단위를 정확히 적었다고 해서 합계가 맞아지는 것은 아닙니다. 이 글의 잘못된 숫자도 편집자가 만든 비교용 예시이며 모델의 실제 응답이나 측정 결과로 제시하지 않습니다.

   계산이 맞아도 입력 조건이 틀릴 수 있습니다. 627개 중 빈 상자가 포함됐거나, 모든 상자의 물건 수가 같지 않다면 곱셈 자체가 상황을 잘못 나타냅니다. 확인할 순서는 원자료의 의미, 식, 계산 결과입니다. 마지막 숫자만 대조하면 처음 가정의 오류를 놓칩니다.

   업무의 가격·세금·환율처럼 시점이나 규칙이 중요한 계산은 현재 조건을 확인해야 합니다. 이 수업의 가상 수량 계산을 그런 판단의 근거로 쓰지는 마세요. 계산 도구는 입력한 식을 처리할 뿐, 사용자가 고른 조건이 현실에 맞는지까지 보증하지 않습니다.

3. 4

   링크가 아니라 연결되는 근거를 봅니다

   AI가 출처를 붙였다면 먼저 그 페이지를 열어 보세요. 링크가 열리는지는 첫 확인일 뿐입니다. 읽고 있는 페이지의 본문에서 답의 주장을 뒷받침하는 문장을 찾고, 대상과 날짜가 같은지 살펴봅니다. 도서관의 지난달 공지를 오늘 운영 시간의 근거로 쓰면 링크가 실제로 있어도 결론은 맞지 않을 수 있습니다.

   주장 옆에 “근거 문장”과 “확인한 날짜”를 적어 두면 나중에 다시 볼 수 있습니다. 자료가 다른 지점을 가리키거나 시행 전 계획을 설명하는 경우도 있습니다. “공식 사이트니까 맞다”로 끝내지 말고 그 공식 문서가 무엇에 대해 말하는지 확인하세요.

   페이지가 열리지 않거나 유료 구독 없이는 본문을 읽을 수 없다면 확인하지 못했다고 남깁니다. 제목과 검색 결과의 짧은 설명만으로 본문을 읽었다고 기록하지 않습니다. 원문에 접근할 수 없다면 다른 공개된 1차 자료를 찾거나, 해당 주장을 빼고 작업을 마칠 수 있는지 판단합니다.

   두 AI가 같은 말을 했다는 사실은 독립된 출처 두 개를 확보했다는 뜻이 아닙니다. 비슷한 자료나 가정을 사용했을 수 있습니다. 서로 다른 답을 받아 비교하면 의심할 지점을 찾는 데 도움이 될 수 있지만, 일치 자체가 검증을 대신하지는 않습니다.

4. 5

   모르는 것은 답 안에 남겨 두기

   원자료를 제공할 때는 알 수 없는 것을 어떻게 처리할지도 적습니다. “아래 메모에서 확인되는 내용만 써 줘. 없는 정보는 확인 필요 목록으로 분리해 줘.” 이렇게 요청하면 답을 검사할 기준이 분명해집니다. 모델이 모든 미확인 정보를 정확히 골라 낸다는 보장은 없으므로, 목록도 사람이 대조합니다.

   확인 필요라는 표현은 실패를 숨기는 말이 아닙니다. 담당자에게 물을 내용을 정리한 작업 결과입니다. 이번 모임 안내에서는 참가비와 신청 방법이 그 목록에 들어갑니다. 일정과 준비물처럼 확인한 내용까지 모두 흐리게 쓸 필요는 없습니다. 아는 것과 모르는 것을 구체적으로 나누면 읽는 사람도 판단하기 쉽습니다.

   모델이 “확실합니다”라고 답하거나 확신 점수를 붙여도 근거가 추가된 것은 아닙니다. 점수가 어떻게 측정됐는지 확인되지 않았다면 객관적인 정확도로 읽지 마세요. 중요한 것은 “얼마나 자신 있어 하는가”보다 “어느 자료의 어떤 부분이 이 주장을 뒷받침하는가”입니다.

정답을 맞혀야 다음 수업으로 가는 시험이 아닙니다. 해설을 읽고 이해하는 데 사용하세요.

1. Q1원자료에는 참가비가 없는데 초안은 무료라고 합니다. “틀림”, “맞음”, “이 자료로 확인 불가” 중 무엇으로 표시하겠습니까? 다음 행동도 쓰세요.

   내 생각 적기 (선택)

   내 생각 적기 (선택)

   작성 내용은 전송되지 않으며, 페이지를 떠나거나 새로고침하면 사라져요. 필요한 내용은 복사해 두세요.

   답과 해설 보기

   이 자료로 확인 불가입니다. 무료인지 유료인지 단정할 근거가 모두 없기 때문입니다. 문구를 빼거나 확인 필요로 남기고, 실제 게시에 필요하다면 담당자에게 확인합니다.

   해설을 읽고 이해했어요

   직접 비교한 표시이며 자동 채점은 아니에요.

2. Q2상자당 483개, 627상자라는 연습 조건에서 초안 합계가 303,141입니다. 올바른 합계와 차이, 계산 전에 확인할 조건 한 가지를 쓰세요.

   내 생각 적기 (선택)

   내 생각 적기 (선택)

   작성 내용은 전송되지 않으며, 페이지를 떠나거나 새로고침하면 사라져요. 필요한 내용은 복사해 두세요.

   답과 해설 보기

   정답은 302,841개이고 초안은 300개 많습니다. 모든 상자가 483개로 채워졌는지 확인해야 합니다. 수량은 이 문제를 위해 지어낸 값이며, 계산이 맞아도 실제 상자 조건이 다르면 결과를 사용할 수 없습니다.

   해설을 읽고 이해했어요

   직접 비교한 표시이며 자동 채점은 아니에요.

3. Q3도서관 운영 시간의 출처 링크는 열리지만 본문은 작년 다른 지점의 안내입니다. 무엇을 고쳐 확인해야 하나요?

   내 생각 적기 (선택)

   내 생각 적기 (선택)

   작성 내용은 전송되지 않으며, 페이지를 떠나거나 새로고침하면 사라져요. 필요한 내용은 복사해 두세요.

   답과 해설 보기

   현재 이용할 지점에 적용되는 운영 안내와 적용 날짜를 확인해야 합니다. 링크가 열리는 사실만으로 시간의 근거가 되지 않습니다. 해당 자료를 못 찾으면 운영 시간을 확인하지 못했다고 남깁니다.

   해설을 읽고 이해했어요

   직접 비교한 표시이며 자동 채점은 아니에요.

1. 6

   직접 해 보기: 검토 기록 세 줄

   첫 수업의 메모와 완성된 안내문을 가져오세요. 날짜·시간·장소·준비물을 하나씩 연결하고, 연결되지 않는 주장에 표시합니다. 검토 기록은 “문제”, “근거”, “수정” 세 줄이면 됩니다. 예를 들어 “참가비 무료 / 메모에 없음 / 문구를 빼고 담당자 확인 목록에 추가”라고 적습니다.

   

   고친 안내문을 다시 읽고 문제가 해결됐는지 확인합니다. 수정하면서 날짜가 바뀌거나 준비물이 빠지지 않았는지도 살핍니다. 중요한 내용을 모두 대조하기 전에는 완료라고 표시하지 마세요. 실제 확인 시간이 짧을 수도 길 수도 있으므로 “3분이면 모든 검증이 끝난다” 같은 기준을 두지 않습니다.

   이 방법은 길어진 문서에도 그대로 적용할 수 있습니다. 다만 문서가 길고 결과의 영향이 클수록 확인할 양과 전문성이 달라집니다. 이해하지 못한 사실은 이해한 척 통과시키지 말고 확인할 사람과 남은 작업을 적어 둡니다. 초보 단계에서는 먼저 자신이 이해하는 작은 자료로 끝까지 검토해 보는 경험을 쌓으세요.