AI는 질문에 답하고도 목표를 놓친다…XY벤치서 5종 평가

앨런 AI 연구소(Ai2)가 11월 13일 사용자가 잘못된 해결 방법을 전제로 질문했을 때 언어 모델이 실제 목표를 파악하는지 평가하는 ‘XY벤치’ 자료 공개를 발표했다. 연구진이 스택 오버플로 질문으로 시험한 모델 5종은 답변을 직접 쓸 때 35~41%만 사용자의 본래 목표에 초점을 맞췄다. 같은 질문 모음에서 커뮤니티가 가장 높은 점수를 준 사람 답변은 55%가 목표에 초점을 맞췄다.

연구진은 컵케이크에서 아이싱이 흘러내리자 더 되직하게 만드는 방법을 묻는 사례를 들었다. 케이크의 온도가 원인이라면 되직한 아이싱을 만드는 법을 자세히 설명해도 문제는 남을 수 있다. 평가에서는 ‘아이싱을 되직하게 만들기’와 ‘컵케이크에 아이싱이 붙게 하기’를 따로 기록한다. AI 도우미를 평가하는 팀은 사용자가 지정한 방법과 그 방법으로 달성하려던 결과를 구분해, 답변이 어느 쪽에 집중하는지 확인할 수 있다.

대안을 한 줄 넣어도 답변의 중심은 다를 수 있다

논문은 질문 8,115건을 평가에 사용했다고 밝혔다. 개발자 질의응답 사이트인 스택 오버플로에서 1,557건, 다른 분야의 스택 익스체인지 사이트에서 184건을 가져왔다. 연구진이 따로 고른 102건에는 요리, 수리, 바느질처럼 일상적인 소재가 들어갔다. 가장 큰 묶음은 위키하우 안내문을 바탕으로 실제 작업 중에 생길 만한 실수를 설정해 만든 합성 질문이었다. 합성 질문에는 비교용 사람 답변을 붙이지 않았다.

논문이 든 개발 사례는 정규표현식으로 XML 문서에서 데이터를 뽑으려는 요청이다. 정규표현식은 특정 문자 배열을 찾는 방법이다. XML처럼 요소 안에 또 다른 요소가 들어갈 수 있는 문서라면, 문서 구조를 읽는 분석기를 제안할 수 있다. 평가에서는 처음 요청한 방법과 실제 목표에 맞는 해법이 각각 등장했는지, 답변이 어디에 무게를 뒀는지, 처음 방법이 목표에 어긋난다는 점을 짚었는지를 따로 봤다.

스택 오버플로에서 GPT-5는 사용자 목표에 맞는 해결책을 답변의 71%에서 한 번 이상 제시했다. 최고점 사람 답변의 67%보다 높은 비율이다. 그러나 목표를 답변의 중심에 둔 비율은 GPT-5가 41%, 최고점 사람 답변은 55%였다. 첫 수치는 답변 어디에든 대안이 있는지를 세고, 다음 수치는 답변 전체가 그 대안을 중심으로 구성됐는지 판단한다. 해결책이 포함됐다는 지표만 보면 이런 차이는 드러나지 않는다.

고르는 시험과 직접 쓰는 시험

별도의 객관식 실험에서는 같은 다섯 모델에 GPT-4.1을 더했다. 연구진은 질문과 함께, 원래 요청에 답한 글과, 잘못된 전제를 짚고 목표에 맞는 방법을 제시한 글을 각각 보여 줬다. 두 답변의 길이는 비슷하게 맞추고 제시 순서를 섞었다. 스택 오버플로 문항에서 모델별로 두 번째 유형을 고른 비율은 71~84%였다. 앞서 다섯 모델이 직접 쓴 답변에서 목표에 집중한 35~41%와는 응답 방식과 참여 모델 수가 다르다.

자유 응답은 클로드 소넷 4.5가 채점했다. 연구진 두 명이 답변 500개를 독립적으로 다시 평가한 결과, 사람과 자동 채점의 일치율은 해법을 언급했는지 판정할 때 97.5~100%였고, 어느 쪽이 답변의 중심인지 판단할 때는 74.2~79.8%였다. 답변의 구성과 우선순위는 해법을 한 번이라도 제시했는지보다 판단 차이가 컸다. 연구진은 한 번의 질문에 한 번 답하는 조건을 사용했다.

논문 초고는 9월 아카이브에 제출됐고 학회 논문집은 10월로 표기됐다. 자연어처리 학회 EMNLP의 공식 수상 목록에는 이 논문이 최우수 연구자원 논문으로 올라 있다. 11월 13일 Ai2 발표에는 연구 논문과 함께 평가 코드와 데이터 카드로 가는 링크가 있다. 실험 문항은 영어이며 주로 절차를 묻는 질문이다. 한국어 대화나 여러 차례에 걸쳐 추가 질문을 주고받는 상황의 성능은 이 수치로 판단하기 어렵다.

연구에 사용한 문항 수와 현재 내려받기 안내의 수에는 차이가 있다. 논문 표의 위키하우 기반 문항은 6,272건이지만, 공개 데이터 카드와 코드 저장소의 표에는 6,268건으로 나온다. 나머지 세 묶음의 표기 건수는 일치한다. 데이터 카드의 네 묶음을 합하면 8,111건이며, 공개 문서는 여기서 생긴 4건 차이의 이유를 설명하지 않는다.

자료를 받는 조건도 두 문서가 다르게 적었다. 논문 부록은 데이터에 CC BY 4.0 적용을 예고했으나 현재 허깅페이스 데이터 카드는 저작자표시·비영리·동일조건변경허락인 CC BY-NC-SA 3.0을 표시한다. 데이터 파일을 열려면 계정으로 접속해 정보 공유 조건에 동의해야 한다. 공개 평가 코드는 별도 저장소에서 아파치 2.0으로 제공된다.