아스트라가 큐원 반복 추론 줄였다…수학 평가 7.9→48.1%

MIT 컴퓨터과학·인공지능연구소(CSAIL) 연구진이 GPT-6 아스트라로 큐원3.5-0.8B의 가중치 일부를 직접 고쳐 수학 평가 점수를 높인 실험을 11월 2일 공개했다. MATH-500 점수는 같은 생성 설정에서 7.9%에서 48.1%로 올랐다. 모델 내부에서 계산을 정하는 수치인 가중치를 읽고 바꾸되, 경사하강법을 이용한 재학습은 금지한 실험이다.

리키야 다케히·제이든 테오·알렉스 장·오마르 카타브 연구팀은 개선 원인을 반복 추론의 해소로 설명했다. 원래 모델은 같은 생각을 되풀이하다 답을 끝내지 못하는 경우가 많았다. 연구팀은 수정된 모델과 변경 내역을 함께 공개해, 다른 개발자도 원본과 어떤 부분이 달라졌는지 대조할 수 있게 했다.

아스트라에는 가중치를 다루는 파이썬 작업 공간과 연습 문제가 주어졌다. 첫 요청에는 반복하다 답을 끝내지 못하는 원인을 고치는 것도 목표에 해당한다는 안내가 들어 있었다. 분석 공간은 CPU만 사용하며 인터넷 접속을 막았다. 연습 자료와 최종 시험 자료를 분리하고, 수정할 모델을 실제로 돌려 결과를 확인하는 전방 계산의 횟수를 각각 10·25·50회로 제한했다. 한 번에 여러 문제나 문장을 처리할 수 있어, 이 횟수는 문제 수와 다르다.

50회 조건의 작업 기록에는 대화 158차례와 파이썬 실행 80회가 남았다. 처음부터 마지막까지 걸린 시간은 20.3시간이며, 여기에는 모델에 연결되지 않아 기다린 4.7시간도 포함된다. 세 조건은 서로 별개의 수정 작업으로 진행됐고 마지막에 고른 변경 내용도 달랐다.

10회 조건의 MATH-500은 12.3%, 25회 조건은 14.1%였다. 가장 크게 개선된 50회 조건에서는 GSM8K가 13.8%에서 67.1%, 지시 이행 평가 IFEval이 21.0%에서 62.3%로 올랐다. MATH-500 답변이 최대 길이에 걸려 끊기는 비율은 원본 93.0%에서 수정본 33.1%로 줄었다. 수학 이외의 지시 이행에서도 같은 반복 문제가 영향을 줬다는 연구팀의 해석과 연결되는 결과다.

반복을 줄인 수정과 시험 조건

평가는 추론 모드를 켜고 답변당 최대 32,768토큰을 허용한 조건이다. 생성 무작위성 설정과 반복 억제 설정도 원본·수정본에 같게 적용했다. MATH-500은 500문제에 각각 네 번 답하게 해 전체 응답의 평균 정답률을 냈다. 한 문제에서 가장 좋은 답만 고른 점수가 아니다.

반복이 적은 젬마3 270M을 대상으로 한 후속 실험에서는 비슷한 개선이 나오지 않았다. 원본의 MATH-500은 6.8%, 수정본은 조건에 따라 7.0~7.7%였다. 젬마에는 추론 모드를 끄고 최대 8,192토큰을 쓰는 별도 평가 조건을 적용했다. 연구팀은 반복 장애를 없애 기존에 풀 수 있던 답을 마치게 하는 것과 새로운 수학 능력을 더하는 일을 구분했다.

공개된 수정 모델의 설명에는 별도 재평가도 실렸다. 허깅페이스의 아센 칼리크가 모델을 재구성해 MATH-500 전체 500문제에서 2,000개 응답을 생성한 결과, 정답률은 51.0%였다. 최대 길이에 걸린 응답은 31.6%였다. 같은 기록의 원본 점검은 25문제만 사용했으므로, 원본과 수정본을 모두 전체 시험으로 다시 비교한 결과와는 범위가 다르다.

가중치 변경은 두 층에서 반복을 만드는 방향을 빼는 방식이었다. 연구팀이 수정 대상으로 잡은 값은 131,072개로 약 0.016%다. 평가에 쓰는 수치 형식으로 반올림한 뒤 실제 원본과 다른 값은 130,188개라고 공개 기록은 명시한다. 배포 모델은 원래 실험의 텍스트 전용 모델과 달리 전체 멀티모달 구성을 담았으며, 언어 모델 부분의 수치는 해시로 대조했다고 설명했다.

재구성 코드는 원본 가중치와 변경 파일을 합친 뒤, 수정한 각 수치 배열의 SHA-256을 평가에 사용한 모델의 해시와 비교한다. 값이 맞지 않으면 중단하도록 작성됐다. 코드에는 변경 전 원본 배열의 해시도 확인하는 단계가 있어, 수정 대상으로 지정된 원본인지 먼저 검사한다. 이 절차는 공개 코드에 적힌 검사다.

공개 저장소에는 연구자가 보낸 요청, 모델의 응답, 실행 코드와 출력, 평가 기록이 포함됐다. 다만 본문에 보고한 실행을 공개한 것이며, 앞선 요청 문구의 시험 실행과 일부 중간 파일은 제외했다고 연구팀은 밝혔다. 공개 자료는 결과가 만들어진 경로와 제외 범위를 함께 제시한다.

이번 발표는 연구진의 블로그와 실험 기록 형태로 공개됐다. 연구팀은 가중치를 읽고 수정하는 능력을 같은 기준으로 비교할 벤치마크와 실행 도구를 만들고 있다고 밝혔다.