클로드, 큐원 가중치 고쳐 수학 정답률 58.1%
편집·검토: AI Ping 편집팀
3줄 요약
- 새 가중치 편집 실험에서 클로드 오푸스 5.5가 큐원3.5-0.8B의 MATH-500 정답률을 6.7%에서 최대 58.1%로 높였다.
- 수정 뒤에는 같은 출력 상한에 닿는 응답이 줄었다. 클로드는 다음에 나올 말과 추론을 끝낼 확률에 영향을 주는 부분을 바꿨다.
- 같은 연구에서 반복이 드문 젬마3에 가한 수정은 정답률을 높이지 못했다.
클로드 오푸스 5.5가 알리바바의 소형 언어모델 큐원3.5-0.8B의 가중치를 고쳐 수학 문제 정답률을 6.7%에서 최대 58.1%로 높였다는 후속 연구가 17일 학술 사전공개 사이트 아카이브(arXiv)의 신규 목록에 올라왔다. TCG 크레스트의 수브함 쿤두는 이달 초 매사추세츠공대(MIT) 연구진이 GPT-6 아스트라로 보고한 결과를 다른 모델과 별도의 실험으로 검증했다. 쿤두는 16일 자신의 공개 연구 기록에도 큐원 실험을 추가했다.
가중치는 신경망의 입력을 응답으로 바꾸는 계산에 쓰이는 숫자다. 두 연구는 모델을 다시 학습시키는 대신 가중치 일부를 직접 바꾸고, 같은 수학 시험에서 수정 전후를 비교했다. 모델의 답변이 반복되거나 끝맺지 못할 때는 정답률만으로 실패 이유를 알기 어렵다. 이번 실험은 문항을 다 푼 경우의 정확도와 답변 생성 한도를 소진한 비율을 함께 제시했다.
정답률을 끌어올린 답변 종료
연구는 MATH-500의 500문항마다 네 개의 답변을 생성해 평가했다. 수정하지 않은 큐원은 응답의 93.3%가 출력 상한인 3만2,768토큰에 도달했다. 끝까지 생성한 답변은 모두 맞았다. 가장 많이 연습한 실험에서 가중치를 바꾼 뒤 같은 상한에 닿은 비율은 32.7%로 줄었다. 결과표의 낮은 출발점은 그 설정에서 큐원이 답변을 끝내는 데 겪는 문제를 드러낸다.
클로드는 평가 문항과 별도의 연습 문제로 수정 전후 모델을 시험했다. 연습에 쓸 수 있는 실행 기회를 세 수준으로 정해, 각각 원본에서 시작해 한 차례씩 실험했다. 가장 큰 한도는 64문항을 한 묶음으로 세어 50묶음이었다. 세 조건의 최종 정답률은 51.4%, 55.2%, 58.1%였다. 각 정답률은 한 편집을 평가한 값이다.
MIT의 아스트라 실험은 내부 계산에서 반복과 관련된 신호를 약화했다. 당시 MATH-500은 7.9%에서 48.1%로 올랐다. 클로드는 마지막 계산 단계에서 다음에 나올 말의 확률을 바꾸고, 추론을 끝내는 신호에 더 높은 확률을 주는 쪽을 택했다. 두 연구에서 원본을 실행한 난수 시드는 달랐으며, 추론 모드와 시험 문항, 출력 한도 등은 후속 실험에서 맞췄다.
쿤두는 말의 선택 폭만 넓히는 효과를 따로 재는 대조 실험도 했다. 이 조건의 정답률은 20.9~22.1%였다. 큐원 개발팀의 공식 모델 카드도 추론할 때 사용하는 말 선택 설정과 출력 길이가 평가 결과에 영향을 줄 수 있다고 안내한다. 카드가 글 중심 추론 작업에 제시한 온도는 1.0이고, 두 연구가 큐원을 비교한 조건의 온도는 0.6이었다. 온도는 다음에 생성할 말 후보의 확률 차이를 조정하는 값이다. 모델 카드는 고난도 수학·코딩 평가에서는 최대 8만1,920토큰도 권한다.
앞서 네이선 배리는 9일 공개한 별도 실험에서 아스트라가 찾은 내부 신호를 출발점으로 삼고, 수학적 최적화로 수정할 가중치를 골랐다. 그의 동일 시험에서 MATH-500 정답률은 원본 7.0%, 아스트라 편집본 50.9%, 최적화 편집본 51.7%였다. 같은 반복 문제를 고친 별개의 실험으로, 클로드와 아스트라의 성능 순위를 매기는 비교와는 조건이 다르다.
게임을 하는 신경망과 게임 규칙을 읽는 일
영국 앨런 튜링 연구소의 별도 후속 작업은 숫자를 고치는 대신 처음부터 써 넣는 실험을 다뤘다. 기존 연구소 자료를 바탕으로 16일 제출한 논문에서, 연구팀은 GPT-6 아스트라가 만든 소형 신경망 세 개의 벽돌깨기 점수를 각각 514점, 550점, 307점으로 보고했다. MIT가 공개한 한 차례 결과는 517점이었다. 아스트라가 작성한 숫자로 구성한 별도 신경망이 경기에서 직접 움직였다.
튜링 연구팀은 이 신경망의 동작을 코드로 되살린 뒤 게임 상태 4만9,189개에 대입했다. 비교한 상태에서는 코드가 고른 움직임이 신경망과 모두 같았다. 공이 떨어질 자리를 예상해 받침대를 옮기는 전략이었다. 반면 손글씨 숫자 분류에서 아스트라가 작성한 신경망의 평균 정답률은 49.6%였고, 숫자별 평균 이미지를 기준으로 삼는 비교 방식은 82.0%를 기록했다.
이미 만들어진 신경망의 숫자를 보여 주고 게임 이름을 알아맞히는 시험도 했다. 두 모델은 익숙한 게임의 신경망 12개에서 각각 게임 이름을 맞혔다. 연구팀이 따로 구성한 게임 세 개에서는 아스트라가 게임판 일부의 배치를 짚었지만, 그 안에서 어떤 조작이 어떤 결과를 내는지는 대체로 놓쳤다. 연구진이 첫 번째 계산 층의 가중치를 그림으로 펼쳤을 때는 사람도 일부 물체의 배치를 볼 수 있었다.
클로드 연구는 큐원과 달리 같은 상황에서 반복이 드문 구글의 소형 모델 젬마3 270M도 대조군으로 시험했다. 보고된 정답률 차이는 수정 전보다 0.8%포인트 낮았고, 통계적 오차 범위에는 차이가 없을 가능성도 포함됐다. 연구자가 16일 제출한 논문의 결론은 시험한 두 언어모델 중 반복으로 끝맺지 못하던 큐원에서 개선이 확인됐다는 데 범위를 뒀다.
출처
- 클로드 가중치 편집 재현 논문 · Same Fix, Different Weights — Subham Kundu · arXiv
- 연구 기록과 큐원 실험 · Can Claude Read Neural Network Weights? — Subham Kundu
- 아스트라의 초기 가중치 실험 · Sparks of Weight-Space Programming — MIT CSAIL researchers
- 큐원3.5-0.8B 모델 카드 · Qwen3.5-0.8B model card — Qwen Team
- 별도 선형 최적화 실험 · Can a Linear Program Do Weight-Space Programming? — Nathan Barry
- 게임과 손글씨 가중치 실험 · Replicating and Extending Weight-Space Programming — The Alan Turing Institute researchers · arXiv
- 신경망 가중치 읽기·쓰기 연구소 공개본 · Institute working note on reading and writing weights — The Alan Turing Institute
