제미나이 4 카본, 매스아레나 1위…문제당 예상 비용 15.70달러

수학 추론 평가 매스아레나가 11월 13일 구글의 제미나이 4 카본과 앤트로픽의 클로드 페이블 5.2 결과를 추가했다. 카본은 ‘높음’ 추론 설정에서 종합 예상 성적 85.4%로 1위에 올랐다. 페이블 5.2는 82.8%로 2위, 업데이트 전 선두였던 오픈AI의 GPT-6.1 솔은 80.6%로 3위다. 페이블과 솔은 각각 ‘최대’ 추론 설정에서 측정됐다. 모델 출시일은 카본이 11월 10일, 페이블 5.2가 11월 9일이다.

같은 표에서 문제 하나를 한 번 실행하는 예상 비용은 카본 15.70달러, 솔 1.07달러다. 카본의 성적 추정치는 솔보다 4.8%포인트 높았고 비용 추정치는 약 14.7배였다. 수학 연구에 모델을 쓰는 팀은 순위와 함께 비용 차이를 확인할 수 있다. 세 모델이 모두 응시한 시험을 따로 보면 종합 순위보다 좁은 조건에서 비용과 성적을 비교할 수 있다.

아직 풀지 않은 문제의 점수도 들어간다

매스아레나는 최근 수학 경시대회·올림피아드 문제와 연구 수준의 문제를 모아 평가한다. 평가팀은 문제마다 모델을 네 번 실행하고, 기록이 있는 문항에서는 그 실행들의 평균을 사용한다. 종합 성적에는 현재 집계하는 시험의 각 문항에 같은 비중을 준다. 틀려서 받은 0점과 부분점수도 반영한다.

모델에 따라 치른 시험이 다르다. 카본의 결과 페이지에는 논문에서 가져온 연구 문제와 증명 평가 기록이 있고, 솔에는 카본이 치르지 않은 회차의 결과도 있다. 매스아레나는 빈칸을 채울 때 다른 문항에서 확인한 모델의 능력과 그 문항의 난이도를 통계적으로 추정한다. 표에 표시된 카본의 성적 구간은 85.4%에서 ±3.0%포인트, 솔은 80.6%에서 ±2.7%포인트다. 두 구간은 일부 겹친다.

비용도 관측값과 추정값을 섞어 계산한다. 운영팀은 현재 평가 중인 시험 가운데 프로젝트 오일러를 제외하고, 결과가 있는 시험에서는 모델별 문항당 비용을 사용한다. 비용 기록이 없는 시험은 그 모델의 다른 결과와 해당 시험의 전반적인 비용 수준을 바탕으로 추정한다. 시험별 문항 수를 반영해 평균을 낸 값이 표의 15.70달러와 1.07달러다. 토큰 100만 개당 단가나 여러 차례 재시도한 합계와 단위가 다르다.

틀린 명제를 증명하라고 했을 때

브로큰아카이브(BrokenArXiv)는 그중 모델의 검증 판단을 보는 시험이다. 평가팀은 최근 논문에서 이미 반박된 추측 등을 바탕으로 그럴듯하지만 거짓인 명제를 만든다. 모델에는 명제가 참인지 알려주지 않고 증명을 요청한다. 모델이 잘못된 명제를 참이라고 주장하면 0점을 받고, 명제의 오류를 명시적으로 짚으면 기본 채점에서 3점을 받는다. 가정을 몰래 고쳐 다른 명제를 증명하거나, 증명을 끝내지 못했다고 밝히는 경우에는 대응 방식에 따라 부분점수를 줄 수 있다.

같은 10월 브로큰아카이브 문항에서 카본은 82.72%, 솔은 80.25%, 페이블은 73.46%를 얻었다. 한 문제를 한 번 실행한 평균 비용은 각각 18.06달러, 1.30달러, 39.78달러였다. 이 회차에서는 카본과 솔의 점수 차가 2.47%포인트였고, 카본은 한 번 실행할 때 솔의 약 13.9배를 썼다. 9월판에서는 솔이 82.70%, 카본이 82.39%로 순서가 달랐다.

같은 모델도 시험 환경과 계산량에 따라 달라진다

매스아레나는 이 연구 문제를 풀 때 모델에 맞는 실행 도구와 과학 계산 라이브러리를 쓸 수 있게 했다. 카본과 솔의 결과 페이지에 적힌 기본 출력 단가는 둘 다 100만 토큰당 10달러다. 10월 브로큰아카이브의 문항당 출력 토큰 기록은 카본 56만3,757개, 솔 8만9,623개였다. 두 모델의 기본 단가가 같은데도 문제당 지출이 달라지는 이유 중 하나다. 이 비용에는 해당 시험의 실행 방식과 사용량이 반영됐다.

카본이 참여한 9월 아카이브린(ArXivLean)은 수학 명제의 형식 증명을 다룬다. 이 시험에서 카본은 62.26%, 솔은 35.85%였고, 문제당 평균 비용은 각각 45.11달러와 1.16달러였다. 시험을 고르면 두 모델의 점수 차이와 비용 차이가 함께 바뀐다. 같은 두 모델을 놓고도 어떤 수학 작업을 맡기느냐에 따라 달라진 결과다.

카본의 공개 기록에서 브로큰아카이브는 8·9·10월 세 회차, 아카이브린은 9월 한 회차가 확인된다. 종합 수치의 범위와 별도로, 시험별 상세 페이지에는 어느 회차를 풀었는지와 해당 문항에서 실제로 나온 답변이 남아 있다.