AI 순위표 시험 바뀌었다…비공개 평가 60%, 오퍼스 5.5 선두

AI 모델 순위표의 시험이 바뀌었다. 평가기관 아티피셜 애널리시스(Artificial Analysis)는 10월 27일 지능 지수 v5를 공개했다. 점수의 60%는 비공개 시험 세트나 정답을 별도 보관한 평가에 기반한다. 추론 강도 max 기준 클로드 오퍼스 5.5가 58점으로 선두, GPT-6 아스트라가 57점이다.

새 지수는 지식 업무·코딩·과학·일반 능력에 각각 25%의 비중을 두고 9개 평가를 합친다. 문서를 만들어 제출하는 업무, 소프트웨어 수정, 연구 작업처럼 결과물을 확인하는 과제와 지식·추론 문항이 함께 들어간다. 모델을 고를 때 보던 종합점수에 각 작업의 결과가 이 비중으로 반영된다.

Kimi K3.1 Pro는 46점이다. 기관은 이를 공개형 모델 선두로 분류했지만, 당시 가중치는 공개 전이었다. 가중치를 공개한 모델에서는 딥시크 V4.1 Flash 1017과 GLM-5.3이 max 설정에서 각각 반올림한 32점으로 가장 높았다. 내려받을 수 있는 모델과 공개 예정 모델의 집계가 함께 제시됐다.

고친 코드가 프로젝트에 맞는지도 평가

새로 편입된 코딩 평가 FrontierCode 2.0은 저장소 관리자가 수정안을 받아들일 만한지를 본다. 개발사 코그니션은 사용자가 짧게 설명한 요구를 이해하고, 기존 코드의 관례와 설계를 지키며 수정하는 능력을 평가한다고 밝혔다. 보안 패치와 성능 최적화 등으로 문제의 범위도 넓혔다.

코드가 실행돼도 필수 평가 조건을 하나라도 어기면 해당 시도는 0점이다. 예컨대 한 경로의 버그를 고칠 때 같은 문제가 있는 다른 경로까지 처리하는지를 본다. 코그니션은 감사 과정에서 기준 답안도 다시 살폈으며, 새 과제의 80%에서 기준 답안이 원래 공개 저장소의 수정안과 달라졌다고 설명했다. 채점은 기존 기능 유지와 수정의 완결성까지 다룬다.

2.0이 계승한 채점 방식은 6월 8일 공개한 원래 방법론에 설명돼 있다. AI가 작성한 테스트를 버그가 남아 있는 원본 코드에도 실행해, 실제로 문제를 잡아내는지를 검사한다. 코드의 읽기 쉬움과 설계 관례는 언어 모델의 검토도 활용한다. 실행 결과와 사람이 정한 품질 기준을 함께 평가하는 방식이다.

과학 분야에는 연구자가 실제 수행하는 흐름을 시험하는 Terminal-Bench-Science가 들어왔다. 스탠퍼드 연구진과 분야별 전문가들이 만든 0.1 버전은 8월 27일 공개된 것으로, 이번 변경으로 지수에 편입됐다. 생명·물리·지구·수학·공학에 걸친 70개 과제에서 분석·시뮬레이션·증명·코드 같은 산출물을 검증한다.

과제에는 센서 보정과 신호 처리, 통계 추론, 자료에 맞춰 모델을 조정하는 작업이 포함된다. 연구자가 제안한 작업은 분야 검토와 구현·검증 방식 검토를 거친다. 첫 버전은 920개 제안에서 70개 과제를 추렸다. 개발팀은 연구 현장에 맞으면서 객관적으로 검사할 수 있는 문제를 고르는 데 중점을 뒀다고 밝혔다. 분야 검토자는 과학적 타당성과 실제성을 살피고, 기술 검토자는 과제 구성과 검사 방식을 확인한다. 최종 품질 심사를 거쳐야 과제로 채택한다. 작업을 제안한 연구자와 검토자가 공개 저장소에서 의견을 주고받으며 문제를 다듬는 절차다.

아티피셜 애널리시스의 지능 지수는 주로 영어 텍스트를 평가한다. 이미지 입력·음성 입력·다국어 능력은 별도로 측정하며 종합점수에 포함하지 않는다. 방법론은 각 평가의 과제 수와 반복 횟수, 도구 사용 여부도 공개한다. 과학 작업처럼 명령을 실행하는 시험과 한 번의 답변을 채점하는 시험에는 서로 다른 검증 절차가 적용된다.

기관은 같은 날 장기간의 성능 변화를 비교하는 Progress Index v1도 내놨다. 지능 지수는 모델이 풀기 쉬워진 시험을 빼고 새 시험을 넣으며 구성이 달라진다. 따라서 기관은 서로 다른 버전의 지능 지수 점수를 장기 추세 비교용으로 쓰도록 설계하지 않았다고 설명한다.

새 추세 지수는 모델 능력과 과제 난도를 함께 추정한다. 시기가 다른 모델도 공통 과제를 연결고리로 한 척도에 놓는다. 최소 4개 평가 결과가 있는 모델부터 계산에 포함한다. 기관은 현재 모델 비교에는 지능 지수, 여러 해의 변화 분석에는 추세 지수를 쓰도록 용도를 정했다.