코딩 에이전트 평가 322개로 확대…클로드 두 조합 58점

AI 모델 평가업체 아티피셜 애널리시스(Artificial Analysis)가 코딩 에이전트 순위표의 시험을 개편했다. 11월 14일 UTC 기준 공개된 코딩 에이전트 인덱스 2.1은 오픈소스 저장소 수정, 터미널 작업, 코드 이해를 합쳐 322개 과제로 평가한다. 이 가운데 실제 저장소의 코드 수정 과제는 100개에서 132개로 늘었다. 새 순위에서 클로드 코드로 실행한 클로드 페이블 5.2와 오퍼스 5.5는 지정된 추론 설정에서 각각 58점을 기록했다고 평가업체는 밝혔다.

이 순위표의 한 줄은 모델, 실행 도구, 추론 설정을 묶은 결과다. 예를 들어 개발팀이 같은 모델을 두고 추론 설정을 올릴지 검토할 때는 종합점수와 함께 과제당 시간과 API 비용도 비교할 수 있다. 2.1에서 시험이 바뀐 만큼 지난달에 저장한 2.0 점수에는 버전을 붙여야 성능 변화와 시험 구성의 변화를 구별할 수 있다.

실제 코드 수정과 터미널 작업을 따로 채점

교체된 프런티어코드-AA 2.0은 코그니션이 만든 시험을 아티피셜 애널리시스가 구현한 것이다. 결과물은 실제 오픈소스 저장소의 관리자가 그 변경을 받아들일 만한지 판단할 수 있도록 만든 과제별 기준으로 평가한다. 필수 기준을 빠뜨린 시도는 0점이다. 필수 기준을 모두 충족한 변경은 추가 기준을 얼마나 만족했는지에 따라 점수를 더 받는다. 평가에 쓰는 전체 과제는 비공개다.

코그니션은 자체 시험 2.0에서 이전보다 더 많은 저장소를 활용했고, 한 과제에서 수정해야 하는 코드 범위도 커지는 경향이 있었다고 설명했다. 평가 항목에는 코드가 요구한 기능을 하는지와 함께, 기존 설계의 제약 안에서 변경을 마쳤는지도 포함된다. 이 시험에서 점수를 받으려면 요청한 기능뿐 아니라 그 저장소에 받아들일 수 있는 변경을 제출해야 한다.

터미널 벤치 4.1은 예전의 66개 과제와 작업 환경을 그대로 사용한다. 바뀐 것은 에이전트가 남긴 결과를 검사하는 채점 도구다. 개발진은 FreeCAD 과제에서 같은 치수의 부품을 다른 기본 도형으로 구성하면 오답으로 처리하던 검사를 고쳤다. 아티피셜 애널리시스는 이전 시험의 저장 결과물을 다시 채점하되, 새 검사로 채점할 수 없거나 검사 도구의 실행 편차에서 차이가 생긴 경우에는 기존 점수를 유지한다.

세 번째 시험인 SWE-Atlas-QnA-AA는 코드가 어떻게 동작하는지 찾아 설명하는 124개 과제를 담는다. 저장소 파일을 바꾼 시도는 이 시험에서 실패로 처리된다. 각 과제는 세 번의 시도 결과를 평균한다. 종합점수를 낼 때는 영역마다 과제 수가 달라도 세 시험의 비중을 각각 3분의 1로 둔다. 종합점수 두 개가 가까워도 저장소 수정과 터미널 작업에서 강한 정도는 다를 수 있다.

페이블 5.2는 추론 설정에 따라 점수와 비용이 달랐다

아티피셜 애널리시스는 클로드 코드에서 페이블 5.2를 ‘높음’과 ‘매우 높음’ 설정으로 실행했을 때 종합점수가 모두 58점이었다고 발표했다. ‘최대’ 설정에서는 시간 제한에 걸린 시도가 늘며 56점이 나왔다. 오퍼스 5.5는 클로드 코드의 ‘최대’ 설정에서 58점이었다. 코그니션의 데빈 퓨전 CLI에서 GPT-6 루나와 오퍼스 5.5를 함께 사용한 조합도 발표에서 58점으로 표시됐다.

평가업체가 발표에서 제시한 과제당 API 비용은 종합점수 48점 이상 조합에서 1.51달러부터 44.22달러까지였다. 낮은 쪽은 코덱스에서 GPT-6.1 솔을 ‘최대’로 실행한 조합으로 52점을 기록했다. 높은 쪽은 클로드 코드에서 페이블 5.2를 ‘최대’로 실행한 조합이었다. 이 금액은 시험의 토큰 사용량에서 산출한 평균이며 코덱스나 클로드 코드 구독료를 뜻하지 않는다.

서로 다른 버전의 점수를 읽는 법

평가업체는 이번에 비용 산식도 바꿨다. 모델 제공업체가 보고한 토큰 수에 그 모델의 통상적인 프롬프트 캐시 적중률을 따로 측정해 반영한다. 캐시는 앞서 처리한 입력 일부를 재사용하므로, 같은 모델과 도구를 골라도 입력을 얼마나 되쓰는지에 따라 실제 비용은 달라진다. 순위표에 함께 표시되는 작업 시간도 해당 설정의 시험 평균이다.

업체는 이전 버전과 겹치는 조합을 비교했을 때 종합점수가 평균 5점 낮아졌으며, 주된 변화는 프런티어코드-AA 2.0에서 나왔다고 설명했다. 2.0과 2.1에는 다른 코드 수정 과제와 다른 터미널 채점 기준이 들어간다. 순위표에는 종합점수 옆에 구성 시험별 점수가 표시된다. 수치가 비슷한 두 조합도 코드 수정과 코드 설명처럼 서로 다른 업무에선 다른 결과를 낼 수 있다.