AI 전문 업무 평가 GDPx 공개…오퍼스 5.5 종합 12%로 선두

AI 에이전트에게 전문 업무를 맡기는 새 평가 GDPx에서 클로드 오퍼스 5.5가 종합 점수 12.0%로 선두에 올랐다. 반도체·AI 분석업체 세미애널리시스가 11월 2일 공개한 첫 버전은 14개 데이터 협력사와 만든 11개 분야, 206개 과제를 담았다. 제미나이 4 카본은 10.9%, GPT-6 아스트라는 9.6%를 기록했다. 모델을 도입하는 기업과 개발자는 종합 순위와 함께 실제 작업 환경에서 나온 결과를 비교할 수 있게 됐다.

평가는 칩 설계와 금융, 생물학 등 여러 단계의 행동이 필요한 일을 다룬다. 세미애널리시스는 과제당 기본 제한 시간을 8시간으로 두고 세 차례 시도한 결과를 집계했다고 설명했다. 분야마다 같은 가중치를 주며 과제에 따라 완수 여부 또는 부분 점수로 채점한다. 따라서 12%는 이 평가의 종합 지표로 읽어야 한다. 일부 단계까지 수행한 결과도 점수에 들어가므로 모든 과제의 단순 성공 건수와는 차이가 있다.

칩을 설계한 뒤 실제 검증 절차까지

칩 설계 협력사 아리아가 공개한 과제에서는 AI가 8시간 안에 소형 신경망 가속기의 회로와 배치를 만든다. 요구한 계산 결과를 정확히 내는지 확인하고, 신호 전달 시간과 배선·전력 조건도 통과해야 한다. 반복 설계가 가능하도록 학술용 45나노미터 공정을 사용했고, 16개 CPU에서 회로를 배치까지 바꾸는 데 약 10분이 걸리도록 구성했다.

공개 지시문은 기존 칩의 외부 연결과 입력별 계산 결과를 보존하도록 했다. AI에는 네트워크가 없는 컴퓨터와 설계 문서가 제공된다. 제출물은 회로 코드와 실제 배치 결과이며, 설계를 만든 뒤 검사하고 에너지를 측정하는 전체 검증 절차는 16개 CPU에서 100분 안에 끝나야 한다.

이 과제는 합성·기능 검사·물리 검증·시뮬레이션 중 한 단계라도 실패하면 0점을 준다. 통과한 설계는 에너지·처리 시간·면적을 곱한 값으로 기준 설계와 비교한다. 아리아에 따르면 오퍼스 5.5의 가장 높은 점수는 0.392였고, 해당 곱은 기준의 2.6배였다. 통과한 AI 설계 가운데 기준 설계의 에너지 효율에 도달한 것은 없었다.

거래 문서 대조와 학습 오류 진단

금융 분야의 공개 과제는 인수 대상 기업의 회계 검토표를 이어서 완성하는 일이다. GDPx의 과제 페이지에는 실제 사모펀드 거래를 바탕으로 만든 약 4,000개 파일의 복제 환경을 사용한다고 적혀 있다. AI는 2개 CPU와 메모리 8GiB가 있는 환경에서 8시간 동안 일하며, 이미 작성된 워크북의 정확한 항목을 유지하고 필요한 셀을 고친다.

제출물에는 최근 12개월의 이익 조정, 매달 말의 운전자본과 순부채를 같은 기준으로 맞춰야 한다. 기존 탭·열·행 이름과 단위·부호도 보존하고 각 수치의 근거를 메모에 남기도록 했다. 공개 실행 목록에서 오퍼스 5.5의 세 번 시도는 모두 0점이었다. 이 결과는 특정 거래·채점 조건에서 나온 값이다.

AI 학습 연구를 다루는 분야에는 성능이 오르지 않는 강화학습 실행 기록을 감사하는 과제가 공개됐다. AI는 남아 있는 학습 보상·평가 점수·실행 기록·과거 코드를 대조해 원인을 찾아야 한다. 공개 지시문은 사건의 시간 순서, 가설별 시험과 결과, 입증 가능한 결함을 문서로 제출하도록 요구한다.

이 과제의 제한 시간은 5시간이며 4개 CPU와 메모리 16GiB를 제공한다. 수리안에는 검증 결과를 붙이고, 해결했다고 말할 때는 실제 확인한 근거를 남기도록 했다. 공개 목록의 오퍼스 5.5 점수는 세 번에 각각 0.4, 0.2, 0.2였다. 회계 과제의 완수 여부와 달리 이 사례에는 부분 점수가 표시돼, 분야별 결과를 함께 볼 때 채점 방식의 차이도 드러난다.

세미애널리시스는 안전 필터가 작동하는 보안·생물학·정렬 분야를 제외하면 모델 순위도 바뀐다고 설명했다. 공개 순위에는 작업 수행 능력과 실행 도구, 안전 장치의 영향이 함께 들어간다.

구글의 순다르 피차이는 2일 공개 글에서 개선 여지가 남은 평가와 카본의 비용 결과를 긍정적으로 언급했다. 평가 사이트는 종합 점수 외에 분야별 비교와 과제 실행 기록도 제공한다. 세미애널리시스는 GDPx를 계속 갱신할 계획이며, 새 버전 공개 간격을 3~6개월로 제시했다.