일본 금융시험으로 AI 12종 평가…도구 허용하자 격차 12.4→4.4점
편집·검토: AI Ping 편집팀
3줄 요약
- 사카나 AI가 2026년 일본 금융 자격시험 6종에서 321개 항목을 구성해 언어모델 12종을 평가했다.
- 가중치를 공개하지 않은 모델과 가중치 공개 모델의 최고점 격차는 도구 없이 12.4점, 웹과 터미널을 허용하자 4.4점이었다.
- 세무사 시험은 도구 없이 풀었을 때 최고점이 79.4점이었다. 연구진은 사용한 데이터와 평가 코드를 공개했다.
일본의 사카나 AI가 세무사·공인회계사 등 일본 금융 자격시험 문제로 언어모델 12종을 비교하는 ‘JFinBench’를 11월 17일 공식 블로그에서 공개했다. 2026년 시험 6종에서 뽑은 321개 채점 단위로 시험한 결과, 도구 없이 풀었을 때 가중치를 공개하지 않은 모델 최고점과 가중치 공개 모델 최고점의 차이는 12.4점이었다. 웹과 터미널을 허용한 조건에서는 이 차이가 4.4점으로 줄었다.
이 비교는 일본 세법이나 회계 규정을 다루는 모델을 고를 때 모델 자체의 답변과 자료를 조회할 수 있는 환경의 답변을 따로 볼 수 있게 한다. 도구 없이 가장 높은 점수를 받은 모델은 클로드 페이블 5였고, 도구를 쓴 조건에서는 GPT-6 아스트라가 선두에 올랐다. 문항은 시험 당시의 법령과 기준으로 채점됐다.
도구 없이 풀 때 세무사 시험의 최고점은 79.4점
평가에는 공인회계사 단답형 시험과 세무사 시험, 재무설계 기능검정, 금융 창구 서비스 기능검정, 두 종류의 부기 검정이 들어갔다. 원래 시험 문제 267개를 따로 점수를 매길 수 있는 321개 단위로 나눴다. 193개는 선택형이다. 나머지 128개는 용어나 금액을 직접 적는 단답형, 여러 칸을 채우는 양식, 논술형 등이며, 일부에는 그림이 붙었다.
시험별 점수에 같은 비중을 줬기 때문에 문제 수가 많은 시험 하나가 종합 점수를 좌우하지 않는다. 연구진은 세법과 회계 기준이 개정되면 같은 문제의 답이 달라질 수 있다는 점을 반영해, 풀이 지시문에 시험일과 법령 적용 기준일을 넣었다. 숫자를 적는 문제와 글로 설명하는 문제에는 답의 동등성이나 핵심 내용의 포함 여부를 보는 채점 방식도 썼다.
외부 자료 없이 각 모델의 가장 높은 추론 설정으로 평가한 종합 점수는 클로드 페이블 5가 95.8점, GPT-6 아스트라가 93.6점이었다. 가중치 공개 모델 중에서는 키미 K3.1 프로가 83.4점으로 앞섰다. 세무사 시험으로 범위를 좁히면 클로드 페이블 5의 79.4점이 전체 최고였고 키미 K3.1 프로는 48.1점을 기록했다. 같은 모델도 어느 시험을 보느냐에 따라 종합 점수보다 차이가 커졌다.
연구진은 같은 시험에서 모델을 구동하는 비용도 비교했다. 도구 없이 문제 하나를 푸는 데 드는 API 비용은 클로드 페이블 5가 평균 0.555달러, GPT-6 아스트라가 0.248달러, 키미 K3.1 프로가 0.145달러였다. 시험에서 사용한 입력·출력 토큰을 해당 목록 가격으로 계산했고 채점에 든 비용은 제외했다. 이 수치로 동일한 문제 구성에서 점수 차이와 풀이 비용을 나란히 볼 수 있다.
검색과 계산을 허용하자 12종 모두 점수가 올랐다
두 번째 조건에서는 응답을 내기 전 웹에서 자료를 읽거나 터미널에서 계산할 수 있었다. 연구진은 모델마다 여러 실행 환경을 비교해 가장 높은 결과를 공개했다. 이 조건에서 GPT-6 아스트라는 97.3점, 키미 K3.1 프로는 92.9점을 받았다. 클로드 페이블 5도 96.4점으로 올랐다. 양쪽 모델군의 최고점이 모두 상승하면서 격차가 좁아졌다.
연구진이 오답의 원인을 분류한 결과, 전체적으로는 문제를 푸는 데 필요한 일본 제도의 지식이 부족한 경우가 가장 많았다. 법 조항의 취지는 설명하면서도 조항이 요구하는 조건 일부를 빠뜨린 답이 대표적이었다. 공통 실행 환경을 사용한 시험에서는 전체 시도의 67%에서 웹페이지를 가져왔다. 가장 자주 접근한 곳은 일본 정부의 법령 검색 사이트였다.
도구를 쓴 표의 수치에는 모델별로 고른 실행 환경의 영향도 담겼다. 연구진은 각 환경에서 3회 실행한 평균으로 비교했다. 시험 문제에 대한 답은 실제 고객 문서와 조직별 업무 절차를 포함하는 금융 서비스의 평가와 범위가 다르다.
연구자가 원본과 대조한 321개 문항
연구팀은 각 기관이 공개한 시험 PDF의 표·양식·그림을 평가에 쓸 수 있도록 변환했다. 코딩 에이전트가 시험 형식에 맞춰 항목을 나눌 코드를 작성했고, 연구자가 변환된 321개 항목을 원본과 대조했다. 논문에는 이 검토가 약 12시간 걸렸다고 적혔다. 같은 시험의 새 회차가 나오면 기존 방식으로 항목을 업데이트할 수 있게 구성했다.
연구팀은 비교 결과와 데이터, 평가 코드를 공개했다. 다만 시험을 만든 기관마다 원문과 정답의 재배포 조건이 달라 파일에 들어 있는 자료의 범위도 다르다. 예를 들어 세무사 시험은 문제를 공개 파일에 담고, 별도 기관의 답안을 구하는 절차는 설명으로 제공했다. 공개 자료에는 시험별 출처와 각각의 이용 조건이 적혀 있다.
출처
- November 17 JFinBench release and comparison of 12 models — Sakana AI
- Preprint with exam construction, scoring and tool-assisted results — Sugiura, Makino and Ishida
- JFinBench leaderboard and exam-by-exam comparison — Sakana AI
- Dataset contents and exam-specific distribution terms — Sakana AI on Hugging Face
- November 13 first submission record and abstract — arXiv
