AI 에이전트 후학습에 몇 분 걸리나…MLPerf, 강화학습 첫 비교
편집·검토: AI Ping 편집팀
3줄 요약
- MLCommons가 11월 16일 공개한 MLPerf Training 6.1은 AI 에이전트의 강화학습 후학습에 걸리는 시간을 처음 비교한다.
- 정해진 Qwen 모델에서 출발해, 네 번 안에 테스트를 통과한 코딩 과제의 비율이 0.69에 이르는 시간을 잰다.
- 구글 아이언우드 640개를 사용한 제출은 18.02분을 기록했다. 엔비디아가 제출한 루빈과 GB300 결과는 각각 GPU 64개로 측정했다.
AI 가속기가 코드를 짜는 에이전트의 후학습 단계에서 목표 품질에 얼마나 빨리 도달하는지 비교할 수 있게 됐다. AI 성능 평가 기준을 만드는 비영리 단체 MLCommons는 11월 16일 공개한 ‘MLPerf Training 6.1’에 에이전트 강화학습 시험을 처음 넣었다. 같은 모델의 학습 상태에서 출발해 정해진 품질 기준에 도달하는 데 걸린 시간을 기록한다. 이번에 엔비디아의 루빈 GPU와 구글의 아이언우드 TPU도 MLPerf Training에 처음 결과를 냈다.
사전학습은 대규모 데이터에서 모델의 기본 능력을 만드는 단계다. 새 항목은 사전학습을 마친 모델이 코딩 과제에 답하는 방식을 강화학습으로 조정할 때 걸리는 시간을 잰다. 개발팀은 같은 평가표에서 사전학습과 후학습 결과를 각각 찾을 수 있다. 서비스에 배치한 모델이 이용자에게 답을 보내는 속도는 MLPerf의 별도 추론 시험에서 다룬다.
코딩 과제 251개, 과제마다 네 번 시도
시험은 정해진 ‘Qwen3.5-397B-A17B’ 체크포인트에서 시작한다. 체크포인트는 학습 중 특정 시점에 저장한 모델 상태다. 새 시험에 쓰이는 강화학습 방식인 GRPO는 같은 과제에 대해 모델이 낸 여러 후보 답을 비교하고, 보상 점수가 상대적으로 높은 답을 더 자주 내도록 모델을 조정한다. 코드 답안을 생성하는 작업과 생성 결과를 바탕으로 모델을 갱신하는 작업이 모두 후학습에 들어간다.
평가에는 학습에 쓰지 않은 R2E-Gym의 쉬운 구간 과제 251개를 사용한다. MLCommons 규칙은 과제마다 답을 네 번 생성하도록 정했다. 한 번 이상 테스트를 통과한 과제의 비율을 나타내는 ‘pass@4’가 0.69에 이르는지가 기준이다. 참가팀은 학습 후반에 저장한 체크포인트를 학습을 멈춘 뒤 검사한다. 결과표에 적용하는 종료 시각은 기준을 충족한 체크포인트에서 모델의 가중치를 마지막으로 갱신한 때다. 그 체크포인트를 디스크에 쓰고 검증을 마치기까지 걸린 시간은 시험 점수에서 제외된다.
결과표에 들어가는 시간은 제출된 반복 실행 중 가장 빠른 실행과 가장 느린 실행을 뺀 뒤 계산한다. 구글 아이언우드 기록처럼 세 번을 제출했다면 가운데 시간이 남는다. 공개 기록에는 실행별 시작과 종료 시각이 남는다. 이 기록을 대조하면 표에 나온 시간이 반복 측정 가운데 어느 실행에서 나온 값인지 확인할 수 있다.
아이언우드 640개로 18.02분
구글 클라우드는 아이언우드 640개를 쓴 후학습 시험에서 18.02분을 기록했다. MLCommons가 공개한 세 차례 실행 기록에서 두 번째 실행이 가운데 시간에 해당한다. 그 실행의 점수는 약 0.765였다. 제출 문서에 따르면 이 구성은 모델을 업데이트하는 데 TPU 128개를, 모델 출력을 만드는 쪽에 TPU 512개를 배치했다. 구글은 두 작업을 동시에 진행했다고 설명했다.
엔비디아도 같은 후학습 시험에 GPU 64개씩 사용한 루빈과 블랙웰 울트라 GB300 결과를 냈다. 두 시스템의 제출 로그에서 시작과 종료 시각 차이를 계산하면 가운데 실행은 루빈 25.93분, GB300 36.99분이다. 엔비디아는 자사 비교표에서 이 항목의 루빈 성능이 GB300 대비 약 1.4배라고 밝혔다. 공식 시스템 자료상 루빈은 온프레미스, GB300은 클라우드에서 이용 가능한 구성이다.
시간 옆의 가속기 수와 제공 방식
아이언우드 18.02분은 640개 규모, 루빈의 기록은 64개 규모에서 나온 시스템 전체의 시간이다. 가속기 하나당 연산 성능이나 같은 수의 칩을 연결했을 때의 시간으로 환산하려면 추가 측정이 필요하다. 결과와 함께 공개된 시스템 설명에는 가속기의 종류와 수, 클라우드에서 이용하는 구성인지 자체 설치용인지가 표시된다. 장비 비용과 전력은 후학습 시간과 별도로 확인할 항목이다.
MLCommons는 같은 날 추천 모델 시험도 교체했다. 새 DLRMv4-HSTU 항목은 이전 추천 항목을 대신해 이용자의 연속된 행동을 다루는 모델을 측정한다. 이전 시험이 사용하던 클릭 데이터와 달리 새 항목은 음악 서비스의 이용 기록을 담은 Yambda 데이터로 학습한다. 추천 모델의 품질 기준은 AUC 0.75다. AUC는 모델이 실제로 선택될 항목에 더 높은 점수를 얼마나 잘 매기는지 나타내는 지표로, 코딩 과제의 통과 비율과 별개의 기준이다.
출처
- MLPerf Training v6.1 results announcement — MLCommons
- MLPerf Training benchmarks and quality targets — MLCommons
- MLPerf Training rules — MLCommons
- MLPerf Training v6.1 submissions and run logs — MLCommons
- Ironwood TPU and Grace Blackwell results in MLPerf Training 6.1 — Google Cloud
- Vera Rubin NVL72 in MLPerf Training 6.1 — NVIDIA
- Yambda recommendation dataset — Yandex