엔비디아 그루트 2, 작업당 시범 5회로 선별 과제서 평균 95%

엔비디아가 11월 9일 미국 오스틴에서 열린 로봇학습학회(CoRL)에서 로봇 학습 모델 그루트 2(GR00T 2)를 공개했다. 연구진은 샤르파 로봇 손 두 개를 단 덱스터를 원격 조작해 작업마다 시범을 다섯 번 기록하고, 그 데이터로 모델을 추가 학습시켰다. 그 결과 선별한 50개 작업에서 평균 95%의 성공률을 기록했다.

연구진이 겨냥한 문제는 사람이나 다른 로봇이 보여 준 손동작을 새로운 로봇으로 옮길 때 필요한 시범의 양이다. 평가에 쓰인 덱스터는 해당 작업을 자신의 사전 학습 데이터에서 접한 적이 없었다. 모델은 사람의 작업 영상이나 두 갈래 집게를 단 다른 로봇의 조작 기록에서 그 작업을 먼저 접했다.

시범 없이 40%, 다섯 번 뒤 95%

연구진은 같은 과제에서 시범 없이 지시만 받은 모델, 덱스터의 시범 1회로 추가 학습한 모델, 시범 5회로 학습한 모델을 비교했다. 첫 조건의 평균 성공률은 40%였다. 같은 조건에서 전체 과제 중 40개에 한 번 이상 성공했다. 전자는 시도의 성공 비율이고 후자는 성공 사례가 한 번이라도 나온 과제의 수다.

작업당 시범 1회를 더한 조건에서는 평균이 71%로 올랐다. 다섯 번의 시범을 모으는 데 쓰인 로봇 데이터는 작업당 3분 미만이었다. 연구진은 RTX 5090 한 장에서 작업별로 약 30분간 모델을 조정했다. 그 조건에서 50개 중 37개 과제는 모든 시도에 성공했다. 식기 건조대 비우기와 루빅 큐브 더미를 분리하는 작업은 시범 없이도 매번 성공한 사례다. 주머니 비우기와 삼각대 펴기는 지시만으로는 성공한 시도가 없었다. 작업당 시범 5회를 추가한 모델은 두 과제의 모든 시도를 마쳤다.

엔비디아는 기술 보고서에서 50개 과제의 선정 기준도 밝혔다. 시범 다섯 번을 학습했을 때 성공률이 80% 이상인 과제에서 평가 대상을 골랐다. 연구진은 이 선정 방식도 다섯 번 시범 조건에서 평균이 높아진 요인이라고 설명했다. 95%는 그렇게 고른 과제를 같은 양손 로봇에 맡겨 얻은 결과다.

사람이 본 장면을 로봇의 행동으로

그루트 2는 카메라로 본 최근 장면, 작업 지시, 로봇의 현재 상태를 바탕으로 다음 화면과 로봇의 움직임을 함께 예측한다. 그 움직임을 실행한 뒤 새로 들어온 카메라 영상과 상태를 받아 다음 동작을 계산한다. 물체가 움직인 뒤 장면이 어떻게 바뀌는지 학습할 수 있어 사람이 손으로 작업하는 영상도 훈련에 쓰인다.

엔비디아가 집계한 사전 학습 자료에는 작업자의 시점에서 찍은 영상 약 40만 시간, 손에 든 집게로 보여 준 작업 약 1만 시간, 사람이 로봇을 원격 조작한 기록 약 2만3500시간이 포함됐다. 다른 형태의 손과 집게에서 수집한 자료를 함께 학습시켜 물체를 잡거나 옮기는 데 필요한 정보를 여러 종류의 장비에서 얻는 방식이다.

작업을 옮기는 별도 실험도 진행했다. 연구진은 사람이 손에 든 집게로 장난감 덤프트럭을 조립하는 모습을 기록한 뒤, 다른 집게를 장착한 얌(YAM) 로봇 팔에서 같은 작업을 시험했다. 엔비디아에 따르면 해당 로봇 팔로 그 조립을 시범 보인 데이터를 쓰지 않은 조건에서 전체 작업의 성공률은 60%였다. 연구 페이지는 장난감 트럭 조립을 최대 4분이 걸리는 작업으로 설명했다.

사람 작업 영상 10만 시간 공개

엔비디아는 사람 작업 영상 모음인 Human-1M에서 10만 시간 분량을 허깅페이스에 공개했다. 데이터 카드에는 영상과 함께 작업 설명, 손의 움직임과 머리 쪽 카메라의 위치·방향 정보가 들어 있다고 적혀 있다. 데이터를 살펴볼 수 있는 탐색기에는 작업 종류와 환경에 따른 예시가 올라와 있다. 공개 예시 중에는 포장 상자를 접고 배송 라벨을 붙이는 장면이 있다. 머리에 단 카메라와 손목 쪽 카메라의 영상을 같은 시간에 맞춰 놓아 작업대 전체와 손 가까이의 움직임을 함께 살펴볼 수 있다. 엔비디아가 명시한 공개분 라이선스는 출처 표시를 조건으로 하는 CC BY 4.0이다.

기업 적용은 작업별로 진행 중이다. 엔비디아는 폭스콘이 서버 제조 자동화에 그루트 2를 적용하고 있으며 지멘스는 산업 현장의 여러 용도를 평가 중이라고 밝혔다. 학회 발표에 동반된 연구 페이지에는 코드 공개 시점이 12월로 표시됐다. 엔비디아 로봇 연구 책임자 짐 팬도 모델 가중치와 다른 로봇으로 작업을 옮기는 학습 절차를 12월에 공개할 계획이라고 밝혔다.