로봇 좌표를 한꺼번에…엔비디아 VFlash 코드 공개

엔비디아가 로봇과 자율주행용 시각 계획 연구인 VFlash의 학습·추론·평가 코드를 공개했다. 공식 Eagle 저장소에는 11월 7일자 공개 커밋과 작업별 문서가 올라왔다. 연구자는 좌표 생성 방식을 바꾸고 같은 모델의 기존 방식과 비교할 수 있다. 학습을 마친 본체 모델과 보조 모델 가중치는 추후 공개 대상으로 남았다. 모델 라이선스는 연구·평가 목적의 비상업적 이용으로 범위를 한정한다.

VFlash는 카메라 영상과 작업 지시를 받아 물체 위치나 이동 경로를 예측한다. 학습은 두 단계다. 먼저 본체 모델을 좌표가 붙은 답변으로 미세 조정한 뒤 고정하고, 5개 층으로 된 보조 모델을 학습시킨다. 보조 모델이 완성된 경로의 좌표를 한꺼번에 제안해, 좌표를 글자처럼 차례로 생성하는 계산을 줄인다. 보조 모델은 이때 사용한 특정 본체와 짝을 이루며, 본체가 관측한 영상과 문맥을 바탕으로 공간 예측을 수행한다.

공개된 데이터 형식은 관측 이미지·영상, 질문, 공간 좌표가 담긴 정답을 묶는다. 같은 형식을 본체와 보조 모델 학습에 사용한다. 로봇 경로는 카메라 기준의 3차원 위치, 주행 경로는 차량 기준 위치와 방향으로 표현한다. 좌표의 단위와 범위를 질문에 명시하고, 양팔 로봇은 왼팔과 오른팔 경로를 나눠 적도록 했다. 구현은 좌표를 0부터 1,000까지의 수 토큰으로 나타낸다. 입력에는 이미지 파일뿐 아니라 동영상의 특정 프레임도 지정할 수 있다.

생성 결과를 받는 규칙도 출력 종류에 따라 다르다. 이동 경로는 정해진 좌표 형식을 충족하면 통째로 채택하며, 일반 문장은 본체 모델의 예측과 대조한다. 물체를 둘러싸는 상자는 좌표의 확신도를 추가로 확인해 불확실한 부분을 기존 순차 생성 방식으로 다시 만든다. 형식 검사와 공간 예측의 정확도 평가는 각각 수행한다.

논문의 속도 측정과 이번 코드 공개 범위

11월 5일 제출된 논문에서 연구진은 Jetson Thor의 MolmoSpaces 모델 처리 시간을 단계당 3,552.7밀리초에서 703.3밀리초로 줄였다고 보고했다. 배치 크기 1에서 영상 처리·입력 처리·좌표 생성·행동 모델 계산을 합산한 값이다. 모델 로딩과 측정 모듈 밖의 CPU 전처리 등은 제외했고, 로봇이 물리적으로 작업을 끝내는 시간은 측정하지 않았다.

이번 배포의 결과 문서는 논문에 쓰인 후단 행동 모델과 지연시간 측정용 실행 환경을 공개 대상에서 제외한다고 명시했다. 논문이 사용한 별도 3차원 움직임 예측 모델도 이 배포에 포함되지 않는다. 저장소에서 얻는 학습·평가 코드의 범위와 논문의 전체 로봇·주행 실험을 재현하는 데 필요한 구성은 따라서 차이가 있다.

평가 안내서는 로봇의 3차원 경로, 주행 경로, 밀집된 점의 움직임, 물체 상자를 다루는 실행 코드를 설명한다. 평가 데이터는 별도로 준비해야 한다. 로봇 경로의 경우 예상한 팔과 경유점 개수가 맞는지 먼저 확인하며, 예측 좌표를 보간하거나 고쳐 맞추지 않는다. 형식을 지킨 결과에 대해 기준 경로와의 평균 거리 오차 등을 계산한다. 평균 거리 오차는 경로 전반의 차이, 최종 경유점 오차는 경로 끝의 차이를 미터 단위로 나타낸다.

밀집 움직임 평가에는 별도의 선택 조건이 붙는다. 공개 실행 방식은 보조 모델이 만든 후보 5개 중 정답과의 평균 거리 오차가 가장 작은 후보를 고른다. 비교 대상인 본체 모델의 기존 방식은 한 번 생성한다. 이 품질 평가는 정답을 보고 후보를 고르는 조건을 포함하며, 단일 후보 생성 시간과는 측정 조건이 다르다.

학습 문서는 본체와 보조 모델을 맞춘 쌍으로 관리하도록 했다. 저장된 보조 모델에는 자신이 학습할 때 사용한 본체의 가중치·문자 처리 규칙·설정 지문이 들어간다. 로딩 코드는 이 정보의 일치를 확인한다. 공개된 기준 학습 설정은 8개 GPU를 갖춘 노드 8개이며, 보조 모델 학습에는 컴파일된 FlexAttention을 지원하는 실행 환경을 요구한다.

코드는 Apache 2.0, 모델은 별도의 NVIDIA 라이선스를 적용한다. 코드 재배포에는 라이선스 사본을 함께 제공하고 수정한 파일에 변경 사실을 표시하는 조건이 따른다. 모델의 이용·수정·배포는 별도 조건을 따르며, 재배포 시 라이선스 전문과 기존 저작권 고지 등을 유지해야 한다. 저장소의 예제는 사용자가 준비한 본체·보조 모델 체크포인트 경로를 받으며, 두 체크포인트의 공개 일정은 추후 안내 대상으로 적혀 있다.