런웨이 프락시스-1, 조립형 로봇 팔 SO-101용 가중치 공개

동영상 생성 AI 업체 런웨이가 11월 13일 로봇 제어 모델 프락시스-1(Praxis-1)을 조립형 로봇 팔 SO-101에서 실행할 수 있다고 발표했다. 앞서 공개한 한 팔·양팔 장비용 모델에 이어 SO-100과 SO-101에 맞춰 학습한 가중치 두 종과 실행 코드를 내놨다. 런웨이는 그중 NVFP4용 버전을 쓰면 지포스 RTX 5090 한 장에서 실행할 수 있다고 밝혔다.

SO-101을 보유한 개발자나 연구팀은 이 팔에서 움직임을 시험할 때 장비에 맞춘 프락시스-1에서 시작할 수 있다. 11월 11일 공개에 포함된 기본 모델은 새 장비에 맞춰 추가 학습할 때 쓰는 출발점이었다. 11월 11일 깃허브 변경 기록은 SO-101용을 준비 중인 버전으로 표시했다. 이후 변경에 해당 팔의 관절과 집게를 움직이는 코드와 가중치 링크가 들어갔다. 표준 가중치와 일부 연산을 낮은 정밀도로 처리하는 버전은 모두 허깅페이스에 올라왔다.

커뮤니티가 찍은 동작으로 학습한 로봇 팔

SO-101은 책상 위에서 작은 물건을 집어 옮기는 동작을 실험할 수 있는 공개 설계 로봇 팔이다. 허깅페이스의 로봇 개발 프로젝트 르로봇(LeRobot)은 이 팔의 부품 목록과 3D 프린팅용 자료를 공개한다. 실험 장비에서는 사람이 움직임을 가르칠 때 조작용 팔을 쓸 수 있고, 모델을 실행할 때는 명령을 받아 움직이는 팔이 대상이다. 런웨이의 모델 설명서는 실행 대상으로 SO-100과 SO-101의 이 팔을 명시한다.

런웨이 기술 보고서에 따르면 연구팀은 르로봇 사용자 1,783명이 공개한 두 기종의 데이터 세트 3,956개를 모았다. 수집한 영상과 동작 기록은 약 1,260시간이었다. 최종 학습에는 데이터 세트 3,814개의 약 1,070시간을 사용했다. 연구팀은 검증용으로 데이터 세트 102개를 통째로 따로 뒀다.

연구팀은 촬영 파일에 붙은 이름만으로 카메라가 손목에 달렸는지 판별하기 어려웠다고 적었다. 작업대를 보는 영상과 손목이 움직이면서 함께 돌아가는 영상은 쓰임이 달라, 실제 화면의 움직임과 외관을 바탕으로 위치를 다시 구분했다. 런웨이는 작업대를 보는 카메라 한 대만 있는 조건도 학습에 넣었다. 손목 카메라가 달린 경우 두 시점을 함께 사용할 수 있다.

카메라 영상과 관절 위치를 받아 다음 동작 계산

모델은 작업 지시, 카메라 화면, 팔의 현재 위치를 받아 다음 동작을 계산한다. SO-101용 가중치는 팔 관절 다섯 개와 물체를 잡는 집게의 움직임을 예측한다. 보고서가 설명한 출력은 관절과 집게의 목표값 한 세트를 초당 15회씩, 약 1.6초 분량으로 묶는 방식이다. 이 수치는 동작 목표를 정하는 간격을 뜻한다. 지시를 끝까지 수행하는 데 걸리는 시간은 물체와 작업에 따라 달라진다.

런웨이는 팔이 천을 접거나 접시를 닦는 장면을 보고서의 시연 영상으로 공개했다. 이 절에는 해당 팔로 같은 작업을 여러 차례 반복했을 때의 성공률이 제시되지 않았다. 앞선 프락시스-1 공개에서 회사가 인용한 엔비디아 시뮬레이션 성적은 다른 로봇 팔용 가중치의 결과다.

내려받는 파일은 두 버전 모두 54.4GB

런웨이는 NVFP4용 버전에 일부 가중치를 낮은 정밀도로 쓸 때의 영향을 반영하는 추가 학습을 했다. 두 버전의 배포 파일은 모두 16비트 가중치 54.4GB다. NVFP4 적용은 파일을 내려받은 뒤 모델을 메모리에 올리는 단계에서 이뤄진다. 공식 저장소가 제시한 수치로는 로봇 동작을 계산하는 모델의 가중치가 메모리에서 54.4GB에서 17.5GB로 줄어든다.

여기에 런웨이 문서가 별도로 적은 텍스트 처리 모델 4.6GB와 영상 처리 모델 1.4GB를 더하면 계산에 쓰이는 가중치가 약 23.5GB다. 이 수치에는 모델이 동작을 계산하며 만드는 임시 데이터가 빠져 있다. RTX 5090 한 장에서의 실행은 런웨이가 발표했으며, 공개 저장소의 메모리 설명에는 실제 최고 사용량이 제시되지 않았다. 실제 팔을 움직이려면 영상과 관절 위치를 보낼 장비도 연결해야 한다.

허깅페이스의 두 모델 페이지는 가중치에 아파치 2.0 라이선스를 표시한다. 파일을 받으려면 계정으로 로그인하고 정보 공유를 포함한 접근 조건에 동의해야 한다. 가중치를 구동할 때 함께 불러오는 텍스트·영상 처리 모델은 별도로 배포되며 각각의 라이선스가 적용된다.