런웨이, 로봇 제어 AI 프락시스-1 공개…가중치⁠·⁠학습 코드 제공

동영상 생성 AI 업체 런웨이가 11월 11일 로봇 제어 모델 프락시스-1(Praxis-1)의 가중치와 실행·미세조정 코드를 공개했다. 지난 9월 일부 협력사에 먼저 소개한 모델을 이제 외부 연구팀과 기업도 내려받아 평가할 수 있다. 런웨이는 이번에 공개한 가중치와 코드에 상업적 사용을 허용하는 아파치 2.0 라이선스를 적용했다.

공개된 모델은 로봇에 보낼 동작과 그 동작을 수행한 뒤 카메라에 보일 장면을 함께 예측한다. 허깅페이스에는 한 팔 로봇의 DROID 작업 환경에 맞춘 모델, YAM 로봇 팔 두 개를 쓰는 환경에 맞춘 모델, 새 장비에 맞게 학습시킬 때 출발점으로 쓰는 기본 모델이 올라왔다. 런웨이는 동영상 생성 모델에 쓰던 사전학습을 바탕으로 장면을 예측하고, 그 예측에 쓰인 정보를 읽어 로봇 동작을 계산하는 모듈을 붙였다.

로봇 시뮬레이션 1,200회 중 555회 성공

엔비디아의 로보랩-120(RoboLab-120)은 한 팔 로봇이 탁자 위에서 물체를 다루는 작업 120개로 구성된 시뮬레이션이다. 런웨이는 DROID에 맞춰 학습한 모델로 작업마다 10번씩 시험했다. 1,200회 가운데 555회를 성공했고, 엔비디아 순위표에 표시된 성공률은 46.2%다. 같은 횟수로 평가한 블랙포레스트랩스의 FLUX 3 Action은 515회에 성공해 42.9%를 기록했다. 엔비디아가 난이도에 따라 나눈 결과에서는 단순 작업 640회 중 300회, 복합 작업 170회 중 68회를 성공했다.

실제 장비 시험은 따로 진행했다. 런웨이 기술 보고서에 따르면 연구진은 11월 2일 포지트로닉이 운영하는 프랑카 FR3 장비에서 물체 하나를 다루는 작업 열 가지를 평가했다. 같은 장비에서 작업마다 열 번씩 시도해 프락시스-1은 100회 중 88회, FLUX 3 Action은 80회 성공했다. 런웨이는 블랙포레스트랩스가 공개한 과제 목록에서 단일 물체 작업 열 가지를 가져왔다. 엔비디아의 120개 가상 과제와 별개로, 한 대의 실제 로봇에서 두 모델을 비교한 결과다.

카메라와 로봇 팔 구성에 맞춰 학습

프락시스-1의 한 팔용 체크포인트는 작업 공간을 보는 외부 카메라와 로봇 팔에 달린 손목 카메라가 있는 DROID 구성을 대상으로 한다. 양팔용 체크포인트는 YAM 팔 두 개를 쓰는 장비에 맞췄다. 런웨이는 새 장비를 다루는 팀에 기본 체크포인트에서 출발해 해당 로봇의 관측값과 동작에 맞게 학습시키는 방식을 안내한다. 팔이 움직일 수 있는 범위나 그리퍼가 물체를 잡는 방식이 달라지면 모델이 내보내는 동작도 그 장비에 맞아야 한다.

런웨이 기술 보고서는 동작 한 묶음이 약 1.6초 분량이라고 설명한다. 모델은 지시문과 최신 카메라 영상, 로봇의 현재 자세를 읽고 다음 동작을 내보낸다. 로봇이 움직인 뒤 다시 카메라 영상과 자세를 받으므로 물체를 놓친 뒤의 장면도 다음 입력에 들어간다. 영상에서 예상한 목표와 실제 동작이 함께 틀리는 사례도 있었다. 런웨이는 닮은 물체가 여럿 있을 때 잘못된 물체로 팔을 뻗는 일이 실제 장비 시험에서 흔했다고 밝혔다.

런웨이는 중간 학습에 녹화 자료를 넣지 않은 구글의 RT-1에도 그 로봇의 데이터로 후속 학습을 진행했다. 시뮬레이션인 SimplerEnv의 네 가지 작업에서 공개 RT-1 결과는 평균 52.4%, 후속 학습한 프락시스-1은 80.0%로 보고됐다. 다른 로봇에 모델을 맞추는 데 해당 장비의 데이터가 쓰였다는 사례다.

기본 실행 예제는 GPU 메모리 80GB 요구

런웨이가 깃허브에 올린 기본 실행 예제는 한 팔 모델을 시뮬레이션에서 구동하는 절차다. 이 예제는 메모리가 80GB 이상인 CUDA GPU 한 대를 요구한다. 일부 워크스테이션용 GPU에서는 가중치 일부를 더 낮은 정밀도로 읽는 선택지도 제공한다. 공개 저장소는 이 설정에서 로봇이 관측값을 다시 받아 다음 동작을 내는 반복 제어를 해당 GPU로 아직 검증하지 않았다고 밝혔다.

허깅페이스의 르로봇(LeRobot) 통합 문서에도 기본·한 팔·양팔 모델이 각각 올라와 있다. 공개된 코드에는 모델의 가중치 전체를 조정하거나 일부만 추가 학습하는 방법이 들어 있다. 런웨이 저장소에서 새 장비에 기본 모델을 맞추는 전체 학습 예제는 GPU 여덟 대를 쓴다. DROID용 모델을 같은 장비의 새 작업에 맞추는 일부 추가 학습 예제는 80GB GPU 한 대를 기준으로 제시했다.