오픈AI, 로봇 연구팀을 범용 AI 부문에 통합

오픈AI가 독립 로봇 조직을 재편했다. 회사는 11월 13일 미국 경제 매체 포천에 로봇 연구진을 마크 첸이 이끄는 핵심 연구 부문으로, 응용 로봇과 하드웨어 인력을 그레그 브록먼이 이끄는 응용 부문으로 옮겼다고 확인했다. 회사 측은 로봇 개발을 계속한다는 입장을 전했다.

오픈AI는 GPT-6 아스트라 같은 범용 모델을 로봇 작업에 적용할 수 있다는 판단을 재편의 배경으로 들었다. 로봇 개발자가 평가할 대상에는 전용 모델과 함께 카메라 영상과 작업 지시를 같은 모델에서 처리하는 범용 모델도 들어온다. 공개 연구에는 범용 모델이 집게를 움직일 위치를 정하는 방법과 그 결정을 기다리는 데 걸리는 시간이 함께 나와 있다. 로봇의 몸체나 집게를 바꿨을 때의 성능은 실제 장치에 맞춰 별도로 확인해야 하는 문제로 남아 있다.

부품 설계에 쓰던 AI를 제어 실험에도

오픈AI는 앞서 11월 3일 공개한 엔지니어링 사례에서 하드웨어와 인프라 팀이 코덱스와 챗GPT로 부품 도면을 수정하고 제작용 도면을 준비하거나 시뮬레이션을 설정한다고 설명했다. 회사가 제시한 예에는 기존 부품의 3차원 스캔을 편집 가능한 설계 파일로 바꾸는 작업이 들어 있다. 이런 설계 보조에서는 결과가 도면이나 모델 파일로 남는다. 로봇 제어 실험에서는 같은 계열의 AI가 받은 영상과 작업 요청을 바탕으로 다음 동작을 내보낸다. 예를 들어 화면에 보이는 물체를 집으려면 카메라의 시점과 집게의 위치를 모두 알아야 한다. 엔비디아 실험에는 연구진이 구성에 맞춰 이런 정보와 움직임의 결과를 모델에 알려주는 제어 프로그램이 들어갔다.

동작을 내보내는 일도 여러 층으로 나뉜다. 엔비디아 연구진의 공개 실험에서는 모델이 집게의 목표를 직접 정하는 구성, 이전 관측과 작업 상태를 장기간 유지하는 에이전트 구성, 로봇 전용 모델에 동작 생성을 맡기고 범용 모델이 진행 상황을 살피는 구성을 비교했다. 모델 이름이 같아도 제어 소프트웨어가 AI에 맡긴 역할은 달랐다.

같은 모델로도 성공률과 비용이 달랐다

엔비디아의 아스트라노미 연구는 로봇 팔이 물체를 집고 옮기는 시뮬레이션 과제 120개를 평가했다. 아스트라가 동작을 직접 고른 설정은 66.3%, 코덱스 세션에서 작업 맥락을 유지한 에이전트 설정은 74.8%의 성공률을 기록했다. 연구진이 같은 비교표에 제시한 로봇 전용 모델 레이크사이드의 성공률은 51.0%였다. 이는 연구진의 로보랩 평가에 참여한 각 구성의 결과다.

엔비디아는 성공한 시도에 쓰인 토큰을 당시 가격으로 환산했다. 모델에 곧바로 동작을 물은 경우 성공 사례 한 건당 평균 1.96달러, 코덱스 에이전트를 쓴 경우 36.40달러로 추정했다. 직접 제어 설정의 성공 사례에서 모델의 응답을 한 차례 받기까지 걸린 시간은 평균 18.56초였다. 연구진은 동작을 실행하는 시간도 구분해 집계했다.

모델이 다음 동작을 계산하는 동안에는 시뮬레이터를 멈췄다. 이 때문에 그 사이에 물체가 움직이거나 주변 상황이 바뀌었을 때 로봇이 얼마나 빨리 적응하는지는 이번 시험으로 알 수 없다. 과제마다 다섯 차례씩 실행했으며 연구진은 반복 횟수의 제약 때문에 설정 사이의 작은 점수 차이까지 통계적으로 유의하다고 판단하기 어렵다고 적었다.

11월 11일 사전 공개된 별도 연구 ‘저스트루아’는 아스트라 주변의 제어 프로그램을 바꾸는 데 초점을 맞췄다. 연구진은 양팔 로봇을 모사하는 로보도조에서 42개 과제를 대상으로 평가했다. 작업 중의 이전 관측 내용을 계속 보여 주고 한 차례 움직임을 짧게 끊어 관측을 다시 받는 방식을 시험했다. 카메라 사진에서 물체까지의 거리를 추정한 정보도 모델에 전달했다. 사진만 보고는 집게가 물체에 충분히 가까이 갔는지 판단하기 어려운 상황을 줄이려는 실험이었다. 연구팀은 거리를 추정한 영상을 제공하자 집게가 물체를 잡지 못한 채 닫히는 사례가 시험의 일부에서 줄었다고 기록했다.

이 팀은 같은 시뮬레이션 과제에서 표준 제어 구성의 점수 29.7점과 최종 설정의 50.3점을 보고했다. 두 값은 연구진이 동작과 과제의 진행을 평가해 낸 점수다. 평가를 받은 과제의 완수 비율을 뜻하는 엔비디아의 74.8%와 단위가 다르다. 연구진은 성능이 가장 좋았던 설정에서도 계획에 없던 접촉으로 물체가 밀리거나, 집게가 잡은 물체가 도중에 미끄러지는 실패를 기록했다.