로봇 손끝에 촉각 AI…로비앤트, 링봇 터치 가중치 공개

앤트그룹의 로봇 AI 계열사 로비앤트가 11월 10일 로봇 손의 촉각 모델 ‘링봇 터치(LingBot-Touch)’를 공개했다. 로봇에 쓰이는 세 종류의 센서 신호를 공통 형식으로 바꿔 손가락을 움직이는 AI에 전달한다. 연구진은 사전학습에 없던 자기식 센서가 달린 로봇 손에서도 촉각 모델의 가중치를 유지하고, 그 손의 동작만 별도로 학습시켰다.

로비앤트 연구진은 병뚜껑 돌리기, 지퍼 닫기, 겹친 컵 분리 등 실물 로봇 작업 26개에서 촉각을 사용한 경우와 사용하지 않은 경우를 비교했다. 한 병뚜껑 실험에서 촉각 없이 움직였을 때 56.25%였던 점수는 센서 원신호를 더하면 62.5%, 링봇 터치로 처리한 신호를 더하면 90%였다. 연구진이 공개한 작업별 채점표에는 뚜껑을 잡아 돌리기, 완전히 풀기, 들어 올리기 같은 단계별 점수가 있다.

손끝에서 같은 접촉을 읽는 세 가지 방법

압저항식 센서는 누르는 힘에 따라 바뀌는 전기 저항을 읽고, 자기식 센서는 접촉에 따른 자기장의 변화를 측정한다. 광학식 촉각 센서는 물체가 누른 표면의 변형을 센서 안의 카메라로 포착한다. 같은 물체를 잡아도 장치가 내놓는 신호와 측정점 배치는 다르다. 링봇 터치는 센서별로 신호를 처리하고 측정점을 공통 손끝 좌표에 맞춘 뒤, 손가락 어디에서 접촉이 일어났고 시간이 지나면서 어떻게 달라졌는지 동작 모델이 읽을 수 있는 형태로 전달한다.

로비앤트는 사전학습에 모은 촉각 기록이 4,983시간, 약 13억3000만 프레임이라고 밝혔다. 프레임은 센서가 한 시점에 기록한 측정값을 뜻한다. 사람에게 압저항식·자기식 센서 장갑을 끼우고 물건을 다루게 한 기록이 약 3분의 2다. 나머지는 사람이 원격 조종한 광학식 센서 로봇 손에서 얻었다. 열고 닫기, 조립, 닦기 등 비슷한 종류의 작업이 여러 기록에 걸쳐 있어 서로 다른 센서 신호에서 공통으로 나타나는 접촉 정보를 학습에 쓸 수 있었다.

원신호를 넣었을 때와 비교

실물 시험에서는 샤파 웨이브(Sharpa Wave)와 엑스핸드원(XHand1)을 사용했다. 연구진은 네 가지 동작 모델마다 촉각 없음, 가공하지 않은 촉각 신호, 링봇 터치가 처리한 촉각 신호의 세 조건을 두고 같은 시범 데이터로 학습했다. 세 조건에 작업당 200개의 시범을 제공했고, 양손이 필요한 작업에는 500개를 사용했다. 기술보고서 5.2절에서 네 동작 모델의 26개 작업 평균은 촉각이 없을 때보다 각각 13.9~24.8%포인트 높았다. 병뚜껑 예시는 그중 샤파 웨이브를 T-Rex로 제어한 경우다. 병뚜껑 시험의 90%는 각 단계에 배점한 작업 점수이므로 시도 열 번 중 아홉 번을 완수했다는 뜻과 다르다.

작업마다 결과는 달랐다. 예를 들어 샤파 웨이브로 책을 꺼낼 때 T-Rex는 원신호를 받으면 69%를 기록했고 링봇 터치로 처리한 신호를 받으면 59%였다. 보고서의 비교는 촉각이 영향을 미치는 작업을 골라 두 로봇 손에서 진행했다. 공개 프로젝트 페이지의 치약 짜기 영상은 접촉을 활용하는 동작을 보여 주는 시연이다.

엑스핸드원의 자기식 센서는 촉각 모델을 사전학습할 때 쓴 센서 목록에 없었다. 사전학습에 쓰인 자기식 신호는 사람 장갑에서 왔다. 연구진은 링봇 터치의 가중치를 고정하고 엑스핸드원으로 수집한 시범을 이용해 그 손을 움직이는 모델을 학습했다. 겹친 컵을 분리하는 실험에서 동작 모델 π0.5는 촉각 없이 32.5%, 원신호를 추가해도 32.5%, 링봇 터치가 변환한 신호를 추가하면 72.5%를 기록했다.

공개된 가중치와 센서 연결 조건

로비앤트는 깃허브에 추론 코드와 예제 데이터를 올리고 허깅페이스에 타이니와 스몰 두 종류의 가중치 및 설정 파일을 공개했다. 모델 카드에는 두 묶음에 아파치 2.0 라이선스가 표시된다. 기술보고서의 실물 작업 표에는 약 4,000시간의 자료로 사전학습한 타이니를 시험했다고 적혀 있다. 허깅페이스의 공개 묶음은 인코더 가중치와 설정 파일이며, 로봇 작업별 동작 모델은 각 실험에서 따로 학습했다.

공개 예제에는 두 손 기종에서 좌우 손을 짝지어 기록한 촉각 입력이 각각 30쌍씩 들어 있다. 개발자는 새 장치에서 측정점 위치와 센서의 측정 범위를 맞춰 입력을 준비한다. 광학식 촉각 센서의 경우에는 카메라 영상에서 얻은 표면 변형값이나 밝기값을 입력으로 사용한다.