테더, 휴대전화용 AI ‘봇프시’ 공개…일정 추가 기능 고른다

테더 AI 리서치가 11월 11일 휴대전화와 노트북에서 실행하도록 설계한 소형 AI 모델 ‘QVAC 봇프시(BotPsy)’의 가중치를 공개했다. 알람 설정이나 일정 추가 요청을 받으면 앱이 제공한 기능 중 무엇을 실행할지 고르는 모델이다. 테더는 8억 개 매개변수 규모의 봇프시를 개발자가 자체 앱에 넣을 수 있도록 허깅페이스에 배포했다.

앱 개발자는 모델이 사용자 요청을 해석하는 부분을 기기에서 처리하고, 일정 저장이나 검색처럼 실제 작업은 각 앱의 기능에 맡길 수 있다. 모델 파일은 아파치 2.0 라이선스로 공개됐다. 테더가 이번에 내놓은 것은 개발용 모델이며, 휴대전화에 설치해 바로 쓰는 봇프시 전용 앱은 출시하지 않았다. 이용자가 쓸 수 있는 기능은 개발자가 연결한 앱과 허용한 동작에 따라 달라진다.

일정에 쓸 기능은 모델이 고르고 앱이 실행

테더가 공개한 일정 예시에서는 사용자가 약속을 추가해 달라고 하면 모델이 일정 만들기 기능을 고른 뒤 제목과 요일, 시각을 채운다. 그러면 앱이 일정표에 새 항목을 쓰고 처리 결과를 모델에 돌려준다. 여러 단계가 필요한 작업에서는 그 응답이 다음에 고를 기능의 입력이 된다. 대화창에 일정 내용을 적어 주는 것에서 한 걸음 더 나아가 실제 기록을 남기려면 이런 연결이 필요하다.

인터넷이 끊긴 상태에서도 모델을 실행하고 기기 안에 있는 기능을 호출할 수 있다는 게 테더의 설명이다. 웹 검색처럼 외부 서버에 요청을 보내는 작업에는 연결이 필요하다. 같은 일정 추가 요청도 기기에만 저장하는 앱을 연결했는지, 서버와 동기화하는 서비스를 연결했는지에 따라 정보가 처리되는 위치가 달라질 수 있다. 로컬 모델을 선택하는 결정과 앱이 어디로 데이터를 보내는지 정하는 결정이 각각 필요하다.

테더는 봇프시를 쉽거나 중간 정도 난이도의 작업을 연구하는 데 적합한 모델로 소개했다. 모델 설명서는 오류가 날 수 있다며 금전이나 개인정보, 건강을 다루는 애플리케이션과 안전에 중요한 자동 결정을 용도에서 제외했다. 회사가 제시한 일정과 메시지 예시는 모델과 앱이 어떤 식으로 역할을 나눌 수 있는지 보여 주는 설명이다. 실제 계정에서 어떤 기능에 접근할지는 제품을 만드는 쪽에서 정한다.

앱 기능을 고르는 시험에서 44.0점

봇프시는 알리바바의 큐원3.5-0.8B를 바탕으로 추가 학습한 모델이다. 테더는 버클리 함수 호출 평가(BFCL v4) 등 여섯 가지 시험에서 기능 선택과 연속 작업을 비교했다. 버클리 평가는 주어진 함수 중 알맞은 것을 선택하고 필요한 값을 채우는 능력과 여러 차례 대화를 이어가는 능력 등을 본다. 테더가 공개한 표에서 봇프시는 이 평가에서 100점 만점에 44.0점, 바탕 모델은 23.4점, 같은 계열의 20억 매개변수 모델은 37.7점을 받았다.

여섯 가지 시험 가운데 다섯 가지에서 봇프시가 20억 매개변수 큐원보다 높은 점수를 얻었다. 작업 완료와 안전성 등을 함께 보는 클로 평가에서는 큰 모델이 48.9점, 봇프시가 46.5점이었다. 테더는 별도 분석에서 여러 단계가 필요한 작업의 봇프시 평균을 50.3점으로 제시했다. 일곱 개 작업 그룹에 걸친 평균으로, 버클리 평가 전체 점수와는 집계 범위가 다르다.

압축 파일을 별도로 시험한 자료도 있다. 테더는 11월 6~7일 엔비디아 H100 그래픽처리장치로 압축판을 평가했다. 이 시험은 파일을 줄인 모델이 정해진 작업에서 얻은 점수를 보여 준다. 공개된 비교표에서 스마트폰 기종별 응답 속도나 배터리 소모량은 확인할 수 없다.

압축 파일도 배포, 기본 권장 언어는 영어

공개 저장소에는 일반 가중치 파일과 로컬 실행 프로그램이 읽는 GGUF 파일이 올라왔다. GGUF 저장소에는 추가 압축을 거치지 않은 BF16 파일이 약 1.52GB, 8비트 압축 파일이 약 0.81GB, 4비트 파일이 약 0.53GB로 표시됐다. 압축 파일은 가중치를 더 적은 비트로 기록해 내려받을 용량을 줄인다. 실제 앱이 실행 중에 쓰는 메모리에는 모델 가중치 외에도 대화 내용과 실행 프로그램이 들어가므로 다운로드 용량만으로 휴대전화의 실행 조건을 정할 수는 없다.

테더는 영어를 기본 권장 언어로 명시했다. 모델 설명서에 나온 별도 다국어 평가에는 영어 외에 중국어·프랑스어·힌디어·이탈리아어·포르투갈어·러시아어·스페인어가 들어갔다. 공개한 언어별 시험 목록에 한국어는 포함되지 않았다. 테더는 이 모델을 바탕으로 더 무거운 작업을 휴대전화에서 집의 컴퓨터로 넘기는 방안도 소개했다. 회사가 공개한 개발 구상에 해당하며 적용 일정은 안내문에 제시되지 않았다.