세일즈포스, 녹음 전사 AI 공개…추임새 빼고 숫자 표기도 지정

세일즈포스가 11월 12일 녹음 파일을 글로 바꾸는 인공지능(AI) 모델 ‘SOV-Transcribe-1’을 공개했다. 허깅페이스에서 가중치를 내려받아 자체 서버에 설치할 수 있다. 회의나 통화가 끝난 뒤 녹음을 전사하는 용도로 설계됐으며, 녹음과 함께 텍스트로 지시를 주면 말을 그대로 옮기거나 추임새를 덜고 숫자 표기를 바꾼 결과를 받을 수 있다.

세일즈포스 모델 카드에 따르면 지원 언어는 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어다. 한국어는 이 목록에 없다. 회사는 파일당 최대 30분 길이의 음성을 시험했다. 전체 녹음을 입력받아 전사문을 돌려주는 방식이어서, 발화 중에 글자가 나타나는 실시간 자막과 쓰임이 다르다. 회사가 문서화한 서버 구성에서는 요청 하나에 최대 10분이 기본값이며, 한도를 조정해 30분까지 받을 수 있다.

같은 녹음도 전사문 표기를 지정

기본 동작은 말한 내용을 그대로 옮기는 전사다. 용도에 따라 텍스트 지시를 붙이면 대소문자나 문장부호를 조정하고, 말로 읽은 숫자를 숫자 기호로 쓰거나 머뭇거리는 표현을 덜어낸 전사문을 만들 수 있다. 상담 기록에서 실제 발화 순서를 남길 때와 받아쓴 문장을 읽기 쉽게 정리할 때 같은 녹음에 서로 다른 표기 조건을 적용할 수 있다.

회사명이나 사람 이름처럼 발음이 비슷한 단어가 여럿이면 예상 용어 목록이나 대화 주제도 입력할 수 있다. 세일즈포스는 기업 실적 발표 녹음을 잘라 만든 시험에서 해당 클립에 나오는 이름과 용어 목록을 제공했을 때, 핵심 용어 인식 점수가 71.9에서 96.8로 올랐다고 밝혔다. 이 수치는 정답 용어를 얼마나 정확히 찾아냈는지를 평가한 점수다. 미리 입력한 이름과 용어가 실제 녹음에 얼마나 맞는지에 따라 전사 결과도 달라질 수 있다.

영어 단어 오류율 2.3%의 평가 범위

독립 평가기관 아티피셜 애널리시스의 비실시간 음성 전사 순위표는 SOV-Transcribe-1의 단어 오류율을 2.3%로 표시했다. 12일 공개된 평가에서 가중치를 내려받을 수 있는 모델 가운데 가장 낮은 수치였다. 평가는 전사 결과를 사람이 확인한 기준 문장과 대조해 단어가 바뀌거나 빠지거나 더해진 횟수를 더한 뒤 기준 전사문의 단어 수로 나눈다.

시험 자료는 영어 음성 약 8시간이다. 음성 에이전트와의 대화가 지수의 50%를 차지하고, 유럽의회 발언과 기업 실적 발표 통화가 각각 25%를 차지한다. 2.3%는 세 자료의 점수를 이 비중으로 합친 결과다. 단어 오류율은 이 기록을 얼마나 정확히 옮겼는지 보여 주며, 이메일 주소나 전화번호 하나를 통째로 맞히는 비율은 별도 기준으로 봐야 한다.

세일즈포스가 공개한 다른 평가에서는 시험 조건에 따라 오류율이 달랐다. 회사는 14가지 영어 억양이 담긴 상담원과 고객의 대화에서 평균 8.21%를, 발화에 없는 내용을 전사문에 덧붙이기 쉬운 실적 발표 녹음을 모은 시험에서 25.69%를 보고했다. 두 수치 모두 세일즈포스가 별도 자료에 적용해 얻은 결과다. 시험마다 녹음 환경과 자료 구성이 달라 이 수치는 해당 자료에서 모델이 얼마나 정확히 전사했는지를 보여 준다.

공개된 모델은 음성의 특징을 읽는 위스퍼 인코더와 글을 생성하는 젬마 4 계열 모델을 결합했다. 모델 카드에는 음성 인코더를 포함해 매개변수 총 266억 개, 입력을 처리할 때 활성화되는 매개변수 46억 개로 적혀 있다. 일부 매개변수만 작동해도 배포할 때는 전체 가중치를 저장하고 읽어 올 환경이 필요하다. 허깅페이스가 표시한 저장소 크기는 약 53.3GB다. 이 값은 내려받을 파일의 규모를 보여 주며, 전사할 때 쓰는 메모리에는 입력 음성과 처리 중에 생기는 데이터도 들어간다.

세일즈포스는 가중치의 라이선스를 아파치 2.0으로 표시했고, 실행에 필요한 모델 코드도 저장소에 올렸다. 모델 카드가 안내하는 실행 경로는 허깅페이스 트랜스포머스와 vLLM이다. 출시 시점에는 두 도구의 기본 지원을 추가하는 작업이 진행 중이어서 회사가 저장소에 넣은 모델 코드나 플러그인을 쓰는 형태다. 회사는 공개 가중치의 배포 경로를 안내했고 별도의 기술 보고서는 추후 공개 예정으로 표시했다.