일레븐랩스 스크라이브 v3 출시, 실시간 전사에 화자 표시

일레븐랩스가 11월 10일 녹음 파일용 ‘스크라이브 v3’와 실시간 음성 인식용 ‘스크라이브 v3 라이브’를 공개했다. 라이브 버전에는 스크라이브 실시간 모델로는 처음으로 화자 구분 기능이 들어갔다. 회의록이나 통화 자막을 만드는 앱은 화자 구분을 켜면 음성을 글로 받는 동안 발언자 표시도 함께 받아 화면에 붙일 수 있다.

두 모델은 일레븐API에서 제공되며, 라이브 버전은 음성 상담 도구를 만드는 일레븐에이전츠에서도 선택할 수 있다. 일반 웹 전사 화면에서는 녹음 파일용 v3가 기본 모델이다. 일레븐랩스 도움말은 일레븐에이전츠의 기본값은 기존 스크라이브 v2 리얼타임이라고 안내한다. 기존 연동에는 같은 전사 API에서 새 모델을 선택하는 경로를 제공한다.

발언자 표시는 임시 결과부터

실시간 API의 화자 구분은 개발자가 켜는 옵션이다. 기능을 켜면 문장이 끝나기 전에도 단어마다 첫 번째 화자, 두 번째 화자처럼 임시 식별 번호가 붙는다. 발언 구간의 글이 확정되면 API는 해당 구간의 화자 정보가 담긴 결과를 별도로 보낸다. 화자 분류가 끝날 때까지 확정된 글을 기다릴 필요 없이 자막에 먼저 표시할 수 있다.

새 음성이 들어오면 임시 번호가 바뀔 수 있다. 모델이 서로 다른 번호를 붙였던 두 발언을 나중에 같은 사람이 한 것으로 판단하면, API가 두 번호를 합치라는 정보를 보낸다. 화자를 정하지 못한 단어는 번호가 빈 채로 남을 수 있다. 일레븐랩스의 개발 문서는 실시간 화자 구분을 API의 배경 음성 필터와 동시에 켤 수 없다고 명시했다.

말이 끝났는지 문맥으로 판단

라이브 버전에는 대화의 앞뒤를 보고 발언이 끝났는지 판단하는 방식도 추가됐다. 예컨대 사람이 전화번호를 읽다 잠깐 멈추면, 짧은 침묵을 곧바로 발언의 끝으로 처리할 때 상담 도구가 말할 차례를 잘못 잡을 수 있다. 문맥을 쓰는 방식을 선택하면 모델의 종료 추정치가 기준에 도달했을 때 구간을 확정한다. 문서에 따르면 무음 시간이 설정된 한도에 도달해도 구간을 확정한다. API의 기본 방식은 앱이 구간 종료를 요청하는 수동 확정이다.

라이브의 다국어 모드는 문장 안에서 언어가 바뀔 때 각 언어의 문자 체계로 받아쓴다. 이 모드에서는 배경에서 들린 다른 언어도 텍스트로 들어오거나 짧은 구절을 잘못 기록할 수 있다고 회사는 안내했다. 녹음 파일용 v3에는 예상되는 보조 언어를 전달하거나, 말로 읽은 숫자를 숫자 기호와 단어 중 어느 형태로 남길지 정하는 옵션이 추가됐다. 회사의 녹음 전사 문서는 한국어를 지원 언어에 포함한다. 제품명이나 전문 용어처럼 받아쓰기가 자주 틀리는 표현은 최대 1,000개까지 녹음용 모델에 참고로 전달할 수 있다.

오류율과 속도를 잰 조건

일레븐랩스 모델 문서에 따르면 녹음용 v3의 단어 오류율은 짧은 낭독 음성을 담은 FLEURS 102개 언어 평가에서 v2보다 27% 낮았다. 라이브 버전은 v2 리얼타임보다 전체 단어 오류율이 31%, 뜻이 달라지는 실수에 초점을 둔 의미 기준 단어 오류율은 43% 낮았다. 두 비율 모두 이전 모델 대비 감소폭이다. 회사는 각 언어를 따로 채점한 뒤 평균을 냈다.

화자 분류는 별도로 평가했다. 일레븐랩스가 실제 환경에서 모은 16개 언어의 자료 중 영어 부분에서 v3 라이브의 화자 분류 오류율은 3.1%였다. 회사는 받아쓴 글을 정답 전사에 먼저 맞춰 놓고, 해당 단어를 어느 화자에게 배정했는지를 비교했다. 단어를 놓친 오류까지 포함하는 채점 방식과는 측정 범위가 다르다.

별도 평가를 공개한 음성 앱 시험업체 세쿠라(Cekura)는 v3 라이브를 공개 음성 1,000개와 별도 대화 녹음 8개로 시험했다. 공개 음성의 단어 오류율은 1.81%, 대화 녹음은 2.05%였다. 시간 측정은 발언 구간 206개를 스트리밍해 205개에서 성공했고 한 건은 실패했다. 음성 전송을 시작한 뒤 첫 글이 나올 때까지 중앙값은 685밀리초, 발언이 끝난 뒤 글이 확정될 때까지는 57밀리초였다.

일레븐랩스의 개발자용 가격표에서 기본 전사 요금은 녹음용 v3가 음성 한 시간당 0.20달러, v3 라이브가 0.22달러다. 같은 표에 나온 각 직전 모델과 기본 단가가 같다. 라이브 전사에 분야별 용어 목록을 적용하면 시간당 0.08달러, 전사문 편집 옵션을 쓰면 시간당 0.12달러가 추가된다. 두 모델의 기본 운영 환경은 미국이다. 회사는 기업 고객에게 유럽연합, 인도, 싱가포르의 별도 환경도 제공한다고 밝혔다.