AI가 자기 목소리 듣고 말 끊는 문제…소니옥스 v6 출시

소니옥스가 11월 3일 음성 인식 모델 STT v6를 출시했다. 음성 에이전트가 말하는 내용을 글자로 함께 받아, 마이크에 섞여 들어온 에이전트의 목소리를 걸러내는 기능을 추가했다. AI가 자기 목소리를 사용자의 발화로 받아 다시 응답하거나 스스로 말을 끊는 문제를 줄이려는 변화다. 사용자가 AI의 말 도중 끼어들어도 계속 듣는다고 회사는 설명했다.

실시간·녹음 파일 처리용 모델을 함께 제공하며, 새 에이전트 기능은 실시간 모델에 적용된다. 기존 v5는 12월 15일 제거 예정이다. 이후 v5 이름으로 보낸 요청은 v6로 자동 연결된다는 것이 공식 변경 기록의 설명이다. 기존 서비스도 새 버전의 출력 형식에 영향을 받게 된다.

소니옥스는 60개 이상 언어에서 받아쓰기·회의 전사·화자 구분 등을 개선했다고 밝혔다. 지원 언어 목록에는 한국어도 포함되며, 실시간·녹음 파일 경로에서 전사와 지원 언어 사이의 번역을 제공한다. 다만 공개 벤치마크 페이지의 정확도와 지연 수치는 8월 기준 v5 결과다. 이를 이번 v6의 성능으로 읽을 수는 없다. 이번 취재에서도 모델을 실행해 오류 감소율이나 응답 시간을 측정하지 않았다.

에이전트 문장은 실제 재생 시점에 맞춘다

새 기능은 AI의 질문을 음성 인식에도 전달한다. 짧은 답에 담긴 이름이나 선택지를 알아들을 때 앞선 질문을 참고하게 한다. 개발 문서는 사용자 음성과 에이전트 글자를 같은 연결로 보내되, 글자 조각을 해당 소리가 실제 재생되기 약 500밀리초~1초 전에 전송하도록 안내한다. 글자 전송 시점은 사용자가 듣는 재생 위치를 기준으로 정한다.

사용자가 끼어들어 재생을 멈추면 이미 들려준 부분까지만 전달하고 해당 차례를 끝낸다. 아직 재생하지 않은 나머지는 보내지 않는다. 기존 음향 반향 제거도 계속 켠다. 새 기능은 그 처리를 거친 뒤 남는 에이전트 음성을 다루며, 최종 전사에는 사용자 발화만 담긴다는 설명이다.

통화 전체에 적용할 이름·전문 용어는 별도의 배경 정보로 보낸다. 이 정보는 세션 시작 때 한 번 전달해 계속 사용하고, 방금 읽어 준 질문은 에이전트 글자로 보낸다. 배경 정보 문서는 이름의 철자, 업무 분야, 자료나 FAQ, 용어별 번역 표기를 제공할 수 있다고 설명한다. 등록한 용어는 주변 문장에 맞을 때 채택한다. 첫 질문 전의 발화도 이 배경 정보의 적용 대상이다. 배경 정보의 한도는 8,000토큰으로, 문서는 약 1만 글자로 환산한다. 이를 넘는 요청은 오류로 반환한다. 한국어 고유명사는 한글 표기로 담도록 안내한다.

받아쓰기 출력도 바뀐다. v6는 ‘15 dollars and 20 cents’를 통화 기호를 붙인 숫자로 자동 바꾸는 대신 통화 단어를 살려 적는다. 코드·식별자의 하이픈은 말로 발음했을 때만 넣는다. ‘period’나 ‘new line’ 같은 구두점·서식 명령도 글자로 반환하며 이를 실제 서식에 적용하는 처리는 앱이 맡는다.

같은 서비스에서 대화 차례의 끝을 판별하는 설정은 응답 시점을 결정한다. 공식 문서는 침묵의 길이 외에 억양·말의 흐름·대화 맥락을 함께 사용한다고 설명한다. 끝으로 판별하면 앞선 전사 내용을 확정하고 종료 신호를 보낸다. 앱은 이 신호로 다음 AI 응답이나 명령 실행을 시작할 수 있다.

이 설정에는 속도와 정확도의 교환 관계가 있다. 더 일찍 내용을 확정하면 응답 대기 시간이 줄지만 문장을 고칠 시간이 짧아져 단어 인식 정확도가 소폭 낮아질 수 있다. 화자 구분을 함께 켠 경우에는 조기 확정으로 화자 판별 정확도가 낮아진다고 개발 문서는 명시한다.

요금표는 실시간 전사를 시간당 약 0.12달러, 녹음 파일은 약 0.10달러에 해당한다고 안내한다. 실제 과금은 토큰 기준이다. 실시간 모델은 입력 음성 100만 토큰당 2달러, 입력 글자와 출력 글자는 각각 4달러다. 녹음 파일 모델은 같은 항목에 각각 1.50달러, 3.50달러, 3.50달러를 책정했다.

공식 환산 예시는 음성 한 시간이 입력 음성 약 3만 토큰, 발화 한 시간이 출력 글자 약 1만 5,000토큰에 해당한다고 적었다. 따라서 시간당 안내액은 사용량을 가늠하는 값이며, 대화에 추가한 글자 분량도 계산에 들어간다. 에이전트가 읽는 문장 역시 입력 글자 요율로 과금하며 실제 모델에 도달한 글자만 청구한다.