흄, 녹음에 질문하는 음성 API 공개…대기 명단 접수

흄AI가 녹음 파일에 자연어로 질문하고 답변별 확률을 받는 ‘오디오 디시전 API’를 11월 2일 공개했다. 개발자가 질문과 허용할 답을 정하면 음성 자체를 분석해 수치로 응답한다. 현재 API 이용은 대기 명단 신청을 거치는 방식이다.

음성 서비스를 만드는 팀은 상담원과 고객의 말이 겹치는지, 합성 음성이 자연스럽게 들리는지 등을 녹음에 물어볼 수 있다. 흄은 같은 녹음에 새로운 평가 항목을 추가할 때마다 분류 모델을 따로 학습시키는 작업을 줄이는 용도로 제품을 소개했다. 생성 음성 평가와 고객센터 통화 검토, 음성 자료 분류가 회사가 제시한 적용 대상이다.

공식 문서상 입력은 5초~5분 길이, 최대 2,500만 바이트의 MP3·WAV 파일 한 개다. 여러 녹음은 파일별로 요청하며, 제공되는 개발 도구는 긴 녹음을 5분 이하로 나눠 보낸다. 각 조각은 앞선 요청의 기억 없이 독립적으로 평가한다. 긴 통화의 결과를 합치는 일은 이용자 프로그램이 맡는다. 실시간 음성 처리도 최근 음성을 짧게 잘라 보내는 일반 파일 요청의 형태로 안내했다. 한 요청에서 일반 질문은 최대 20개, 소리가 발생한 구간을 찾는 질문은 추가로 최대 5개까지 받는다.

질문의 형식은 예·아니요, 여러 보기 중 선택, 순서가 있는 척도의 점수, 사건이 발생한 시간 구간으로 나뉜다. 요청에는 누가 고객이고 누가 상담원인지, 녹음이 어떤 상황인지 설명하는 배경 정보도 함께 넣을 수 있다. 이미 작성한 녹취록을 배경으로 첨부하는 것도 선택 사항이다. 말투의 범주를 고르는 질문과 자연스러움의 정도를 매기는 질문은 답의 구조가 다르다. 전화벨이나 한숨이 언제 나오는지도 물을 수 있다. 구간 탐지는 현재 실험 단계이며 위치를 찾는 정밀도를 개선하고 있다고 흄은 밝혔다.

예·아니요와 선택·점수 응답의 확률은 같은 음성을 들은 사람들 중 해당 답을 고를 비율의 추정치다. 문서는 값이 0.5에 가까우면 평가자의 판단이 갈릴 것으로 해석한다. 선택·점수 응답에 붙는 confidence 역시 사람들 사이의 일치 정도를 나타낸다. 모델이 스스로 얼마나 확신하는지를 뜻하는 지표와는 구별된다.

사람의 평가와 맞춘 초기 시험

흄은 초기 평가에서 모델과 사람 평가자 집단의 평균 판단이 일치한 비율을 70.7%로 제시했다. 개인 평가자와 집단 평균의 일치율은 56.5%였다. 이 비교는 집단의 청취 판단에 얼마나 가까운지를 잰 회사 측 결과다. 모든 음성 질문의 정답률이나 사람의 실제 감정을 확인한 비율로 제시한 수치가 아니다.

질문 작성 안내에는 듣기 방식의 한계도 적혔다. 모델은 음성을 하나의 채널, 16kHz 표본화율로 듣는다. 소리가 왼쪽과 오른쪽 중 어디서 났는지 판단하는 질문이나 8kHz보다 높은 소리는 대상에서 벗어난다. 문서는 거의 침묵뿐인 파일에도 높은 일치도를 나타내는 답이 나올 수 있다고 적었다. 배경 소음을 지우거나 음량을 자동 조절하는 처리 역시 판단할 소리의 특성을 바꾼다. 전화 녹음은 고주파 정보가 적어 음질 평가가 스튜디오 녹음과 다르게 나올 수 있다고 문서는 설명했다.

답을 비교하는 조건에는 질문의 표현뿐 아니라 함께 보낸 다른 질문과 순서도 들어간다. API 명세에 따르면 한 요청의 질문을 함께 처리하므로 질문을 추가·삭제하거나 순서를 바꾸면 응답이 달라질 수 있다. 문서에 따르면 같은 파일과 같은 요청은 같은 답을 반환하므로, 반복 호출한 결과를 평균내는 방식으로 응답을 개선할 수는 없다. 통화 여러 건을 대조하는 평가에서는 같은 질문 묶음을 유지하는 조건이 붙는다.

응답을 실제 조치로 바꾸는 기준은 이용자의 프로그램이 정한다. 흄의 해석 안내는 기준값을 낮추면 찾는 사례와 오탐이 함께 늘고, 높이면 그 반대가 된다고 설명한다. 중간 범위의 사례를 사람에게 보내 검토하는 방식도 제시했다. 기준은 정답이 붙은 같은 종류의 녹음으로 확인하도록 안내한다.

흄은 API 버전을 바꾸지 않고도 내부 모델을 갱신할 수 있으며, 갱신 후에는 같은 녹음과 질문에 대한 답이 바뀔 수 있다고 밝혔다.

응답에는 실행 식별자와 과금 대상 입력 토큰 수가 포함된다. 별도의 실행 기록 조회는 상태와 처리 시각, 원래 요청을 제공한다. 답변 자체는 최초 분석 응답에서만 반환되므로, 나중에 결과를 다시 대조하려면 이용자가 답변을 따로 보관해야 한다.