한국어 녹음도 화자별 전사…엔비디아, 40개 언어 음성 모델 공개

엔비디아가 10월 28일 녹음 파일의 전사·번역·화자 구분·질의응답을 한 모델로 처리하는 네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)를 공개했다. 40개 언어를 받아쓰고 31개 언어를 영어와 양방향으로 번역한다. 화자 구분은 13개 언어에서 최대 8명을 지원하며, 한 시간 길이의 녹음을 처리한다.

한국어도 전사와 영어 간 번역, 여러 화자가 말한 내용 구분, 한 녹음에서 언어를 섞어 쓰는 작업의 지원 목록에 들어 있다. 개발자는 가중치를 내려받아 녹음이 처리되는 환경을 직접 정할 수 있다. 이번 공개 모델은 녹음이 끝난 파일을 처리하는 오프라인 방식이다. 음성 이해와 추론, 말로 한 지시 수행의 평가는 영어로 이뤄졌다고 모델 카드는 설명한다.

같은 녹음에서도 자연어 지시에 따라 출력물을 바꾼다. 발언을 그대로 옮기거나 읽기 쉬운 문장으로 정리하고, 화자 표시를 붙이거나 영어로 번역하는 식이다. 제품명·전문용어를 문맥으로 줄 수도 있다. 엔비디아는 의료 용어의 철자를 제시하되 실제 음성에서 들릴 때만 쓰도록 하는 요청 예시를 공개했다. 함께 내놓은 Granary v2 데이터와 미세조정 도구는 분야별 어휘와 억양에 맞추는 데 쓰인다.

기술 보고서는 말의 내용을 인식하는 부분과 화자의 활동 정보를 추출하는 부분을 함께 연결했다고 설명한다. 학습에서는 같은 음성에도 여러 작업 지시를 붙여 서로 다른 전사 형태를 익힌다. 이후 짧은 강화학습 단계로 전사 정확도를 조정했다. 소리와 음악에 대한 이해도 전사를 보조하는 목적이며, 범용 비서와의 경쟁을 목표로 최적화한 모델은 아니라고 밝혔다.

녹음 후 처리부터 서비스 적용 시험까지

인플렉션 AI는 같은 날 차기 Pi의 다자간 대화를 위한 음성 처리 개발 과정을 공개했다. 기존 처리 흐름은 누가 말하는지를 나누고 그 사람이 말한 단어를 따로 전사하는 단계를 연결한다. 여러 사람이 동시에 말하면 서로의 발언이 한 문장에 섞이는 문제를 다루기 위한 구성이다. 새 트랜스크라이브는 하나의 다국어 모델로 언어 범위를 넓힐 후보로 시험 중이다.

회사는 짧은 음성 구간에 새 모델을 적용하는 초기 실험을 진행했으며, 실시간 흐름에 연결할 버퍼링과 전사문 처리 로직을 만들고 있다고 밝혔다. 기존 처리 방식과 정확도·응답 지연·운영 비용을 비교하는 작업도 진행한다. 공개한 두 모델의 시험은 사용 조건이 달라 직접적인 성능 대결로 읽기 어렵다고 설명했다. Pi 이용자에게 이 기능을 공개할 날짜는 제시하지 않았다.

전문 분야 적응 방법은 엔비디아의 별도 의료 전사 실험 문서에 구체적으로 나와 있다. 연구팀은 인도 영어 의료 음성의 테스트 자료를 화자 기준으로 나눠 855개 클립으로 요청 문구와 학습 결과를 고르고, 남은 2,764개 클립으로 평가했다. 같은 채점기로 계산한 단어 오류율은 최적 요청 문구를 쓴 기본 모델의 22.44%에서 미세조정 모델의 12.17%로 낮아졌다.

학습 자료에는 의학 문장을 합성한 음성과 실제 강의·인터뷰, 지역 억양의 녹음이 함께 들어갔다. 숫자와 단위, 약품명 표기 관례도 여러 형태로 학습시켰다. 다만 약품 브랜드명과 진단명 일부의 정확한 일치는 비교 대상 전문 모델이 앞섰다. 일반 영어 시험의 오류율도 1.54%에서 1.69%로 소폭 올랐다. 공개 문서는 분야별 개선과 일반 음성 성능을 함께 측정한 결과를 제시한다.

아고라(Agora)는 수업이 끝난 뒤 녹음을 다시 찾는 데 활용한 데모를 공개했다. 교사의 영상·음성·공유 콘텐츠를 실시간으로 전달하고 브라우저에 수업을 녹화한다. 수업 종료 후 음성을 엔비디아의 사전 접근 모델에 보내면 단어별 시각이 붙은 전사문을 받아 재생 화면 옆에 표시한다. 생방송 전달과 수업 후 전사 처리를 나눈 구현이다.

단어별 시각은 설명이 나온 지점을 다시 찾고 녹음 속 발언을 확인할 연결고리가 된다. 데모 작성자는 용어 검색과 특정 시점 이동, 수업 요약 같은 후속 도구의 기반으로 이 방식을 제시했다. 아고라가 설명하는 대규모 방송의 수용 인원은 제품 목표의 맥락이며, 이번 수업 데모를 그 규모에서 시험한 결과는 아니라고 원문은 밝혔다.

모델 가중치는 BF16·FP8·NVFP4 형식으로 배포됐다. 모델 카드가 오디오 인코더까지 포함해 적은 전체 매개변수는 340억 개, 매번 활성화하는 부분은 약 43억 개다. 상업·비상업 이용을 지원하며 OpenMDW 1.1 라이선스가 적용된다. 공개 실행 예시는 H100 80GB 한 장을 기준으로 한다.