더빙과 입 모양 보정을 한 번에…일레븐랩스, 25개 언어 지원

일레븐랩스가 동영상의 대사를 다른 언어로 더빙하고 그 음성에 맞춰 화면 속 화자의 입 모양도 바꾸는 ‘Dub & Sync’를 일레븐크리에이티브에 추가했다. 회사는 11월 12일 공개한 소개 영상에서 새 도구가 25개 언어로 영상을 더빙한다고 밝혔다. 원본 영상을 올리고 목표 언어를 고르면 새 음성과 입 모양을 맞춘 영상이 한 번의 작업에서 나온다.

영상 제작자가 기존 촬영분을 다른 언어로 내보낼 때 바뀌는 부분은 음성과 영상의 인계다. 더빙한 음성 파일을 만든 뒤 그것을 다시 입 모양 보정 도구로 옮기는 작업을 한 과정에 묶었다. 카메라를 보고 제품을 설명하는 장면을 현지화한다면, 새 음성이 재생되는 동안 화면 속 입 모양도 해당 언어의 발음에 맞춰 달라지는 방식이다. 회사는 별도의 생성 프롬프트나 수동 편집 없이 이 두 작업을 처리한다고 설명했다.

기존 더빙의 음성 타이밍과 새 도구의 입 모양

일레븐랩스는 앞서 더빙 v2에 번역한 대사의 시작과 끝을 원본 발화 구간에 맞추는 기능을 소개했다. 이 기능은 다른 언어의 말이 원래 영상에서 대사가 나오던 시간에 재생되도록 돕는다. 반면 영상에서 입술이 움직이는 모양은 대사의 시작과 끝만으로 맞출 수 없다. 같은 구간 안에서도 언어마다 발음과 음절의 순서가 달라 입이 열리거나 닫히는 위치가 달라질 수 있다.

기존 더빙 도움말은 자동 더빙에 입 모양 보정이 포함되지 않으며, 영상 편집 기능 등에서 별도로 립싱크를 이용할 수 있다고 설명한다. 12일 공개한 Dub & Sync는 일레븐크리에이티브 안에서 번역된 음성과 그 음성에 맞춘 영상까지 함께 만드는 별도 도구다. 새 도구는 영상이 입력이다. 오디오만 바꾸는 작업은 기존 더빙 문서에서 별도로 안내한다.

새 도구의 25개 언어와 기존 더빙의 90개 이상

회사가 소개 영상에 명시한 25개는 입 모양까지 맞추는 새 작업의 지원 언어 수다. 기존 자동 더빙 문서에는 한국어와 일본어, 영어, 스페인어 등을 포함해 90개가 넘는 언어가 나열돼 있다. 그 문서는 지역별 발음 옵션으로 멕시코 스페인어와 캐나다 프랑스어 등을 따로 안내한다. 이 목록은 기존 더빙의 언어 설정에 해당한다. 이번 공개 자료에는 Dub & Sync의 개별 언어 목록이 적혀 있지 않다.

일레븐크리에이티브는 여러 목표 언어를 골라 같은 영상의 더빙본을 만드는 흐름을 소개했다. 제품 영상이나 강의 클립처럼 한 번 촬영해 언어별로 배포하는 작업을 회사가 예로 들었다. 각 버전에서 달라지는 것은 음성과 그 음성을 발화하는 입 모양이다. 발표에서 영상 자체를 소셜 플랫폼에 게시하는 기능이나 언어별 자막 생성은 별도 기능으로 확인되지 않았다.

일레븐랩스의 기존 더빙 v2 API는 번역과 음성 생성을 자동으로 처리하고, 기업 고객이 대본이나 번역을 바꾼 구간만 다시 만들 수 있다고 소개됐다. 이 문서에 등장하는 동기화는 음성을 원래 발화 시간에 맞추는 설명이다. 새 도구의 영상 입 모양 보정이 같은 API에 추가됐는지, 이미 더빙한 음성이나 수정한 번역문을 새 도구에 넣을 수 있는지는 회사 발표에 나오지 않았다.

앱에 공개된 경로와 이용 조건

회사는 일레븐크리에이티브에 Dub & Sync 전용 앱 주소를 공개했다. 공개 소개 자료에서 확인되는 입력은 영상과 목표 언어다. 기존 더빙 도구에는 파일 크기와 길이, 크레딧에 대한 별도 안내가 있다. 새 영상 도구의 최대 길이와 파일 크기, 사용할 수 있는 요금제와 크레딧 차감 기준은 12일 발표에서 확인되지 않았다. 일반 더빙 비용 안내는 원본 분량과 선택한 언어 수를 기준으로 요금을 매긴다고 설명한다. 이 계산 기준을 Dub & Sync에도 적용하는지는 공개된 요금 안내에서 확인되지 않았다.

더빙 스튜디오에서는 번역 문장을 고치거나 발화 구간의 화자를 다시 지정한 뒤 해당 부분의 음성을 생성할 수 있다. 회사 문서는 이 편집 화면을 기존 더빙 v1 모델로 만든 프로젝트에 제공한다고 안내한다. 한 장면에서 인명이나 제품명을 다르게 읽어야 할 때는 전체 번역을 다시 만드는 대신 해당 구간을 수정하는 데 쓰이는 기능이다. Dub & Sync 공개 자료는 이런 구간별 편집 기능을 설명하지 않았다. 회사가 제공한 새 도구의 공개 링크는 일레븐크리에이티브 안의 전용 앱 화면으로 연결된다.