메이퇀, 롱캣 비디오 아바타 1.6 발표…10분 넘는 말하는 영상 생성

메이퇀 롱캣팀이 11월 15일 녹음된 음성에 맞춰 인물이 말하는 영상을 만드는 ‘롱캣 비디오 아바타 1.6(LongCat-Video-Avatar 1.6)’을 발표했다. 팀은 기존 버전에서 영상 뒤로 갈수록 얼굴과 입 주변의 모습이 흐트러지는 문제를 줄여, 10분이 넘는 영상을 만들 수 있다고 밝혔다. 허깅페이스에는 가중치 파일과 모델 카드가 앞선 11월 13일에 올라왔다. 15일에는 해당 버전을 실행할 코드가 프로젝트의 기본 브랜치에 병합됐다.

긴 설명 영상이나 여러 인물이 대화하는 장면을 만드는 제작팀은 새 가중치를 내려받아 자체 환경에서 영상 길이와 인물의 일관성을 검토할 수 있다. 입력은 음성이 중심이며 이미지나 글로 인물과 장면을 지정하거나 기존 영상의 뒤를 이어 생성할 수 있다. 여러 인물의 음성을 쓰는 방식도 이전 버전에서 지원했다. 이번에 바뀐 부분은 영상을 이어 붙이는 동안 일어나는 외형 변화와 말할 때의 입·얼굴 움직임이다.

영상을 이어 만들 때 쌓이는 변화

롱캣 비디오 아바타는 긴 영상을 여러 구간으로 나눠 만든다. 앞 구간의 마지막 프레임 일부를 다음 구간에서 다시 참조하고, 다음 장면을 만든 뒤 새 프레임을 덧붙이는 방식이다. 처음에는 작았던 입 주변의 색이나 피부 질감 차이도 이 과정에서 반복해서 반영되면 후반부 화면에서 더 크게 드러날 수 있다.

롱캣팀은 1.6을 다듬을 때 모델이 스스로 만든 앞 장면을 이어 쓰는 상황을 훈련에 포함했다고 설명했다. 같은 음성·이미지 입력을 준 이전 버전과의 비교 영상도 프로젝트 페이지에 올렸다. 팀이 제시한 10분은 생성된 영상의 재생 길이다. 모델 카드의 실행 예제는 GPU 두 개를 쓰며, 10분 길이의 영상을 생성하는 데 드는 시간이나 최소 그래픽 메모리 용량은 자료에 제시되지 않았다.

선호도 투표와 입 모양 검사

개발팀의 선호도 시험은 이미지와 음성의 조합 508개를 사용했다. 평가자는 같은 입력을 받은 두 모델의 영상을 나란히 보고 선호하는 쪽을 골랐다. 1.5와 1.6, 상용 시스템 4종으로 가능한 15개 조합을 비교해 유효 투표 3만3,051건을 모았다. 일부 생성 결과에 오류가 있어 모델 조합마다 실제 비교에 들어간 영상 수는 달랐다. 이 평가에서 1.6은 옴니휴먼 2.0에 이어 2위였다.

채점에는 두 영상이 모두 좋거나 모두 나쁘다는 선택지도 있었다. 연구팀은 이를 무승부로 처리해 두 모델에 절반씩 점수를 줬다. 1.6과 1.5를 직접 비교한 유효 투표 2,535건에서는 이 방식으로 계산한 1.6의 승률이 55.6%였다.

팀은 별도로 영상이 얼마나 사람처럼 보이는지도 평가했다. 사실적인 이미지에서 사람과 비슷하다는 평가는 개선됐고, 애니메이션 이미지에서는 평균 점수가 낮아졌다. 입 모양의 경우 0.5배속으로 재생한 전문가 검사에서 음성과 맞지 않는 사례의 비율이 1.5의 83.7%에서 1.6의 82.5%로 내려갔다. 0.5배속 검사 수치는 평가 자료에서 입 모양을 따로 관찰한 결과다. 길이가 10분을 넘는 영상만 모아 계산한 비율은 공개 자료에 제시되지 않았다.

가중치는 MIT 라이선스로 배포한다. 모델 카드는 기본 가중치 외에 일부 수치를 낮은 정밀도로 저장한 선택형 파일도 안내한다. 공개 파일 목록에서 주 모델의 가중치 저장 용량을 합산하면 기본 파일은 약 31.7GB, 8비트 선택형은 약 15.9GB다. 이 숫자는 가중치 파일 자체의 크기다. 실제로 실행할 때 필요한 그래픽 메모리에는 모델이 처리하는 영상과 음성의 크기도 영향을 준다.

확인 시점에 허깅페이스의 모델 페이지에는 이 모델을 대신 실행해 주는 호스팅 업체가 표시되지 않았다. 모델 파일 저장소에는 기본·8비트 버전과 보조 파일, 예시 영상이 함께 있다. 전체 저장소의 표시 용량 77.6GB에는 이런 자료도 포함된다.

롱캣팀은 모델이 폭넓은 용도에서 별도로 평가된 상태는 아니라고 밝혔다. 특히 민감하거나 판단 결과가 사람에게 영향을 주는 용도에서는 실제 환경에 맞춰 정확성·안전·공정성을 평가할 필요가 있다고 모델 카드에 적었다. 모델을 내려받아 실행하는 데 드는 비용과 사람의 얼굴·음성 자료를 사용할 권리는 가중치의 공개 라이선스와 별도로 확인해야 하는 조건이다.