디즈니, 어도비 전용 AI 협업을 영화 후반 제작⁠·⁠ESPN으로 확대

어도비와 월트디즈니가 디즈니의 캐릭터와 작품 세계에 맞춘 생성형 인공지능(AI) 모델을 영화·스포츠 제작 업무로 넓히는 다년 협약을 11월 9일 발표했다. 테마파크 설계 조직인 이매지니어링에서 진행하던 협업에 영화 기술 실험 조직 스튜디오랩과 스포츠 매체 ESPN의 연구 조직이 참여한다. 어도비는 디즈니의 공식 AI 혁신 파트너로서 도구와 연구·엔지니어링 인력을 제공한다.

새 협업의 영화 쪽 초기 과제는 후반 제작과 시각효과용 맞춤 AI 모델이다. 어도비의 해나 엘사크르 부사장은 이날 별도 글에서 스튜디오랩이 디즈니의 창작자·기술자와 함께 제작 과정을 탐색한다고 설명했다. ESPN과는 스포츠 하이라이트와 다큐멘터리의 전달 방식, 보관 영상의 활용을 연구한다. 두 조직과의 공동 프로젝트는 이미 진행 중이라고 회사는 밝혔다.

테마파크에서 쓰던 모델, 영화·스포츠로 확장

디즈니는 기업별 전용 생성형 모델을 개발하는 어도비 파이어플라이 파운드리를 쓴다. 어도비의 제품 설명에 따르면 기업이 보유한 콘텐츠와 지침을 학습에 반영하고, 캐릭터의 속성·배경·시각적 스타일을 여러 장면에서 일관되게 표현하도록 모델을 조정한다.

파운드리의 모델은 이미지·영상·오디오·벡터·3D 등 여러 매체의 출력을 지원한다. 어도비는 모델 개발·배포·접근 권한을 중앙에서 관리하고 기존 제작 도구와 연결할 수 있다고 설명한다. 디즈니가 이번에 쓰는 모델은 디즈니 전용 비공개 모델이라고 로이터는 보도했다. 협약의 금액과 개별 프로젝트의 공개일은 발표에 제시되지 않았다.

어도비가 설명한 파운드리 개발 과정은 기업의 제작 흐름과 지식재산 요건을 파악하는 데서 시작한다. 전용 모델 학습과 작업 흐름 설계 뒤에는 브랜드 지침에 맞는지 시험·검증하고 기업의 도구에 연결한다. 어도비는 기업이 데이터·콘텐츠·출력물의 지식재산권을 보유하며, 기업 환경 안에서 전용 사용권을 갖는다고 안내한다.

테마파크의 콘셉트 설계에서는 이미 두 종류의 모델을 활용하고 있다. 거친 손그림을 완성도 있는 2차원 콘셉트 그림으로 바꾸는 모델과, 기존 디즈니 자산의 시각적 특징을 유지하며 이미지를 만드는 맞춤 모델이다. 어도비는 이번 발표에서 이매지니어링 연구개발 부서가 두 모델을 사용 중이라고 명시했다. 두 모델 모두 테마파크의 새 시설을 기획하고 디자인 안을 검토하는 단계에 투입된다.

앞선 협업 발표는 6월 16일 나왔다. 당시 어도비는 이매지니어링의 디자인 자료를 바탕으로 콘셉트 아트를 빠르게 바꾸고, 2차원 그림을 3D 시제품으로 만드는 작업도 제시했다. 시제품은 착공 전 자재를 추산하고 엔지니어와 설계를 조율하는 데 쓰인다는 설명이었다. 당시 맞춤 이미지 모델의 예로는 겨울왕국·모아나·카 등 디즈니 작품의 자산을 들었다. 이매지니어링이 가진 기존 디자인 목록과 허가받은 자료를 활용해 각 작품의 색감과 형태를 유지하는 것이 개발 목표였다. 이번 발표가 사용 중이라고 구체적으로 확인한 것은 손그림 변환과 맞춤 이미지 생성이다.

디즈니 이매지니어링의 카일 러플린 연구개발 기술·엔지니어링 수석부사장은 로이터 인터뷰에서 몇 달 걸리던 창작 과정이 몇 시간이나 며칠로 줄었다고 말했다. 여러 안을 빠르게 검토하면 실제 시설을 짓는 단계에서 비용이 큰 설계 변경을 줄이는 데 도움이 된다는 설명도 했다. 그는 도구가 이매지니어링의 직무를 대체할 의도로 도입된 것은 아니라고도 밝혔다. 이 기간 비교는 러플린이 설명한 현장 경험이며, 두 회사가 공개한 공통 성능 시험 수치는 없다.

조기 도구 접근과 공동 연구 인력 제공

어도비가 디즈니에 조기 접근을 제공할 도구에는 파이어플라이와 파운드리, 영상 편집 프로그램 프리미어, 이미지 편집 프로그램 포토샵이 포함된다. 창작팀이 쓰는 제작 도구와 함께 전담 연구·엔지니어링 자원을 공급해 디즈니의 제작 과정을 지원한다는 계획이다. 두 회사는 맞춤 모델의 개발이 창작자의 주도로 진행된다고 밝혔다.

협약에는 월트디즈니월드·디즈니랜드·디즈니 크루즈 등에서의 공동 마케팅과 산업 행사 협업도 포함된다. 어도비는 스튜디오랩과 ESPN의 연구를 이어 가면서, 협약이 유지되는 여러 해에 걸쳐 추가 행사와 경험을 순차적으로 선보일 예정이라고 밝혔다.