사진으로 만든 3D 공간을 블렌더로…월드랩스 아틀라스 공개

월드랩스가 11월 12일 사진을 탐색 가능한 3D 공간으로 만드는 AI 모델 아틀라스(Atlas)를 일반에 공개했다. 지난 9월에는 일부 파트너만 접근할 수 있었지만, 이제 사용자는 웹 도구에 로그인해 사진이나 생성 이미지를 바탕으로 공간을 만들고, 원래 사진에 없던 시점에서 장면을 보거나 카메라 이동 경로를 영상으로 렌더링할 수 있다. 월드랩스는 같은 모델을 자체 작업 도구에 연결할 수 있도록 개발자용 API도 열었다.

월드랩스는 결과물로 정지 이미지와 영상, 나중에 다른 각도에서 다시 볼 수 있는 3D 파일을 제시했다. 예를 들어 촬영 전 세트 구도를 검토하는 팀은 같은 장면의 여러 시점을 뽑을 수 있고, 3D 장면 자체가 필요한 팀은 가우시안 스플랫 파일을 블렌더로 가져갈 수 있다. 월드랩스의 공개 안내는 사진을 올리는 뷰파인더(Viewfinder)와 간단한 입체 도형으로 공간의 구조부터 잡는 치즐(Chisel)을 별도 도구로 소개했다.

사진 밖으로 카메라를 옮기면

뷰파인더는 실사 사진이나 생성 이미지를 바탕으로 장면을 재구성하고 새로운 시점을 만든다. 개발자 문서에서 사진으로 장면을 만드는 작업은 먼저 사진을 찍은 카메라의 위치와 방향, 이미지 속 표면까지의 거리를 추정하는 단계에서 시작한다. 같은 방을 서로 다른 위치에서 찍은 사진을 함께 넣으면, 모델은 각각의 사진을 하나의 공간에 맞춰 놓고 새 시점을 만드는 데 참고한다. 카메라 경로를 지정한 영상은 그 경로에 놓인 시점을 차례대로 그려 프레임을 이어 붙인 결과다.

사진에 보이는 범위를 크게 벗어나면 모델이 가려진 곳을 채운다. 월드랩스가 개발자 문서에 실은 도예 작업실 예제에서는 원본 사진 한 장을 바탕으로 작업대 주위의 새 시점 일곱 개를 만들었다. 원본에서 보이지 않는 물레 반대편과 카메라 뒤쪽 벽, 출입구는 모델이 생성한 부분이라고 회사는 설명했다. 사진에 가려진 부분을 그려 낸 새 시점은 촬영 구도를 살피는 데 쓸 수 있다. 그 시점에서 보이는 벽의 위치나 문 모양은 모델이 추정한 결과다.

방의 구조부터 정하는 치즐

치즐에서는 사용자가 벽이나 가구의 자리와 크기를 단순한 입체 모형으로 먼저 정한다. 배치를 바꾸면 도구가 그 배치에 따라 각 카메라에서 보이는 장면을 갱신한다. 개발자 문서의 예제에서는 건물의 윤곽을 유지한 채 한 장면에 따뜻한 해 질 녘의 분위기를, 다른 장면에 눈이 쌓인 저녁의 분위기를 입혔다. 문서에서 깊이 정보는 물체의 배치를 잡는 데 쓰이고, 조명과 재질 같은 외관은 별도로 지정한다. 사진 속 공간을 출발점으로 삼는 뷰파인더와 달리, 치즐은 사진이 없는 세트나 방의 배치도 출발점으로 삼는다.

다른 프로그램으로 옮길 수 있는 출력에는 가우시안 스플랫이 있다. 가우시안 스플랫은 공간에 수많은 반투명 입자를 배치해 표면과 색을 그리는 방식이다. SPZ 파일에는 이 입자 정보가 담긴다. 월드랩스는 게임이나 시뮬레이션에서 쓸 수 있도록 스플랫을 표면을 가진 메시로 바꾸는 도구도 소개했다. 11월 10일 나온 블렌더 5.3은 SPZ와 PLY 파일의 스플랫을 점 구름 형태로 가져와 렌더링한다. 생성과 편집을 블렌더 안에서 요청하는 월드랩스 확장 기능은 파일을 열어 보는 기본 기능과 별도로 제공된다.

3D 파일을 만드는 API에는 건당 요금

개발자 API에서 SPZ를 만드는 작업에는 이미지뿐 아니라 각 이미지의 카메라 위치·방향과 깊이 데이터가 들어간다. 공식 문서는 초안 작업에 2~32프레임, 정제 작업에 2~512프레임을 받을 수 있다고 안내한다. 완료된 작업 기준으로 초안은 500크레딧(0.50달러), 기본 설정인 정제는 5,000크레딧(5달러)이다. 실패한 작업에는 이 요금이 붙지 않는다. 가령 사진에서 카메라 정보와 깊이를 얻은 뒤 새 시점을 만들어 재구성한다면, 앞 단계의 성공한 API 작업도 각각 과금 대상이 된다. 이 가격은 웹 도구의 이용료가 아닌 SPZ 재구성 API 단가다.

브라우저에서 뷰파인더를 여는 링크는 계정 로그인으로 연결된다. API는 프로젝트 단위의 키를 사용한다. 회사의 공개 한도 표에는 분당·시간당 제출 건수와 동시에 실행할 수 있는 작업 수가 아직 발표 예정으로 표시돼 있다. 웹 앱과 API에서 제출한 작업은 계정의 작업 한도를 함께 사용한다.