방 사진이 움직이는 가상 공간으로… Mundo 연구 공개

Mundo 연구진이 10월 23일 사진으로 특정 장소를 재구성하고 탐색·편집·시뮬레이션하는 방식을 소개했다. 프로젝트 페이지는 입력 사진을 바탕으로 카메라 시점을 바꾸거나, 가상 공간의 물체가 움직이는 장면을 보여준다.

핵심은 물체의 위치·크기를 단순한 3D 상자로 표현한 대리 공간이다. 장면 프로그램이 물체 상태와 물리적 속성을 기록하고, 시뮬레이터가 움직임·충돌을 계산한다. 영상 모델은 이 결과와 원본 사진을 참고해 외형을 그린다. 로봇 이동·조작 사례도 재구성한 시뮬레이션 안에서 제시한다.

현재 GitHub 저장소의 할 일 목록에는 코드와 가중치를 11월 말 공개할 계획이라고 적혀 있다. 지금 직접 실행할 수 있는 완성된 패키지가 배포됐다고 볼 근거는 없으며, 공개 프로젝트 페이지의 사례와 설명을 먼저 살펴볼 단계다.

한계도 명확하다. 입력에 없는 영역은 추정해야 하고, 작은 물체가 떠 보이거나 상호작용 영상에 환각이 생길 수 있다고 연구진은 밝혔다. 장기간의 변화 뒤 세부 모습을 유지하는 기억 장치도 아직 없다. 공개한 속도는 A800 GPU 8개·추론 20단계에서 약 1.5프레임/초다. 실제 공간의 물성 측정이나 실시간 동작을 확인한 결과로 해석해서는 안 된다.