리페이페이의 World Labs, 이미지로 3D 세계를 만드는 Atlas 공개

개요

리페이페이가 이끄는 World Labs가 차세대 월드 모델 Atlas를 공개했다. 회사 설명에 따르면 Atlas는 단순히 그럴듯한 동영상을 만드는 데 그치지 않고, 장면의 3차원 구조와 시간에 따른 변화, 그 안에서 움직이는 카메라를 하나의 맥락으로 처리하는 것을 목표로 한다. 한 장 또는 여러 장의 이미지를 입력하면 다른 시점에서 관찰할 수 있는 세계를 보완해 만든다.

핵심 기능

• 카메라 제어 생성: 입력 이미지로부터 픽셀 수준의 카메라 제어가 가능한 이미지와 동영상을 생성한다. 공개 자료는 최대 1분, 1440p 동영상 출력을 지원한다고 설명한다.
• 희소 시점 3D 재구성: 한 장에서 수십 장의 이미지를 사용해 실제 장면을 재구성하고, 새로운 시점의 프레임과 명시적인 3D 표현을 함께 출력한다.
• 시공간 모델링: 동영상의 공간과 시간을 동시에 모델링해 시점 변경, 시각 효과, 로봇 Real-to-Sim 과정에 활용할 수 있다.
• 멀티모달 생성: 텍스트로 이미지와 360도 파노라마를 만들며, 이미지·동영상·깊이 지도·카메라 자세 같은 입력도 다룬다.

통합 아키텍처

Atlas의 기반은 멀티모달 자기회귀 확산 Transformer다. 텍스트, 이미지, 동영상 프레임, 깊이 정보와 카메라 자세를 3차원 공간상의 위치와 연결된 시퀀스로 표현한다. 여러 데이터 형식이 하나의 공간 컨텍스트에 놓이기 때문에, 모델은 기존 정보에 조건을 걸어 새로운 멀티모달 출력을 생성할 수 있다.

자기회귀 구조는 입력과 출력의 순서를 바꾸는 방식으로 다양한 작업에 대응하기 쉽다. 확산 과정은 이미지와 동영상처럼 고차원인 연속 데이터를 생성하고, Transformer는 시퀀스 요소 사이의 관계를 처리한다. World Labs는 대규모 모델 추론과 이미지·동영상 생성에 사용되는 KV Cache, 확산 증류 등의 기술도 활용할 수 있다고 설명한다.

로봇 분야의 의미

Atlas가 가장 주목받는 이유는 로봇 학습과의 연결 가능성이다. 실제 로봇으로 다양한 훈련 데이터를 수집하려면 비용이 크다. 몇 장의 사진만으로 현실적인 RGB와 깊이 데이터를 만들고 조건이 다른 시뮬레이션 공간을 구성할 수 있다면, 실제 환경을 시뮬레이션으로 옮기는 Real-to-Sim 과정이 짧아질 수 있다.

이는 World Labs가 시뮬레이터를 월드 모델의 기반으로 강조하고, Real-to-Sim-to-Real 방향을 제시해온 흐름과 맞닿아 있다. 다만 생성된 기하 구조와 깊이, 동역학이 여러 작업에서 충분히 신뢰할 수 있는지는 추가 검증이 필요하다. Atlas는 현재 일부 파트너에게만 얼리 액세스로 제공되고 있으며, 공개 자료만으로 범용 물리 시뮬레이터라고 판단하기는 이르다. 현재 단계에서 Atlas는 세계 모델 문제를 해결했다기보다, 공간 컨텍스트를 통합하는 설계의 가능성을 보여준 사례로 보는 편이 정확하다.

출처: 量子位