한 장의 이미지에서 실행 가능한 세계로: RCWM의 재귀적 3D 장면 구축

들어가며

한 장의 이미지를 이동하거나 편집할 수 있는 3D 세계로 바꾸는 일은 물체를 찾아 배치하는 문제만이 아닙니다. 시스템은 크기와 가림, 경계, 카메라 투영, 물체 사이의 상대적 위치를 함께 보존해야 합니다. Recursive Code World Models(RCWM)는 이 과정을 실행 가능한 코드로 표현하고, 복잡한 세계를 반복적인 재귀 절차로 구축하는 방법을 제안합니다.

핵심 구조: 전체에서 부분으로, 다시 전체로

RCWM은 두 가지 요소를 결합합니다. 첫 번째는 Recursive Scene Program(RSP)입니다. RSP는 세계를 구성적 장면 코드로 표현합니다. 최종 기하만 출력하는 대신 장면의 계층과 구성 관계를 코드에 남기기 때문에, 이후 수정이나 추가 추론을 이어갈 수 있습니다.

두 번째는 같은 구축 절차를 재귀적으로 호출하는 솔버입니다. 각 호출은 다음 세 단계로 진행됩니다.

• 전체 장면 설정: 대략적인 배치, 카메라 투영, 주요 공간 관계를 정한다.
• 해결되지 않은 부분 재구성: 아직 불확실한 영역이나 물체로 내려가 해당 부분을 별도의 인식·코드 편집 루프로 처리한다.
• 상위 장면 재검토: 개선된 부분을 전체에 다시 넣고, 경계와 상대 위치, 여러 구성 요소에 공통으로 나타나는 오류를 수정한다.

이 방식은 단순히 편집 단계를 늘리는 것과 다릅니다. 세부 구조에는 자체적인 관찰과 수정 기회를 주면서도, 국소적인 개선이 장면 전체의 기하와 관계에서 벗어나지 않도록 합니다. 참조 이미지에 맞춰 정렬된 뷰와 카메라 투영은 여러 재귀 수준에 공유되므로, 각 부분이 서로 다른 시점을 임의로 가정하는 문제를 줄일 수 있습니다.

비전-언어 코딩 에이전트의 역할

RCWM의 비전-언어 코딩 에이전트는 참조 이미지와 현재 장면의 렌더링을 직접 비교합니다. 비교 결과를 바탕으로 코드를 수정할지, 더 작은 문제로 재귀적으로 내려갈지, 상위 장면으로 돌아갈지를 결정합니다. 따라서 에이전트는 시작 단계에서 프로그램을 한 번 생성하는 데 그치지 않고, 전체 구축 과정을 반복적으로 조정합니다.

부분 수준의 정밀화가 끝난 뒤에야 물체 간 접합의 어색함, 상대 위치의 변화, 여러 부분이 공유하는 오류가 드러날 수 있습니다. 상위 장면을 다시 방문하는 절차는 이런 문제를 전체 맥락에서 수정하기 위한 장치입니다.

의미와 한계

RCWM은 세계 모델을 일회성 결과물로 생성하기보다, 재귀적으로 펼치고 편집한 뒤 다시 통합할 수 있는 프로그램으로 바라봅니다. 편집 가능한 자산, 시뮬레이션, 향후 상호작용이 필요한 3D 애플리케이션에서는 정적인 재구성보다 실행 가능한 계층 표현이 더 큰 확장성을 제공할 수 있습니다.

제공된 자료에 따르면 RCWM은 복잡한 장면에서 기존 코드 기반 이미지-장면 재구성 방법보다 우수한 결과를 보였습니다. 절제 실험 역시 재귀적 구축의 이점을 뒷받침하며, 더 깊은 호출이 미세한 구조 복원에 도움이 될 가능성을 제시합니다. 다만 구체적인 수치, 평가 데이터셋, 계산 비용은 자료에 포함되어 있지 않습니다. 따라서 이 연구는 단일 이미지 3D 재구성을 완전히 해결했다기보다, 실험으로 뒷받침된 새로운 구축 원리로 이해하는 것이 타당합니다.

출처: Hugging Face Daily Papers