从单张图像到可执行世界：RCWM用递归代码重建复杂3D场景

导语

把一张图片变成可漫游、可编辑、可交互的3D世界，难点并不只是生成几个物体。系统还需要理解物体之间的空间关系、尺度、遮挡、边界以及它们共同构成的整体布局。Recursive Code World Models（RCWM）关注的正是这一问题：如何从单张参考图像出发，用代码逐步重建复杂的可执行世界。

核心方法：让场景重建递归发生

RCWM由两部分组成。第一部分是递归场景程序（Recursive Scene Program，RSP），它用具有组合结构的场景代码表示整个世界。与只输出一次性几何结果不同，代码表示保留了场景的层次关系，也为后续编辑和继续推理提供了接口。

第二部分是能够递归调用自身的构建求解器。一次求解并不是从粗到细地单向展开，而是遵循“全局—局部—全局”的循环：

• 先建立整体：确定场景的大致构图、相机投影和主要空间关系；
• 再递归处理局部：将尚未解决的区域或对象交给下一层求解，继续感知、编写和修改对应代码；
• 返回父级场景复核：把局部结果放回整体中，检查边界、相对位置和局部调整造成的共同误差，并重新优化组合关系。

这一机制的关键不在于简单增加步骤，而在于让每个细粒度结构拥有自己的“观察—编辑”闭环，同时避免局部优化脱离全局。论文还强调，参考图像对齐的视角会在不同递归层级之间传播，使局部重建共享同一套相机投影。这样，系统在处理细节时不必重新猜测观察方向。

视觉语言代理如何参与

RCWM使用视觉语言编码代理比较参考图像与场景渲染结果，并据此指导代码修改、递归下探或返回上层。换言之，代理并非只在开头生成一段场景程序，而是持续把“当前渲染看起来哪里不对”转化为下一步的构建动作。父级回访则用于处理局部完成后才显现的问题，例如物体交界不自然、空间关系失衡，或多个局部共享的误差。

意义与影响

这项工作展示了一种不同于一次性生成的世界建模思路：复杂世界可以被视为一组可递归展开、可回溯修正的程序。对于需要编辑、仿真或进一步交互的3D应用，可执行代码比单纯的静态重建结果更具延展性。

从实验描述看，RCWM在复杂场景上超过了此前的代码式图像到场景重建方法，消融结果也表明递归构建具有贡献，并提示更深层调用可能改善更细尺度的恢复。不过，素材未提供具体数据、测试集或计算成本，因此目前更适合将其理解为一种得到实验支持的构建原则，而非已经解决单图3D重建的通用方案。

来源：Hugging Face Daily Papers