3DCodeVerse：让智能体用代码构建可编辑、可验证的三维世界

导语

生成式模型正在从图片和视频迈向三维场景，但三维内容比二维图像更难评估：模型不仅要生成看起来合理的结果，还要处理物体的位置、尺寸、结构、交互关系以及运行环境。3DCodeVerse 选择了一条不同于纯扩散生成的路径——让编码智能体直接编写可执行的三维代码，并通过程序运行和空间检查不断修正结果。

项目由什么组成

3DCodeVerse 是一个面向三维代码生成的研究生态，主要包含三部分：

• 3DCodeVerse-2M 数据集：研究团队整理了大规模、经过筛选的独立三维可执行程序。数据来源包括开源项目、特殊三维表示的转换，以及由编码智能体生成的新程序。每个样本尽量配套源文件、资产和声明的运行环境，同时保留可获得的描述与验证记录。
• 3DCodeVerse Harness：这是一个由多个智能体协作组成的有向无环图框架，用于生成、检查和改进三维内容。它不依赖生成过程中的人工逐项反馈，而是综合执行结果、空间测量和视觉反馈判断程序是否满足要求。
• 系统性实验与实践指南：研究者使用开放模型进行微调，并通过组件级分析考察不同模块的作用，试图总结三维编程任务中更稳定的工作方式。

从生成模型到代码工作流

传统三维生成往往更关注最终画面是否逼真，而代码驱动的方案把结果拆成了可以检查的软件对象。程序能够描述静态物体、带关节的结构、完整场景，甚至动画和随时间变化的运动。对用户而言，这意味着生成结果不只是一个难以修改的文件，还可能成为可继续编辑、复用和调试的工程资产。

这种方法的难点也十分明确。三维代码涉及几何结构、坐标关系、依赖资源和具体执行环境，单纯依靠语言模型的文本判断很容易遗漏空间错误。因此，Harness 将代码执行、数值测量和视觉观察结合起来：先确认程序能否运行，再检查空间属性，最后利用视觉反馈发现仅靠数值规则难以捕捉的问题，并据此安排后续修订。

研究结果与意义

论文摘要指出，在该数据集上微调能够明显改善开放模型的三维编码能力。项目还报告称，在给定的人类两两比较设置中，使用 Claude Opus 5.5 驱动的 3DCodeVerse Harness 对 Claude Design 的 3D Object 方案取得了 90% 的胜率。这个结果应被理解为特定评测条件下的比较，而不是对所有三维任务的普遍结论。

更重要的价值在于，3DCodeVerse 为三维生成提供了一种可验证的研究范式。它把数据集、运行环境、自动评估和智能体协作连接起来，使研究者能够更细致地分析错误来自哪里，也让三维内容生产更接近软件开发流程。未来，这类系统能否覆盖更多三维工具链、建立更可靠的空间评测标准，并降低资产依赖和执行成本，将决定代码生成能否真正成为三维创作的通用接口。

来源：Hugging Face Daily Papers