Frontier3DBench：从生成物体到构建开放世界，编码智能体的3D能力仍卡在哪里

导语

让编码智能体生成一个3D物体并不等于让它真正理解3D世界。它需要把图像或自然语言要求转化为可执行、可编辑的程序，还要处理几何结构、空间布局、外观细节，以及物体之间的交互关系。现有评测往往只覆盖其中一个层级，难以回答一个更完整的问题：同一个智能体能否从“做出一个物体”，一路走向“构建一个可活动的开放世界”？

Frontier3DBench正是为此提出的统一基准。研究将145项任务划分为9个类别，覆盖物体、场景和交互式开放世界三种创作尺度，并同时评价外观、结构与行为。论文测试了11种模型—工具组合，试图把3D编码能力从静态生成推进到可验证的空间和交互任务。

核心发现

• 能力随构建层级变化。 GPT-6.1-sol在物体和场景层级取得领先，总分为66.02/100；在交互式开放世界构建中，GPT-6-astra表现最好。这说明模型优势并非在所有3D任务上通用，工具链和任务规模会显著影响结果。
• 生成比复现容易。 在物体和场景任务中，所有配置的参考重建成绩都低于文本驱动生成。让系统产出一个合理的对象，通常比根据图片精确还原几何形状、布局和视觉细节更容易。
• 局部机制能运行，完整活动难完成。 生成世界的局部机制平均得分达到83.08/100，但运动间距仅20.82分，有状态工作流为30.26分。也就是说，单个开关、触发器或机制可能正常工作，但需要多个动作配合、并保持状态变化的完整流程仍然脆弱。
• 评测不再只看“像不像”。 基准把外观、结构和行为放在一起考察，使3D生成从静态视觉质量扩展到空间可用性与交互闭环。

意义与影响

这项工作揭示了3D编码智能体面临的两个关键瓶颈。第一是参考保真度：模型可以凭借先验知识生成“看起来正确”的内容，却未必能遵守给定参考中的尺寸关系、相对位置和局部细节。第二是协同活动完成：开放世界的难点不是堆叠更多可交互物体，而是让这些物体在连续操作中保持一致的状态，并满足运动和空间约束。

对后续研究而言，单纯扩大模型规模或增加视觉生成能力可能还不够。更有效的方向包括改进程序规划、几何验证、碰撞与间距检查，以及对跨步骤状态的显式追踪。对应用开发者来说，Frontier3DBench也提醒我们：一个能生成漂亮场景的系统，距离可用于游戏、仿真或数字空间的可靠工具，仍有明显距离。未来的3D智能体评测，需要同时回答“生成了什么”“是否符合参考”以及“能否完成任务”这三个问题。

来源：Hugging Face Daily Papers