Hunyuan3D-Buffalo 1.0：统一3D理解、生成与编辑的多模态框架

导语

3D 生成一直是多模态模型里更难啃的一块。与二维图像不同，3D 任务不仅要“看懂”和“画对”，还要兼顾几何结构、局部修改和整体一致性。Hunyuan3D-Buffalo 1.0 的思路很直接：不要把理解、生成、编辑拆成彼此孤立的系统，而是放进同一个统一框架里一起训练。

核心要点

• 统一架构覆盖四类任务：3D 理解、文本到 3D 生成、指令引导的 3D 编辑，以及文本约束的部件生成。
• 数据是关键补课项：作者构建了一个 87M 规模的 3D 多模态语料，其中包含 25M 理解样本、50M 文本到 3D 配对和 12M 编辑配对。
• 编辑数据更重视几何一致性：这些编辑样本由 Nano3D-v2 生成，目标是让模型在修改时尽量保留原物体的结构和未编辑区域。
• 双模块协同：Hunyuan3D-VLM 负责语义、结构和空间理解，Hunyuan3D DiT 负责高保真 3D 合成；编辑与部件生成还会额外条件化源对象表示。
• 效果不止在生成：实验显示，模型在文本到 3D 生成和 3D 编辑基准上达到领先或接近领先，同时在理解和部件生成上也表现稳健。

这项工作的意义

这篇论文最值得关注的地方，不只是“又做了一个更强的 3D 模型”，而是它把 3D 能力看成一个相互促进的整体。理解能力越强，模型越知道该保留什么；生成能力越强，编辑时越容易补全合理的几何细节。论文的分析也说明，统一训练并不是简单把任务混在一起，而是能让生成、理解和编辑形成正反馈。

如果这一方向继续推进，未来的 3D 创作工具可能不再依赖多个分离模块拼接，而是直接通过自然语言完成建模、改模和局部补全。这对游戏资产制作、工业设计、内容生产都会有现实意义。

来源链接：Hugging Face Daily Papers