SpatialBlock：用“堆积木”训练视觉语言模型的空间智能

导语

大型视觉语言模型（LVLM）已经能够识别物体、概括画面并回答许多视觉问题，但“看见了什么”并不等于“理解了它在三维空间中如何存在”。当任务涉及遮挡关系、观察视角变化、物体相对位置或结构组合时，模型往往需要从二维投影反推出隐藏的空间关系，这正是空间智能的难点。

SpatialBlock给出的思路并不是继续堆叠真实场景标注，而是从更基础、更可控的积木堆叠任务入手，尝试让模型先学习空间推理的基本规律。

核心要点

• 用合成任务降低标注成本。 论文提出SpatialBlock-15k数据集，包含15,000个积木堆叠问题。与需要密集几何标注的真实场景数据相比，合成环境更容易生成、扩展和控制，也避免了部分外部感知模块带来的标注噪声。
• 覆盖三类基础能力。 数据集围绕三维到二维的投影、不同观察视角之间的转换，以及多个结构的组合展开。这些任务分别对应“从空间到图像”“换个角度看同一结构”和“理解局部结构如何共同组成整体”等能力。
• 把颜色变成推理线索。 SpatialBlock加入受控的颜色调制，让颜色不仅是外观属性，也可以帮助模型锁定与问题相关的积木。这样的设计类似于为复杂画面设置空间锚点，减少模型在多个相似对象之间混淆的可能。
• 比较两种输出方式。 研究同时探索直接预测答案的模型，以及先进行推理再回答的模型。前者强调任务结果，后者则试图显式保留中间推理过程，为分析模型如何处理空间关系提供不同视角。
• 关注合成训练的迁移能力。 论文报告称，两种训练策略在真实场景空间任务上都优于基线。重要之处不在于积木本身，而在于经过简化的结构化任务是否能够传授可迁移的空间规律。

为什么值得关注

空间推理是多模态模型走向更可靠交互的重要基础。机器人需要判断物体能否抓取和摆放，智能助手需要理解家具或物品之间的相对位置，具身系统则必须把视觉输入与可执行的三维世界模型联系起来。SpatialBlock尝试说明，模型未必需要一开始就面对复杂、充满噪声的真实环境；从规则明确的“积木世界”学习基础能力，可能是一条更经济的训练路线。

这项工作还有一个方法论价值：它把数据规模和任务结构放在同等重要的位置。15,000个合成问题并不算庞大，但如果问题覆盖了关键的空间变换，并且能让监督信号足够清晰，小规模数据也可能产生可观察的泛化效果。颜色线索的引入则提示，合成数据的价值不只是扩大样本量，还在于能够精确控制模型应该关注什么。

当然，合成积木与真实世界仍存在明显差异。现实图像包含复杂纹理、光照、遮挡、尺度变化和不完整视角，模型在受控任务中学到的规则是否能覆盖这些因素，需要更多跨场景和跨任务验证。论文当前提供的是一个有吸引力的训练范式，而不是空间智能已经解决的证明。下一步的关键，可能是扩大结构复杂度、减少对颜色等显式线索的依赖，并检验模型能否将积木任务中学到的关系稳定地迁移到更开放的视觉环境。

来源：Hugging Face Daily Papers