MJev-Spatial：让视觉语言模型直接“判断”空间关系

导语

视觉语言模型通常以文本生成的方式回答“物体在什么方向”“两者距离多远”或“应该点击哪里”等问题。但这类任务的答案空间往往非常有限：可能是几个选项、一个数值范围，或者图像中的一个位置。让模型先逐 token 生成答案，再进行解析，既增加了延迟，也没有充分利用任务本身的结构。

MJev-Spatial 试图把这类空间理解从“生成答案”改成“直接做决定”。这项工作基于 Qwen3.5-4B，提出一个面向空间智能的 System 1 多模态决策模型，重点优化交互频率较高的视觉空间判断。

核心方法

• 统一三类任务。 模型覆盖空间问答、数值估计和图像指向。对于选择题，候选选项直接充当类别；对于数值任务，目标被划分为多个数值区间；对于位置预测，图像区域则通过由粗到细的分类逐步定位。
• 复用已有注意力结构。 MJev-Spatial 使用骨干模型预训练的 Query 和 Key 投影来计算候选匹配分数，不额外增加参数。其核心思路不是让模型学习一套独立的输出头，而是利用视觉、文本表示与候选对象之间的注意力匹配完成判断。
• 一次前向完成决策。 推理时，分类决策只需要一次前向计算，并且不生成答案 token。对于数值和位置任务，粗粒度到细粒度的阶段共同参与训练，使模型能够在统一流程中逐步缩小答案范围。
• 优化异构数据训练。 研究团队将现有空间数据集转换为 1230 万组问答样本，并采用教师强制联合监督所有粗到细阶段。同时，长度感知的全局批处理和跨 GPU 负载均衡使训练吞吐量较原始批处理策略提升 30.8%。

结果与意义

根据项目发布信息，MJev-Spatial 在 12 个基准上的平均得分为 65.64%，在其中 7 个基准取得领先；与自回归基础模型相比，其运行速度提升 5.6 倍。这些结果表明，对于答案空间紧凑、需要快速响应的空间任务，分类式决策可能比通用文本生成更合适。

这项工作的价值不只在于加速。它也重新思考了多模态模型的输出接口：并非所有视觉问题都需要一段自然语言解释，有些任务更适合直接返回选项、数值桶或坐标区域。对于机器人交互、视觉导航和图像操作等场景，这种低延迟输出形式具有潜在吸引力。

当然，分类化方法也意味着模型的能力会受到候选设计、数值分桶和区域划分方式影响。它更适合答案空间能够被明确组织的任务，而不一定取代需要开放式描述或复杂解释的生成式模型。MJev-Spatial 的探索，重点在于为视觉语言系统增加一个更快的“即时决策通道”。

来源：Hugging Face Daily Papers