让图像生成模型成为视觉推理的“中间步骤”

导语

大语言模型已经证明，先拆解问题、再逐步作答，能够提升复杂任务的处理能力。但当问题本身依赖图像中的空间关系、遮挡信息或物体运动时，仅在文字里“思考”并不总是合适。ReImaGin的核心设想是：让多模态大语言模型调用图像生成模型，把视觉生成和图像变换也变成推理链中的中间步骤。

核心要点

• 从固定工具转向开放式视觉操作。 以往的多模态系统常调用深度估计、目标检测等专用模块。这些模块在既定任务上有效，但输入输出形式相对固定。ReImaGin则通过自然语言指令驱动图像生成模型，尝试完成更开放的视觉变换。
• 图像不只是结果，也可以是“思考草稿”。 摘要举出的例子包括移除遮挡物，以及根据房间多个彼此分离的视角生成平面图。前者有助于恢复被隐藏的信息，后者则把多张局部观察整合为更易分析的空间表示。
• 覆盖多类视觉推理场景。 论文在六项视觉推理任务上进行评估，包含多视角空间推理和碰撞预测等类型。摘要称，ReImaGin整体优于文本推理方案和专业视觉工具基线，最高提升达到25%。

为什么值得关注

这项工作的关键变化，在于重新定义了视觉模型的角色。图像生成模型通常被视为内容创作工具，而ReImaGin把它当作一种可被语言控制的视觉操作器：模型可以先生成更适合判断的表示，再据此完成后续推理。对于多视角理解、遮挡环境分析以及需要显式空间想象的任务，这种机制或许比单纯提取标签、深度或坐标更灵活。

当然，生成式视觉推理也带来新的问题。生成结果可能与输入不完全一致，模型是否会在“补全”过程中引入错误信息，直接影响最终判断。摘要没有提供具体的系统架构、训练流程、六项任务的逐项数据，也未说明推理成本和生成结果的可靠性。因此，25%的最高增益应理解为摘要层面的总体亮点，而不是对所有任务的普遍保证。

从研究方向看，ReImaGin展示了多模态推理的一种可能路径：让模型不只阅读图像，也能主动改写、重组和构造视觉中间表示。若后续研究能够进一步约束生成内容、验证中间结果，并降低调用成本，图像生成模型就可能从“输出图片”的组件，逐渐变成视觉智能系统中的推理基础设施。

来源：Hugging Face Daily Papers