SIMIT：让视觉语言模型在测试时先给自己“出题练习”

导语

视觉语言模型通常在固定参数下回答测试问题。面对图表、文档、示意图等需要视觉理解的任务，增加推理步骤或重复生成答案，未必能真正改变模型的能力。丹麦技术大学研究团队提出的 SIMIT，则把测试阶段变成一次面向具体问题的“自我练习”：模型先为当前查询想象一批相似的多模态题目，再利用这些题目改进回答。

核心方法

SIMIT的出发点是避免让模型直接给自己的答案打分。多数投票或自评奖励可能只是放大模型原有的错误；而构造练习题时，模型可以先指定一个答案，再生成能够支持该答案的图像与问题，因此不必先正确解决目标查询。

• 按查询生成数据：系统围绕待回答的问题合成多样的“问题—答案—图像”三元组，使练习内容更贴近当前任务。
• 覆盖结构化视觉任务：除了调用原生图像生成能力，SIMIT还提供可扩展的技能库，用于生成文档、图表和示意图等视觉材料。
• 验证图像与答案：流程包含多阶段检查，确认生成图像确实支持预设答案，减少图文不一致带来的噪声。
• 筛选有效难题：难度过滤会保留更有信息量的样本，而不是让模型只练习过于简单的题目。
• 动态分配预算：模型对越没有把握的查询，可以分配更多生成样本，把计算资源集中到薄弱环节。

这些练习数据有两种用法。SIMIT-ICL将其作为上下文示例，在不更新模型参数的情况下辅助作答；SIMIT-FT则在测试时利用生成数据进行微调，让改进进入模型权重。前者更接近训练免费的推理增强，后者则可能获得更强的适应性，但也意味着更高的计算和更新成本。

实验信号与意义

论文在17个多样化基准上比较了SIMIT与已有自我改进方法。素材显示，最佳配置相对BAGEL-7B取得7.20%的平均相对提升；不进行参数训练的SIMIT-ICL也取得6.98%的平均相对提升。这里的关键并非单纯延长思考链，而是把模型的生成能力转化为针对性练习，并在回答目标问题前完成一次小规模适应。

这项工作提示，多模态模型的测试时计算可以从“多想几遍”扩展到“先创造可控的训练材料”。不过，合成样本的真实性、验证器是否可靠，以及测试时生成和微调的成本，仍是实际部署时需要关注的问题。若这些环节能够稳定运行，SIMIT式方法有望成为无标注场景下提升视觉语言模型适应性的另一条路径。

来源：Hugging Face Daily Papers