Interactive Visual Gym：让视觉交互模型在闭环中接受检验

导语

当视觉模型只需要回答一张图片中的问题时，离线准确率或许足以衡量部分能力。但在烹饪、整理物品或操作手机界面时，用户会根据助手的每一步建议继续行动；一旦建议错误或回复太慢，后续状态就会发生变化，模型也可能失去纠正机会。针对这一问题，Interactive Visual Gym 将视觉交互模型放入可执行的任务环境，并让模拟用户与模型持续协作，形成更接近真实使用过程的闭环评测。

核心要点

• 从静态问答转向连续交互。 该框架不再只比较单轮回答，而是观察模型建议如何影响用户行为、环境状态和最终任务结果。
• 覆盖三类日常场景。 研究团队构建了烹饪、家务操作和移动界面三个模拟器，并为这些任务设计了更符合人类操作习惯的动作空间。
• 引入带人格的模拟用户。 用户模拟器能够依据不同 persona 与助手合作，同时加入受控的执行错误以及偏离计划的行为，用于检验模型在不完美协作中的适应能力。
• 建立多维度基准。 IVG-Bench 包含 315 个交互场景，重点考察任务是否完成、交互质量以及响应延迟，而不只是答案是否看起来合理。
• 模型能力仍不够稳定。 评测中，表现最好的模型 Gemini 4 Argon 在时间限制内完成的任务比例为 53.4%。研究还指出，模型在事实依据、建议的可操作性和响应速度方面存在明显不足。
• 评测指标获得人工验证。 人类研究显示，交互质量指标与参与者偏好的吻合度达到 78.5%，说明模拟环境的评价信号具备一定参考价值。

意义与影响

这项工作的价值不只是增加了一个测试集，而是改变了视觉交互模型的评价对象：模型需要为一个正在变化的任务负责，而不是为一条孤立回答负责。对于实时助手而言，正确但来得太晚的建议可能已经失去价值；表述准确却无法执行的指令，也未必能帮助用户完成任务。因此，将延迟、用户差错和环境反馈纳入评测，有助于暴露传统离线基准掩盖的问题。

Interactive Visual Gym 还把模拟环境用于训练。论文摘要提到，研究团队开展了闭环 GRPO 概念验证实验，表明这类环境能够提供学习信号。不过，模拟用户是否足够接近真实人类、不同 persona 能否覆盖现实中的行为差异，以及模型在模拟环境中的提升能否迁移到真实设备，仍需要进一步验证。

总体来看，该框架提示业界：视觉交互能力的上限，不应只由识图或语言表达决定，还取决于模型能否在动态环境中及时、可靠地引导用户行动。随着 AI 助手从信息回答走向任务协作，闭环评测可能会成为衡量其实用性的关键组成部分。

来源：Hugging Face Daily Papers