何恺明团队推出VISTA：让多模态模型按需回看视觉记忆

导语

多模态模型能够“看见”画面，却不意味着它能长期、准确地使用视觉经验。何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生Harness框架VISTA，尝试解决交互式环境中的视觉记忆问题。

VISTA的核心并不是训练一个新模型，而是重新设计模型获取和管理视觉信息的方式。它将环境返回的原始画面保存在上下文之外，模型需要时再主动调取，从而避免早期画面被长对话挤出，或被不完整的文字摘要替代。

核心机制

• 视觉观测：将环境画面直接提供给多模态模型。在ARC-AGI-3实验中，官方的64×64画面被放大为512×512 PNG，以保留颜色、外观和空间关系。
• 无损视觉记忆：每次动作后完整保存环境返回的画面，包括动作过程中的中间帧，并以回合号和帧号建立索引。
• 主动视觉检查：模型通过inspect工具调取指定历史画面，也可以裁剪、放大局部，或同时查看多帧，对比动作前后的变化。

在执行过程中，模型先观察当前状态，再结合已有笔记和历史经验提出行动假设。如果证据不足，它可以回看画面、检查像素或放大细节；动作完成后，再把实际结果与预测进行比较，修正对环境规则的理解。

为了维持跨上下文窗口的连续性，VISTA还使用两类文字记录：GUIDE.md保存可跨关卡复用的规则和经验，WORKING.md记录当前关卡的状态、进度与计划。框架默认只把动作后的最后一帧展示给模型，其他中间帧留在视觉档案中，按需调用，以控制上下文开销。

实验与影响

在ARC-AGI-3中，搭配VISTA的Claude Opus 5.0完成了25个公开游戏，动作效率得分达到100；GPT-5.6 Sol也完成全部游戏并取得99分。使用相同的GPT-5.6 Sol时，VISTA将GameWorld成功率从40.0%提升至63.3%，AI GameStore综合得分从47.3升至140.3，BabyVision迷宫与连线题准确率从41.0%提升至63.2%。

这些结果说明，Harness不只是文字任务的“项目管理层”，也可以成为多模态智能体的视觉记忆层。保留原始证据、按需检索和主动复查，有助于模型处理外观、空间关系及动态变化。其局限也很明确：当前验证主要集中在游戏和谜题，框架能否稳定迁移到更复杂、更开放的物理环境，还需要进一步研究。

来源：量子位