FocusGUI：让全模态 GUI 智能体学会在复杂信息中聚焦

导语

GUI 智能体正在从“看截图、点按钮”走向持续理解复杂设备环境。它们可能同时接收屏幕截图、音频、视频、交互历史以及设备状态，并据此决定下一步点击、输入或导航动作。问题在于，多模态信息并不是每一步都同样有用：刚刚帮助决策的线索，下一步可能已经变成干扰。

论文《Focused Omni-Modal GUI Agents》将这种现象概括为“Sequential Distraction”（序列性分心）。当智能体把完整上下文不加区分地暴露给模型时，某一步的错误会改变后续环境和上下文，干扰因此逐步累积，最终导致轨迹偏移，甚至难以恢复。

核心方法：让感知随动作变化

论文提出的关键要求是“Focused Perception”，即面向当前步骤的聚焦感知。一个有效表示应同时满足三点：能够随步骤调整、足以支持当前动作、又不会过度侵入模型原有的表示空间。

FocusGUI 是为此设计的轻量级适配器，主要流程包括：

• 动态判断相关性：根据当前步骤的决策参考，对截图、音视频、历史记录和设备状态等通道进行优先级调整，而不是默认平均处理。
• 压缩关键证据：将当前最有用的多模态信号压缩为紧凑的潜在表示，减少无关信息对上下文的占用。
• 温和引导解码器：把该表示注入冻结解码器的嵌入中，引导模型关注必要证据，同时不改变主干模型的参数空间。
• 只用动作监督训练：训练不依赖额外的模态相关性标注，也不要求对基础模型进行微调，降低了适配成本。

实验结果与意义

根据论文摘要，FocusGUI 在四个全模态主干模型上进行了评估。相较于冻结的基础模型，它平均将整体 Type Match 提高 33.2 个百分点，并将 Exact Match 提升到原来的 3.0 倍；相较于现有最强增强方法，Type Match 仍提高 30.1 个百分点。这里的结果说明，性能提升的重点并不只是增加输入，而是改善模型在每个决策时刻如何取舍输入。

这项工作对 GUI 智能体的发展有两层启发。第一，随着感知通道增多，智能体面临的瓶颈可能从“缺少信息”转向“无法聚焦”。第二，轻量级、非侵入式适配可能比全面改造主干模型更适合快速扩展到不同的全模态骨干。

当然，摘要没有展开不同任务、数据集及各通道贡献的细节，因此还需要结合完整论文判断方法在更长任务链、噪声环境和不同设备上的稳定性。总体而言，FocusGUI 提供了一个清晰方向：高质量的智能体感知，不是持续保留所有信息，而是在正确的时刻保留正确的信息。

来源：Hugging Face Daily Papers