Player-1：让游戏智能体在合成经验中学会控制

导语

让模型看懂屏幕、移动鼠标并点击按钮，已经是计算机使用智能体的重要能力；但进入游戏后，问题会迅速变得复杂。游戏不仅包含更丰富的视觉场景，还要求智能体处理持续按键、精确移动、时序判断和多步目标。Player-1试图回答一个关键问题：智能体能否不再局限于模仿示范，而是通过可规模化的合成经验学会更一般的游戏控制？

核心方法

Player-1是一套面向游戏控制的后训练流程，主要包含三个环节。

• 扩展动作空间。 在常规键盘和鼠标操作之外，框架加入相对指针移动、持续输入以及组合动作，使动作表达更接近真实游戏中的控制需求。相比单次点击或离散按键，这些动作能够描述“持续移动”“边移动边操作”等行为。
• 用有限示范完成初始化。 研究者整理了6044条游戏轨迹，每条轨迹配有任务指令、记录下来的动作以及视觉推理信息，用于微调计算机使用模型。这样做的目标不是覆盖所有游戏状态，而是先建立基本的观察和操作能力。
• 在合成环境中强化学习。 Player-1-Gym包含16个二维和三维合成环境，围绕不同游戏共享的控制难点进行设计。环境提供程序化可验证奖励，并随机化观察结果和控制动力学；模型随后通过PPO在多个环境中训练，从反馈中修正行为。

结果与解读

论文报告的结果表明，强化学习阶段能够带来超越监督微调策略的增益。Player-1-9B和Player-1-35B-A3B在MineDojo-300上的成功率，相比各自的SFT策略分别提升27.8和17.7个百分点。其中，Player-1-9B达到38.33%，而最强的已评估基线为12.63%。研究还报告了在ViZDoom-10和GameWorld上的进一步提升。

这些结果的价值不只在于某一个游戏分数。游戏环境被用作控制能力的压力测试：智能体必须把视觉理解、动作执行和反馈学习连成闭环。合成环境的优势在于可重复、可验证并且容易改变规则，从而降低收集大规模真实交互数据的成本。随机化观察和控制 dynamics 也有助于避免模型只记住固定界面或单一操作节奏。

意义与局限

Player-1展示了一条从“看示范”走向“通过试错学习”的路线。它把计算机使用模型已有的视觉与操作基础，连接到更适合强化学习的游戏环境，为通用数字控制提供了可研究的中间场景。不过，合成环境能否充分覆盖真实游戏中的复杂机制，训练所得能力在更开放、更长时程任务上能否稳定迁移，仍需要更多评估。换言之，当前成果说明合成经验具有训练价值，但并不等于游戏智能体已经解决了通用交互问题。

来源：Hugging Face Daily Papers