HiSTEVE 1.0：让VLA智能体像人一样玩《我的世界》

2026年10月26日阅读约 3 分钟

导语

让智能体在开放世界游戏中像人类玩家一样行动，难点并不只是“看懂画面”或“执行一个动作”。它还必须记住已经完成的步骤，判断当前目标是否达成，在遭遇失误后恢复，并把复杂目标拆解成一连串可执行操作。腾讯团队提出的 HiSTEVE 1.0，正是围绕这一问题设计的分层视觉-语言-动作（VLA）智能体。

《我的世界》是一个合适的试验场：地图具有程序生成特征，资源、位置和任务路径并不固定；同时，玩家通常依靠屏幕观察、键盘和鼠标完成全部交互。HiSTEVE试图遵循这种人类接口，而不是直接读取游戏内部状态或调用环境API。

能力感知的任务编排。 HiSTEVE在上层设置了一个智能体框架，用结构化记忆记录进度，再由视觉语言模型规划器从当前策略能够完成的范围内选择子任务。这样做的重点不是让规划器提出理论上可行、但底层策略无法执行的计划。
面向执行的完成判断。 开放世界任务往往没有简单的“成功”按钮。研究者引入策略耦合的任务完成状态检测器，将VLA策略的上下文纳入判断，用于决定某个子任务是已经完成、需要恢复，还是应该重新规划。这一机制把规划与实际控制反馈连接起来。
统一的原生交互策略。 一个VLA策略负责执行全部子任务，只使用视觉输入，并通过原生键盘和鼠标动作操控游戏。它既要处理第一人称移动、视角调整和物品交互，也要处理GUI操作。
减少GUI与游戏操作的干扰。 两类交互的动作模式不同，直接混合可能造成控制冲突。HiSTEVE为不同交互状态设置专用的RMSNorm分支，并为鼠标移动使用独立的标记嵌入，以改善动作表示之间的区分度。
多阶段训练。 VLA先通过世界知识注入获得相关背景能力，再结合模仿学习和利用环境反馈的强化学习，提升动作可靠性以及出错后的恢复能力。

据论文介绍，HiSTEVE在MineStudio Bench的原子任务测试中达到85.0%，在OpenHA上的平均成功率为37.4%，并完成了从零开始制作铁镐这样的长程任务。前一类结果说明其基础操作能力较强，后一类结果则更接近开放世界智能体真正需要面对的连续决策问题。

这项工作的价值不只在于《我的世界》中的一个新系统。它展示了一种较清晰的智能体分工：高层模型负责记忆、规划和恢复，底层VLA负责在真实接口中持续行动。尤其是完成检测器直接参考控制策略上下文，说明任务规划不能只依赖抽象语言目标，还需要理解执行过程本身。

当然，现有结果仍主要来自特定游戏和基准，长程任务的稳定性、跨环境迁移能力以及复杂失败场景下的恢复效果，还需要更多验证。总体而言，HiSTEVE把“会规划”和“会操作”放进同一套闭环中，为研究不依赖特权API的具身智能体提供了一个具有代表性的方向。