HiSTEVE 1.0、人間のキーボード・マウス操作でMinecraftを攻略

概要

オープンワールドゲームで人間のように行動するAIには、画面を認識して単発の操作を返す以上の能力が必要です。すでに終えた作業を記憶し、大きな目標を小さな手順に分け、サブタスクが本当に完了したかを判断し、失敗したときには復帰しなければなりません。Tencentの研究チームが発表したHiSTEVE 1.0は、こうした計画と操作を階層型の視覚・言語・行動（VLA）エージェントに統合します。

Minecraftはこの検証に適した環境です。ワールドが手続き的に生成されるため、固定スクリプトだけでは対応しにくく、プレイヤーは通常、画面を見ながらキーボードとマウスで操作します。HiSTEVEもゲーム内部の特権状態や環境APIを直接利用せず、人間と同じインターフェースを前提にしています。

主な仕組み

• 能力を考慮したオーケストレーション。 上位のエージェントハーネスは構造化メモリで進捗を管理し、視覚言語モデルのプランナーが、下位のVLAが実行可能な範囲からサブタスクを選びます。これにより、実行側の能力を超えた計画を立てるリスクを抑えます。
• 方策と連動した完了判定。 オープンワールドでは、タスク完了を示す単純な成功フラグがない場合があります。HiSTEVEはVLA方策のコンテキストを条件にする完了状態検出器を導入し、次へ進むのか、復帰するのか、再計画するのかを判断します。
• ネイティブな操作。 単一のVLA方策が、視覚入力とキーボード・マウスの操作だけで全サブタスクを実行します。移動や視点変更などの通常のゲーム操作に加え、GUI操作も扱う設計です。
• 操作モード間の干渉を抑制。 GUI操作とゲーム内の通常操作では、動作のパターンが異なります。そこで、モードごとのRMSNorm分岐と、マウス移動専用のトークン埋め込みを用いて、両者の表現が干渉しにくいようにしています。
• 段階的な学習。 世界知識の注入、模倣学習、環境フィードバックを用いた強化学習を組み合わせ、操作の信頼性と失敗後の復帰能力を高めます。

結果と意味

論文によると、HiSTEVEはMineStudio Benchの原子タスクで85.0%、OpenHAで平均37.4%の成功率を達成しました。また、ゼロから鉄のツルハシを作るような長期タスクも実行しています。これは、個々の操作を正確に行う能力と、複数の判断を長時間つなげる能力を分けて評価する結果といえます。

この研究の重要な点は、計画と制御の役割を明確に分けながら、両者を実行フィードバックで結び付けたことです。上位層は記憶、サブタスク選択、復帰を担当し、下位のVLAは人間と同じインターフェースで行動します。特に完了判定が実行方策のコンテキストを参照する点は、言語上の目標だけでは具身タスクの完了を判断できないという実用的な課題を示しています。

現時点の評価はMinecraftと提示されたベンチマークが中心です。より長いタスクでの安定性、別環境への移行、複雑な失敗からの復帰については、今後の検証が必要です。それでもHiSTEVEは、特権APIに依存せず、長期計画と実際のインターフェース操作を両立させるエージェント研究の一つの設計例となっています。

出典：Hugging Face Daily Papers