世界モデルは新しいゲームのルールを何回で学習できるのか

導入

世界モデルの役割は、次の画面を生成することだけではない。ある行動によって環境のどの部分が、どのように変化するのかを予測できれば、エージェントは実際に試す前に結果を想像しながら計画できる。しかし、未知の環境では、事前学習で得た規則がそのまま使えるとは限らない。エージェントは限られた相互作用から、新しいゲームの仕組みを学ぶ必要がある。

今回の研究は、この適応過程を具体的な問いに置き換えた。世界モデルは、あるメカニクスを何回観測すれば、その結果を安定して予測できるのか。研究では、メカニクスが一度現れるたびに「露出」と数え、学習の速さを測定可能な指標として扱っている。

仕組み単位で評価するMechEval

実験には、プログラムによって定義されたインタラクティブゲーム群であるARC-AGI-3を利用した。プログラムに状態遷移が記述されているため、行動と環境変化の関係を調べやすい。研究チームは20ゲームのプログラムから、繰り返し登場する69種類のメカニクスを整理した。

そのうえでMechEvalを設計した。次のフレーム全体が正しいかだけを評価するのではなく、各露出でメカニクスによって変化したセルに注目する。これにより、モデルが規則を理解しているかだけでなく、何度の観測で予測が改善するかも追跡できる。

テスト時に全パラメータを更新するWARC

評価用のモデルWARCは、3500万パラメータのビジョントランスフォーマーである。他のゲームで事前学習した後、未知のゲームに入ると、各状態遷移の後に全パラメータを更新する。これは、固定された知識だけで推論するのではなく、プレイ中のデータを使って適応するテスト時学習にあたる。

未知のゲームでは、WARCは5分の4のメカニクスについて、影響を受けたセル上で少なくとも80%の精度に到達した。しかも、その精度を記録の終盤まで維持した。半数のメカニクスは、1回のプレイ中に約80回の露出で基準に達した。一方、パラメータを更新しない場合、同じ基準に到達できたのは7分の1だけだった。

予測能力を行動へつなげる

研究チームは、WARCを固定グラフ探索器と組み合わせてWARC-Agentを構成し、閉ループでのプレイも評価した。エージェントは遷移を観測し、モデルを更新し、その予測を次の探索に利用する。

公開ゲームでは、探索器単体の公式効率スコアが0.15だったのに対し、WARC-Agentは0.46を記録した。改善の大部分はテスト時学習によるものだと報告されている。非公開ゲームのKaggleランキングでは、エントリーのスコアは0.20だった。

意義と限界

この研究の意義は、世界モデルの適応を「最終的に汎化できるか」だけでなく、「新しい仕組みを何回の観測で学ぶか」という粒度で評価した点にある。露出回数、メカニクス単位の精度、学習曲線を組み合わせることで、モデルの環境適応能力をより詳しく比較できる。

ただし、結果はARC-AGI-3のプログラム定義ゲームに基づく。開放的な現実環境や物理世界で同じ速さの学習が可能だと直接示すものではない。今後は、より複雑な規則や連続的な状態変化を含む環境で、探索方法とオンライン更新の関係を検証する必要がある。

出典：Hugging Face Daily Papers