RealtimeWAM：世界行動モデルを1ステップ・非同期推論へ

概要

世界行動モデル（World Action Models、WAMs）は、動画生成バックボーンが学習した視覚表現を、ロボットの行動予測に利用するモデルである。現在の観測だけでなく、視覚的な変化や将来の状態に関する情報を行動生成へ活用できる点が特徴だ。一方で、動画エキスパートと行動エキスパートの計算量が大きく、さらに行動生成で複数回のデノイズを必要とする場合、リアルタイム制御には遅延が残る。

論文「RealtimeWAM: One-Step Asynchronous World Action Models」は、この遅延をモデル内部と実行スケジュールの両面から見直す。提案手法は、行動生成を1ステップ化すると同時に、動画と行動の専門モジュールを可能な範囲で並行動作させる。

主な技術

• TACDによる1ステップ化。 拡散型の行動予測では、ノイズを除去しながら複数ステップで行動を精緻化することが多い。Teacher-Anchored Consistency Distillation（TACD）は、複数ステップで推論する凍結教師モデルのロールアウト終点を、1ステップの学生モデルへ明示的に伝える。
• 局所誤差と最終結果のずれを補正。 近接する状態同士の一貫性だけを学習すると、局所的な誤差は小さくても、最終的な行動が正確になるとは限らない。TACDは局所的一貫性に加え、教師の最終到達点を使って、全体の結果をそろえることを狙う。
• CEWPによる非同期化。 従来の構成では、動画エキスパートが表現をすべて計算し終えるまで、行動エキスパートが待つ必要がある。Cross-Expert Wavefront Pipelining（CEWP）は、動画側のKVキャッシュをブロック単位で共有し、対応する行動アテンションが必要とする直前だけ同期する。これにより、両エキスパートの処理を重ね合わせる。
• 複数ベンチマークで評価。 LIBERO、LIBERO-Plus、RoboTwinに加え、Fast-WAMやFaster-WAMなどのモデル系統で実験が行われた。論文概要によれば、精度低下は1％未満に抑えられ、H100では最大25倍のエンドツーエンド高速化を達成した。

意義と限界

RealtimeWAMの重要性は、単に小さなモデルを作るのではなく、推論グラフ全体の無駄を減らした点にある。TACDは行動エキスパート内部の反復計算を削減し、CEWPはエキスパート間の待ち時間を短縮する。身体性AIでは、個々の演算を高速化するだけでなく、依存関係に沿って計算を再配置することがリアルタイム性に直結する。

動画ベースの視覚事前分布を保ちながら遅延を抑えられるなら、世界モデルを用いた閉ループ制御の実用化に近づく可能性がある。ただし、提示された情報だけでは、異なるロボット構成、センサー遅延、長期タスクでの安定性までは判断できない。公開されたコードとチェックポイントによる追加検証が今後の焦点となる。

出典：Hugging Face Daily Papers