PhysEvolve、実行可能な世界で視覚言語モデルの物理推論を自己進化

導入

視覚言語モデルは、動画に映る物体や動作を説明することはできます。しかし、それだけで物理的な因果関係を理解しているとは限りません。たとえば、ある物体を取り除いたら結果がどう変わるのか、接触によって次の動きがどう決まるのかを答えるには、単なる画像認識ではなく、力、運動、相互作用、介入の結果を考える必要があります。PhysEvolveは、この問題に対して、実行可能なシミュレーション世界の中でモデル自身に学習課題を作らせる方法を提案します。

仕組みの要点

• 事実と反実仮想を対にする。 観測動画が記録するのは、通常、実際に起きた一つの軌跡だけです。PhysEvolveは同じ環境から基準分岐と、対象物体を取り除いた反実仮想分岐をシミュレーションし、条件変更による差を作ります。
• 世界の提案と検証を分担する。 各ラウンドで共有VLMが実行可能な世界プログラムと証拠スキーマを生成します。その後、決定論的な物理エンジンがプログラムを検査し、有効な世界を固定してシミュレーションを実行します。モデルの自己評価だけに依存しない点が重要です。
• 答えを物理結果に結び付ける。 シミュレーションされた軌跡から、離散的な視覚タスクを作成します。正解は物理エンジンの結果に結び付いているため、タスクを解いたかどうかを比較的明確に判定できます。
• 方策とカリキュラムを更新する。 検証器から得たフィードバックはGRPOを通じて共有方策を更新し、物理的な意図に関するカリキュラムも調整します。これにより、相互作用や介入を含む難しい課題へ学習を移せます。

結果と意義

Qwen3-VL-8B-Instructを出発点に、PhysBench、CausalPhys、ContPhyで評価が行われました。報告された改善は、PhysBenchのThrowingで8.8ポイント、ContPhyのCounterfactual Removalで7.4ポイント、Goal-Pitで24.4ポイントです。特に、物体同士の相互作用や、条件を変更した世界について推論する問題で伸びが集中しています。

さらに論文では、布、流体、ソフトボディなどの未見の複雑な力学、そして実世界動画へのゼロショット転移も報告されています。これは、介入を含む動画をすべて人手で収集・注釈する代わりに、シミュレータで制御された代替結果を作り、厳密な検証を学習信号にできる可能性を示します。

一方で、性能は物理エンジンの対応範囲や、シミュレーションと現実の差、モデルが生成する世界プログラムの質に左右されます。そのためPhysEvolveは、現実データを完全に置き換える手法というより、「仮説を提案し、実行し、検証し、方策を更新する」閉ループを物理推論に導入する研究と見るのが適切です。この閉ループは、世界モデルや身体性エージェントの訓練基盤になり得ます。

出典：Hugging Face Daily Papers