PhysBrain 1.5、認識・行動生成・未来予測を一つのモデルに統合

導入

物理世界で動くロボットには、画像の内容を説明する能力だけでは不十分です。見えている対象をタスクの目的と結び付け、どの方向へ手先を動かすかを決め、その操作によって環境がどう変化するかまで考える必要があります。PhysBrain 1.5は、この「観察、相互作用、環境変化」というループを一つのモデルで扱おうとする研究です。

共通の系列表現

PhysBrain 1.5は汎用の視覚言語モデルを出発点にしながら、ロボット能力を完全に別の制御器として切り離しません。言語による回答、エンドエフェクタの運動、未来のシーンを表す密な視覚目標を、すべて離散系列へ変換します。そのうえで、共通の自己回帰型次トークン予測によって学習します。

この構成では、異なる種類の出力を同じモデリング形式で扱えます。言語トークンはタスクの意味を表し、運動系列は空間的な操作を担い、RGB、深度、ロボットマスクなどの視覚目標は、行動後の環境を記述します。したがって、シーン理解と動作生成、状態予測の間にある分断を小さくできる可能性があります。ただし、この設計だけで制御遅延、安全性、機体ごとの差、未知環境への頑健性が解決されるわけではありません。

事前学習で使う具身的な教師信号は、人間のインタラクション動画から得られます。動画を単なる連続画像として扱うのではなく、タスク中心のエピソードとして整理し、意味・空間的な文脈、復元した運動、続いて観測された状態を対応付けます。その後、人間の実演、ロボット軌跡、シミュレーション経験を混ぜた教師あり微調整を行い、ロボット関連の振る舞いへ適応させます。

結果と意味

論文の報告では、8Bモデルは28件の具身理解ベンチマークで平均72.5点を獲得し、そのうち14件でオープンソースモデルの最高結果となりました。また、論文が比較対象として挙げる一部のクローズドモデルと同等水準だったとされています。定性的な例として、エンドエフェクタの軌跡生成や、RGB・深度・ロボットマスクを空間的にそろえた未来シーン予測も示されています。

重要なのはスコアだけではありません。人間の動画から自然な相互作用の関係を学び、ロボット軌跡とシミュレーションで実行に近い情報を補うという学習方針は、汎用マルチモーダルモデルと物理的行動を接続する一つの道筋を示します。

一方、提供された素材にはベンチマークごとの詳細、実機での成功率、推論遅延、長期タスクの評価は含まれていません。そのため、今回の結果は汎用ロボット制御の完成を意味するものではなく、統合型の具身モデルに向けた有力な段階的成果として見るのが妥当です。

出典：Hugging Face Daily Papers