RoboArchitect、モデルを更新せずロボットの制御枠組みを自動進化

導入

ロボットの性能は、行動を予測するポリシーだけで決まるわけではありません。視覚・言語・動作（VLA）ポリシーをいつ呼び出すのか、追加の視覚ツールを使うのか、それとも制御コードからアームを直接動かすのかといった運用方法も、結果を大きく左右します。RoboArchitectは、この周辺の「エージェント・ハーネス」を自動設計できるか検証する研究です。

凍結ポリシーの周囲を最適化

RoboArchitectでは、基盤となるロボットポリシーの重みを変更しません。代わりに、コーディングモデルが実行軌跡を観察し、失敗の原因を診断し、ポリシーを包む制御コードを段階的に修正します。ハーネスは、凍結ポリシーを呼び出すタイミング、視覚ツールを使う場面、コードから直接命令を出す場面を判断します。

最適化は一部のエピソードで行い、評価は別のシーンやタスクで実施されます。そのため、特定の試行を記憶するだけでなく、別の状況にも使える制御方針を獲得できるかが重要になります。

コードによる制御と永続メモリ

生成されたエージェントの多くは、ポリシーとコードに役割分担を持たせます。学習済みポリシーが得意な動作は任せる一方、明示的で構造化された処理や復旧動作はコード側が担います。例えば、アームが引っかかったときにいったん持ち上げて障害を避けたり、上方からの経路が遮られている場合に水平方向から接近したりする戦略が自動的に現れます。

さらに、ハーネスはエピソードをまたぐ永続メモリも発展させます。過去の試行で有効だった経験を保存し、後の判断に利用できます。物体をつかむ際に適した深さなどが、次の試行の手掛かりになる仕組みです。つまり最適化の対象は制御関数だけでなく、経験を蓄積して呼び出す方法にも及びます。

結果と意義

複数のベンチマークとポリシーを用いた実験では、未知のシーンにおける平均成功率が9.7%から43.3%へ、未知のタスクでは12.7%から40.2%へ向上しました。これはそれぞれ約4.5倍、約3.2倍に相当し、モデルの重み更新は行われていません。特に、評価環境がポリシーの訓練データから大きく離れている場合に改善幅が大きくなります。汎用ポリシーに進化したハーネスを組み合わせることで、微調整版を上回る場合も報告されています。

この研究は、ロボット性能の向上策を、より大きなモデルの学習だけでなく、既存能力の組織化へ広げます。凍結モデル、ツール、実行可能な制御コード、記憶を組み合わせる構成が、今後のロボットエージェントの一つの方向になり得ます。ただし、結論は論文で扱われたベンチマークと実験条件に基づくもので、より開放的な実環境での安定性は今後の検証課題です。

出典：Hugging Face Daily Papers