RoboColosseum、実世界でロボット方策を大規模評価

導入

ロボット方策を実世界で評価する際、環境や機体の違いは有用な情報をもたらす一方、結果の再現を難しくします。RoboColosseumは、統一された方策サービングと標準化された手順を組み合わせ、各地で運用されるロボットを分散型の評価ネットワークに接続します。単一の研究室でのデモではなく、異なる本体と環境での汎化能力を調べることが狙いです。

主なポイント

• 4種類の本体を比較。 SO-101、Franka、Bimanual-YAM、G1 Humanoidを対象に、5つの視覚・言語・行動方策と3つの最先端AIエージェントを評価しました。
• 2つの評価トラック。 Open Trackではタスク固有の適応を行わず、条件をそろえた盲検的なペア比較を実施しました。Fine-tune Trackでは、20タスクについて各方策に同じ100件のデモンストレーションを与え、適応能力を測定しました。
• 汎用性には限界。 124拠点で5699件のOpen Track比較を行ったところ、最先端エージェントは専用VLA方策に匹敵しました。しかし、すべてのシステムがオープンワールド課題の安定した完了に苦戦しました。
• 微調整で順位が変わる。 微調整後はSO-101でGR00T N1.7、FrankaとBimanual-YAMでpi0.5が首位でした。本体別タスク集の順位一致度は低く、KendallのWは0.24でした。Open Trackの順位も微調整後の性能を十分に予測できず、大きな順位逆転が起きています。
• 失敗にも差がある。 G1 Humanoidの5タスクでは、どの方策も完了に至りませんでした。それでも平均進捗は13.3%から23.2%に分かれ、二値の成功率だけでは見えない違いを示しました。

意義と影響

RoboColosseumが示す重要な点は、ロボット方策の強さを単一のランキングで語ることが難しいということです。方策の性能は、ロボットの形状、タスクの組み合わせ、微調整の有無に左右されます。ゼロショットで上位の方策が、適応後にも最良とは限りません。

また、タスクの完了だけを測る評価では、途中まで正しく動作した方策と、開始直後に失敗した方策を同じ「失敗」と扱ってしまいます。部分進捗を記録すれば、どこまで実行できたのか、どの方策が難しい課題でも前進しているのかを比較できます。特に人型ロボットのように完了率が低い領域では、この指標が有効です。

研究では、試行数が増えるにつれてOpen Trackの順位が安定し、アクティブなマッチメイキングにより、均一なサンプリングより少ない実機試験で同程度の順位一致を得られる可能性も示されました。もっとも、これは初期研究です。より多くの拠点、課題、安全手順を組み込むことが、汎用的な身体知能を評価する次の課題になります。

Hugging Face Daily Papers