HexaShell、VLMコーディングエージェントでロボット操作の限界を探る

導入

視覚言語モデル（VLM）は、画像を理解し、コードを生成し、ツールを呼び出しながら複数の手順を実行できるようになりました。しかし、操作対象が画面上のソフトウェアではなく、現実のロボットになると課題は一気に難しくなります。エージェントは画像から空間関係を読み取り、腕を動かし、物体との接触まで安定して扱わなければなりません。HexaShellは、コーディングエージェントがロボットを制御する場合、どこまで到達できるのかを検証します。

薄いハーネスという設計

HexaShellの特徴は、システム側に過剰な戦略を組み込まないことです。ハーネスが主に行うのは、エージェントのコマンドをロボットの動作に変換することだけです。エージェントは1つのコマンドラインを通じて双腕ロボットを操作し、3台のRGBカメラの画像とキャリブレーション情報を受け取ります。

試行が失敗すると、エージェントは実行ログを読み、原因を推測し、小さなプログラムであるツールを新たに作成するか修正します。これは、コーディングエージェントが失敗したテストを修正し、その修正をコードとして残す流れに似ています。経験を一時的な推論だけに留めず、再利用可能な手続きへ変換する点が重要です。

観測だけで位置を推定する

生成されるツールは、ロボットが観測できる情報だけを利用します。位置推定には、次のような幾何学的手法が使われます。

• 2台のカメラが同じ点を見た場合、それぞれの視線の交点から点の位置を推定する。
• 点がテーブルやブロック上面など既知の平面上にあるなら、視線と平面の交点を求める。
• ヘッドカメラだけでは不十分な場合、ロボットが手首カメラを動かし、別の視点を取得する。

つまり、隠れた状態表現や完成済みのタスク別ポリシーに頼るのではなく、エージェントが画像、幾何、ログ、コードを組み合わせて操作手順を構築します。

評価結果と読み解き

研究チームは各タスクについて、1つのシードに属する10レイアウトだけを使ってツールを作成しました。その後ツールを凍結し、同じシードの新しい10レイアウトで評価しています。これは、ツールが作成時の場面を単に記憶したのか、それとも別の配置にも適用できるのかを確かめる設定です。

RoboDojoの42タスク全体では、成功率39.7%、進捗スコア48.0を報告しています。いずれもリーダーボードと同じ方法で平均化された値で、論文はRoboDojoにおける新たな最高性能だとしています。使用モデルは、推論強度を中程度に設定したCodexとGPT-6-Astraです。ただし、この結果は特定ベンチマーク上の性能であり、汎用的なロボット能力を意味するものではありません。

意義：コードが身体化エージェントの記憶になる

HexaShellの意義はスコアだけではありません。失敗から生まれた修正が、検査可能で再利用できるコードとして残るため、エージェントの改善過程を追跡しやすくなります。

一方、論文が示す主な限界は、推論よりも接触です。対象の認識や手順生成ができても、わずかな位置誤差、遮蔽、把持や押し動作の物理特性によって失敗する可能性があります。ロボット向けコーディングエージェントを進化させるには、推論長を増やすだけでなく、接触時の不確実性と物理的な頑健性を扱う仕組みが重要になりそうです。

出典：Hugging Face Daily Papers