RoboJev、視覚言語モデルでロボット作業の成功を判定

ロボット学習では、成功例と失敗例のラベルが欠かせません。しかし実際の操作データには、動画は残っていても、その試行が成功したかを明示する情報がないことが多くあります。RoboJevはこの空白を埋めるためのモデルです。ロボットを直接制御するのではなく、作業指示と観測された結果を見て、エピソードの成否を判定します。

仕組み

RoboJev-27BはJEV-27B-VLをベースにしています。入力はタスク指示、操作試行から抽出した10フレーム、そして利用できる場合は補助カメラによる最終フレームです。モデルは成功・失敗を校正された2トークンの読み出しで予測し、1回のフォワード推論で両方の確率を得られる設計になっています。

調整にはランク32のLoRAアダプターを使い、更新するのは言語モデル部分だけです。視覚エンコーダーは凍結されています。また、研究データに限定したソース別のKLペナルティを導入し、対象データ上の予測が元モデルから過度に離れないようにしています。学習には52,598件のエピソード記録が使われました。

評価結果

同じSO-101ロボットモデルによる268件のホールドアウト・エピソードでは、平衡正解率95.2%、AUROC 0.993を記録しました。未知の研究室やロボットで収集された459件のデータでもAUROCは0.890でした。明確なラベルが付いたコミュニティ収集データでは、135件に対して正解率93.3%となっています。

同じ入力を使ったベースモデルは、未知の研究室・ロボットのサブセットでAUROC 0.900でした。この結果は、基盤となる視覚言語モデルにも成否判定の能力が存在する一方、追加調整によって特定の評価タスク向けに振る舞いが変わることを示しています。また、ロボット評価ではデータの出所を分けて測定する重要性も浮き彫りにします。

推論速度は、H100 1枚でエピソードを直列処理した場合の中央値が0.26秒です。GPU時間あたり2.69ドルという前提では、メディア処理や提供コストを除き、1,000回の判定に約0.19ドルと見積もられています。推論コードに加え、20,628件の予測を29のモデルまたはプロトコル項目に整理した評価資料も公開されています。

意義と注意点

RoboJevの意義は、ロボット動画を成否ラベルへ変換する作業を自動化できる点にあります。過去の実演データの整理、学習サンプルの選別、オフラインでの実行品質チェックなどへの利用が考えられます。オープンウェイトと評価資料の公開は、研究者が結果を検証しやすくする要素です。

一方で、どのような作業でも正確に理解できることを意味するわけではありません。限られたフレームと任意の最終画面に依存するため、遮蔽、視点の変化、長時間の目標、触覚情報が必要な作業には弱点が残る可能性があります。未知のデータで性能が下がる点も踏まえ、実運用では作業内容、カメラ構成、データ分布に合わせた校正が必要です。

出典：Hugging Face Daily Papers