記事一覧へ戻る

VSpark、視覚言語行動モデルのロボット動作生成を高速化

読了目安 3 分

視覚言語行動モデル(VLA)は、画像や言語の入力をロボットの動作へと変換します。多くのモデルは動作を自回帰的に、つまりトークンを一つずつ生成するため、推論時間が制御ループの応答性に影響します。VSparkは、この処理に投機的デコーディングを導入します。軽量な草案モデルが複数のトークンを先に提案し、元のVLAがまとめて検証します。VLA自身の予測と一致したトークンだけを採用することで、逐次生成の負担を減らしつつ、元モデルのデコード結果を保つことを狙います。

VSparkの三つの工夫

この方式をロボット制御へ移す際の難点は、動作トークンと物理的な動きが一対一に対応しないことです。異なるトークンがほぼ同じ動きを表す場合でも、トークン単位の厳密な検証では草案が棄却されることがあります。VSparkは、次の三点でこの問題に取り組みます。

  • 調整した動作ノイズを含むロールアウト。 学習用の軌跡に較正済みの動作ノイズを加え、草案モデルがより幅広いロボット状態に触れられるようにします。
  • 隠れ特徴のアラインメント。 出力トークンの予測だけでなく、VLAの隠れ特徴に草案モデルを合わせます。これにより、主モデルの内部表現をよりよく捉えることを目指します。
  • 継続候補の再利用。 草案が棄却されても、検証中にVLAがすでに計算した予測を捨てず、次の検証の候補として活用します。

結果と意味

論文は、異なる動作トークナイザーを使う4種類のVLAと、4つのロボット操作ベンチマークで評価を行い、1.28~2.10倍の高速化を報告しています。デコードは無損失とされています。草案の精度を高めるだけでなく、検証時に発生した計算を次の段階へ引き継ぐ点も特徴です。三つの設計はそれぞれ、状態の幅、モデル間の表現の近さ、計算の再利用に対応しています。

動作生成が速くなれば、具身型システムがリアルタイム制御を行う際に計算上の余裕を得られる可能性があります。ただし、報告された倍率がすべてのロボット、タスク、ハードウェアで再現されるとは限りません。提供された概要には、モデルごとの遅延、使用ハードウェア、各要素の効果を分けた実験結果は記載されていないため、適用範囲の判断には論文全体の確認が必要です。それでもVSparkは、テキスト生成向けに知られる投機的デコーディングをロボット動作列に適用し、トークンの一致と動作の類似性の違いを正面から扱う試みです。

Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事