ShieldVLA：VLAモデルに「まだ安全に戻れるか」を判断させる

導入

視覚・言語・行動（VLA）モデルは、画像と指示をもとにロボットのナビゲーションや操作を決定します。複数のタスクへの汎化能力が高まる一方、タスクを達成できることと、安全に達成できることは同じではありません。危険な状態に近づいたロボットに対して重要なのは、単に「危険か」を判定することだけでなく、そこから安全な状態へ戻る余地が残っているかを見極めることです。

ShieldVLAは、この「復帰可能性」をVLAの安全ファインチューニングの中心に置きます。Hamilton-Jacobi（HJ）到達可能性の考え方を使い、視覚観測からモデルフリーの到達可能性価値関数を近似する安全criticを学習します。このcriticは、現在の観測が安全な運用領域にあるか、または安全に回復できる領域に残っているかを推定します。

主な仕組み

• 実行可能性に応じた最適化。 状態が安全に復帰できる範囲にある場合は、タスク報酬の最大化を続けます。一方、危険状態に近づいた場合は、通常のタスク遂行より復旧行動を優先するよう学習を誘導します。
• 固定ペナルティへの依存を軽減。 ラグランジュ法では、安全制約を累積コストへのソフトペナルティとして扱います。ペナルティが弱ければ違反が残り、強すぎれば必要以上に保守的になります。ShieldVLAは、状態に応じてどの目的を優先するかをcriticで切り替えます。
• VLMによる構造化された教師信号。 視覚環境の各ステップに安全コストを人手で付けるのは困難です。そこで、ルーブリックに基づくVLMの安全スコアを使い、意味的な安全評価をcritic向けの構造化された目標へ変換します。
• 複数のVLAモデルとタスクで評価。 素材では、OpenVLA-OFT、OmniVLA、SPOC-VLAなどを用いた検証が示されています。例としてDubins-VL、TurtleBot-Nav、Safety-CHORES、Franka-Reachが挙げられ、要約では合計5つのナビゲーション・操作ベンチマークとされています。

意義と残る課題

論文によれば、5つのベンチマークで累積安全コストを平均57%削減し、SafeVLAに対してタスク成功率を0.13向上させました。重要なのは、安全性をエピソード全体に同じ強さの罰則として適用するのではなく、状態が実行可能な間はタスク達成を目指し、復帰が必要な局面では安全行動に切り替える点です。

この設計は、ロボットの有用性と過度な慎重さのトレードオフを緩和する可能性があります。ただし、VLMスコアの校正、視覚観測だけでは捉えにくい潜在的な危険、ベンチマークから実機環境への一般化は、今後も検証が必要です。ShieldVLAはあらゆるリスクを解決する完成形というより、VLAの安全学習に「安全境界」と「復帰可能性」を明示的に組み込むための枠組みと位置づけられます。

出典：Hugging Face Daily Papers