同じ説明でも行動は変わる：推論型VLAに潜む安全上の分離

2026年11月4日読了目安 3 分

導入

推論型の視覚言語行動モデル（VLA）は、画像を理解し、自然言語で判断理由を示しながら、運転や物体操作のための行動を出力する。人間が理由を確認できるため、この仕組みは安全監視に役立つと期待されている。

しかし、Hugging Face Daily Papersで紹介された研究は、説明と行動の関係を再検討する必要を示した。モデルが述べる理由をまったく変えずに、物理的な行動だけを変えられる可能性があるからだ。

説明を壊さない攻撃。 これまでのVLA攻撃は、生成された理由を変化させることが多く、異常が文章に現れた。今回の研究は、文章を維持したまま行動をずらす視覚摂動に焦点を当てている。
TNASを提案。 自動運転向けのAlpamayoと、操作向けのInstructVLAにあるテキスト・行動共有インターフェースで、行動には敏感だがテキスト損失には比較的影響しにくい隠れ状態の方向を探索した。これがテキスト中立行動部分空間（TNAS）である。
テキストは隠れ状態の一部しか表さない。 行動に最も敏感な方向と、実際に働いているテキスト損失勾配とのノルム重複率は、Alpamayoで1.87%、InstructVLAで5.28%だった。文章が同じでも、制御に関わる内部情報まで同じとは限らない。
運転では明確な差が出た。 障害物の注釈がある154シーンで、TNASを使った全画像摂動は、説明が完全一致したまま新たな衝突を起こした割合が52.6%だった。前方カメラの局所パッチでも35.1%に達し、無誘導攻撃の4.55%を上回った。
操作モデルにも共通点。 InstructVLAでも、完全なテキスト応答を保ちながら行動チャンクを変化させられた。問題は自動運転だけに固有ではない。

この結果は、すべてのVLAが同じ攻撃に弱いと断定するものではない。一方で、「説明が自然で変化していないから行動も安全だろう」という評価方法には、明確な盲点がある。言語は隠れ状態を多対一に読み出すため、行動に重要な差異が文章に現れない場合がある。

したがって、実運用の監視では説明文だけでなく、予測された行動、軌道、衝突リスク、実行結果を直接確認する必要がある。評価ベンチマークにも、説明を固定したまま行動が変化するかを調べる反実仮想テストを加えるべきだろう。全画像だけでなく、局所的な視覚摂動も対象にする必要がある。

VLAにおいて説明可能性を実現するには、理由を生成できるだけでは不十分だ。説明と制御が本当に結び付いているかを検証し、行動側を独立した安全信号として扱うことが求められる。