MARS、テキストの拒否方向でマルチモーダルモデルの安全性を制御

画像や動画を理解できるマルチモーダル大規模言語モデルは、テキストモデルより広い入力を扱える一方、安全対策も複雑になる。従来のアラインメントでは、画像や動画ごとに有害サンプルを集め、追加学習や活性制御によって拒否応答を身につけさせる方法が一般的だった。しかし、モダリティごとの安全データ収集にはコストがかかり、網羅も難しい。データの収集や配布には倫理的・法的な問題も伴う。

Hugging Face Daily Papersで紹介された研究 Harnessing Textual Refusal Directions for Multimodal Safety は、別の可能性を検討した。拒否は単なる言語表面のパターンではなく、モデル内部の比較的安定した表現方向として現れているのではないか、という考え方である。もしそうなら、テキストから抽出した拒否方向を視覚入力にも利用できる可能性がある。研究は初期的な結果として、この方向の移転を確認したが、適用には条件があると説明している。

主なポイント

• 拒否方向はモダリティをまたいで利用できる。 マルチモーダルモデルが利用する言語モデルのバックボーンから拒否関連の方向を取り出すため、画像や動画ごとに別の安全データセットを用意する必要がない。
• 効果は設定に左右される。 介入する層、steeringの強さ、モダリティ間の表現の整合性が結果を左右する。整合性が低い場合、安全な入力まで拒否へ誘導される可能性がある。
• MARSは選択的な制御を目指す。 Modality-Agnostic Refusal Steeringは、活性のセンタリングでモダリティのずれを補正し、幾何学的に定義した信頼領域内で強度を適応的に調整する。さらに適切な介入層を選び、生成される最初のトークンで制御を行う。追加学習は必要ない。
• 安全性と有用性を同時に評価する。 5つの最先端マルチモーダル大規模モデルを対象に、安全性、有用性、動画による jailbreak を評価した。MARSは一貫した安全性向上を示し、過剰拒否が生じる段階までは有用性を維持した。

意味と今後の課題

MARSが示す重要な仮説は、安全に関係する構造がモダリティを超えて言語バックボーンに共有されている可能性である。この仮説が他のアーキテクチャやリスク分類でも成立するなら、テキスト、画像、動画ごとに完全に独立したアラインメント基盤を構築する必要性を減らせるかもしれない。

ただし、拒否方向は安全性そのものではない。誘導が強すぎれば正常な依頼への応答を損ない、表現のずれは誤拒否を生む。動画では時間的な変化や複数の出来事の組み合わせも重要になるため、最初のトークンへの介入だけで全てのリスクを判断できるとは限らない。MARSは、データを用いた評価やアラインメントを置き換えるものではなく、軽量な安全性強化手段として理解するのが妥当だろう。

今後は、異なるモデル系列や実運用に近い入力での安定性、より細かな安全ポリシーへの適応を検証する必要がある。単純に拒否するか回答するかではなく、リスクを正確に見極め、可能な場合には建設的な代替回答を返す方向へ発展できるかが課題になる。

出典：Hugging Face Daily Papers