多ターン脱獄を意思決定過程として捉えるM³の狙い

導入

大規模言語モデルの安全性を評価する際、単一ターンだけでは見えない問題がある。1回の要求を拒否できるかに加え、会話が続く中で文脈や意図が少しずつ変化しても、安全境界を維持できるかを確認しなければならないからだ。arXivで発表された M³ は、このような多ターンのレッドチーム評価を自動化するための枠組みである。

会話を意思決定問題に変える

M³は、多ターン脱獄を有限ホライズンのマルコフ意思決定過程として扱う。各プロンプトを独立した試行と見るのではなく、過去の応答から現在の状態を推定し、次の行動を選び、対象モデルの反応を新たな情報として利用する。

主な構成要素は次の3つだ。

• 攻撃者LLM：次の対話方針を生成する。
• 対象LLM：評価対象となるモデルとして応答する。
• 状態LLM：長くなる会話を簡潔な内部状態に変換する。

重要なのは、特定の脱獄文面を示すことではなく、会話の進め方を最適化可能な意思決定問題として扱う点にある。状態を圧縮することで、対象モデルのパラメーター、学習データ、内部の安全分類器にアクセスできないブラックボックス環境にも適用しやすい。

実験結果が示すこと

論文は2つのベンチマークと6つの対象モデルでM³を評価した。既存の多ターン・レッドチーム手法を一貫して上回り、ASR@5では最大53%の改善を報告している。さらに、軽量な攻撃者を使った場合でも、より高性能な攻撃者を使うベースラインと比べ、ASR@1で最大26%、ASR@5で最大34%の向上が得られた。

最終的な成功率だけでなく、ターン数に伴うリスクの変化も分析されている。M³ではリスク上昇がより急になり、早い段階で有効な対話経路を見つけられる可能性が示された。また、リスクカテゴリー間の性能のばらつきも小さくなり、Gini指数で最大4.82の改善が報告された。事前に固定したリスク分類を必要としない点も特徴である。

意義と今後の課題

M³は、安全性評価を「状態の把握、行動の選択、反応からの更新」という連続過程として整理する。これにより、単一ターンのテストでは見落としやすい累積的なリスクを調べやすくなる。モデル開発者にとっては防御の弱点を発見する手段となり、評価ツールの開発者にとっては自動化の明確な設計原理になる。

一方、提示された概要から判断できるのは、攻撃成功率、リスク上昇、カテゴリー間の一貫性に関する結果までである。すべてのモデルや実運用環境への一般化、対象モデルが広く突破されたことまでは示していない。現実的には、M³を制御された安全性評価に使い、発見した弱点を拒否応答、会話状態管理、継続監視の改善へつなげるのが適切だろう。

モデルが単発の回答から長期的な協働へ移行するほど、評価も個々の応答ではなく会話全体の軌跡を見る必要がある。M³はその方向性を示す研究である。

arXiv