モデル内部情報はLLMの安全性にいつ役立つのか？表現工学を比較評価

導入

大規模言語モデルの安全対策は、危険な質問を拒否させれば終わりというものではありません。実運用では、対話の途中でリスクを見つけ、必要に応じてモデルの処理を止めたり、挙動を修正したりする仕組みも必要です。一般的な行動アラインメントが出力を最適化するのに対し、表現工学はモデル内部の状態を読み取ったり変更したりします。

論文「When Do Model Internals Help?」は、これらの手法を同じ条件に近づけて比較しようとしたものです。安全制御ではDPOと三つの表現ステアリング手法を、監視では表現プローブと複数のテキスト監視器を評価しています。従来は方法ごとにデータや評価条件が異なることが多く、内部情報の本当の利点を判断しにくいという問題がありました。

主なポイント

• 安全制御ではDPOが総合的に優位。 頑健性、実用性、制御の細かさを含めた比較で、DPOは全体として最も強い制御能力を示しました。一般に、学習データが増えるほど性能も改善します。
• 表現ステアリングは低データ条件で有力。 データが限られる場合、特に高品質な対照データを使う場合には、内部状態を操作する手法が競争力を保ちます。大規模な再学習が難しい場面で意味を持つ結果です。
• 良性の微調整でも安全性は低下し得る。 危険な挙動を直接学習していない追加微調整でも、DPOで得た安全性が弱まる可能性があります。安全対策は一度実施して終わりではなく、継続的な検査が必要です。
• 検知精度はテキスト監視器、コストは表現プローブ。 完全な応答の判定、早期検知、計算コストを比べると、専用テキスト監視器が総合的な精度で優位でした。一方、表現プローブは限界コストが大幅に低い点が強みです。
• 監視と介入を組み合わせられる。 監視結果に基づく介入は、良性微調整後に失われた安全性のかなりの部分を取り戻し、過剰拒否の追加も小さかったと報告されています。

意義と影響

この研究が示すのは、モデル内部の情報が行動アラインメントを置き換えるということではありません。DPOのような手法は、モデルの出力傾向を大規模かつ安定して変える基盤として依然重要です。表現工学は、データが少ない場合、より細かな制御が必要な場合、あるいは完全な再学習が難しい場合に補完的な役割を果たします。

監視についても、単純な優劣より役割分担が重要です。高い検知精度を求めるシステムではテキスト監視器が適し、膨大な対話を低コストでふるい分ける用途では表現プローブが有効かもしれません。プローブで一次検査を行い、リスクの高いケースをテキスト監視器で精査し、必要なら実行時介入につなげる構成が考えられます。

提示された素材には、具体的なスコア、データセット、モデル規模、閾値の詳細は含まれていません。そのため、どの環境でも同じ手法が最善だと結論づけることはできません。重要なのは、データ量、計算予算、必要な制御粒度、追加学習による安全性低下の可能性を踏まえ、複数の安全機構を組み合わせることです。

出典：Hugging Face Daily Papers