記事一覧へ戻る

言語モデルの探査と操舵は、なぜ異なる方向を選ぶのか

読了目安 3 分

言語モデルの隠れ状態にある方向は、概念が表現されているかを調べるためにも、その方向を状態に加えてモデルの挙動を変えるためにも使える。同じ種類のベクトルが両方に使われることから、概念をよく読み取れる方向なら、同じ概念へモデルをうまく誘導できると思いがちだ。しかし本研究は、探査と操舵では最適な方向がしばしば異なることを示している。

著者らは、異なる系列に属する3つの指示チューニング済みモデルを対象に、真実性と感情の概念を調べた。共分散を調整した判別方向から、クラス間の平均差方向までを結ぶ連続的な方向群を作り、概念を検出する性能と、隠れ状態に方向を加える操舵の効果を比較した。操舵は副作用を一定にそろえた条件で評価している。

主な結果は三つある。

  • すべてのモデルで、探査に最適な方向と操舵に最適な方向は一致しなかった。操舵は一貫して平均差方向に近い方向を好む。概念を区別しやすくすることと、介入によって状態を動かすことは、同じ目的ではない。
  • 層を変えた調査では、60の「層・モデル・概念」の組み合わせのうち59で両者の違いが確認された。探査と操舵に同じテキストを使った6つすべてのモデル・概念の組み合わせでも差は残り、回転に基づく操舵演算子でも同様だった。
  • 操舵の厳密な最適点はより不安定だった。感情課題では、中間的な方向が平均差方向より27~56%強い効果を示す場合があった。ただし、テキストをそろえると優位性は縮小または消失し、層や演算子にも左右された。

モデル間転送にも非対称性がある。中立的なテキストで線形写像を学習して探査方向を移すと、移行先モデルで偶然以上だった探査性能の81~91%が保たれた。一方、平均差方向を移した場合、操舵効果の保持はそれより小さかった。提供された素材はこの説明の途中で途切れているため、操舵効果の低下幅については断定できない。

この研究の実務的な示唆は、読み取りやすい特徴をそのまま制御用のベクトルとして扱わないことだ。探査は情報を取り出せるかを問うのに対し、操舵は副作用を抑えながら望む変化を起こせるかを問う。層、テキスト、演算子によっても結果は変わりうる。モデル編集や挙動分析で活性ベクトルを使う際は、用途ごとに性能を検証する必要がある。

Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
DailySafe、日常のマルチモーダル対話における動的な安全認識を評価
モデル評価
cctest.ai
モデル評価

DailySafe、日常のマルチモーダル対話における動的な安全認識を評価

DailySafeは、日常的なタスクが複数ターンにわたって進むなかで、マルチモーダルモデルが文脈に潜むリスクを見つけられるかを測るベンチマークです。危険の検知だけでなく、ユーザーの正当な目的を支援し続けられるかにも注目します。

続きを読む
CCTest · Blog
AltRA-Test:人間の注釈者をLLMで置き換えられるか検証
モデル評価
cctest.ai
モデル評価

AltRA-Test:人間の注釈者をLLMで置き換えられるか検証

AltRA-Testは、項目ごとに異なる人が注釈する状況を想定し、全員が人間のパネルと人間・LLM混合パネルの一致度を比較します。注釈者が全データで共通していなくても、LLMによる代替を統計的に検証できます。

続きを読む