言語モデルの隠れ状態にある方向は、概念が表現されているかを調べるためにも、その方向を状態に加えてモデルの挙動を変えるためにも使える。同じ種類のベクトルが両方に使われることから、概念をよく読み取れる方向なら、同じ概念へモデルをうまく誘導できると思いがちだ。しかし本研究は、探査と操舵では最適な方向がしばしば異なることを示している。
著者らは、異なる系列に属する3つの指示チューニング済みモデルを対象に、真実性と感情の概念を調べた。共分散を調整した判別方向から、クラス間の平均差方向までを結ぶ連続的な方向群を作り、概念を検出する性能と、隠れ状態に方向を加える操舵の効果を比較した。操舵は副作用を一定にそろえた条件で評価している。
主な結果は三つある。
- すべてのモデルで、探査に最適な方向と操舵に最適な方向は一致しなかった。操舵は一貫して平均差方向に近い方向を好む。概念を区別しやすくすることと、介入によって状態を動かすことは、同じ目的ではない。
- 層を変えた調査では、60の「層・モデル・概念」の組み合わせのうち59で両者の違いが確認された。探査と操舵に同じテキストを使った6つすべてのモデル・概念の組み合わせでも差は残り、回転に基づく操舵演算子でも同様だった。
- 操舵の厳密な最適点はより不安定だった。感情課題では、中間的な方向が平均差方向より27~56%強い効果を示す場合があった。ただし、テキストをそろえると優位性は縮小または消失し、層や演算子にも左右された。
モデル間転送にも非対称性がある。中立的なテキストで線形写像を学習して探査方向を移すと、移行先モデルで偶然以上だった探査性能の81~91%が保たれた。一方、平均差方向を移した場合、操舵効果の保持はそれより小さかった。提供された素材はこの説明の途中で途切れているため、操舵効果の低下幅については断定できない。
この研究の実務的な示唆は、読み取りやすい特徴をそのまま制御用のベクトルとして扱わないことだ。探査は情報を取り出せるかを問うのに対し、操舵は副作用を抑えながら望む変化を起こせるかを問う。層、テキスト、演算子によっても結果は変わりうる。モデル編集や挙動分析で活性ベクトルを使う際は、用途ごとに性能を検証する必要がある。
コメント
ログイン状態を確認中…
コメントを読み込み中…