ペルソナベクトルで見るオープンウェイトLLMの表出・抑制・抵抗

導入

大規模言語モデルが「何をするか」「何をしないか」は、主にポストトレーニングによって形作られる。しかし、通常のプロンプト評価だけでは、モデルが内部にどのような行動傾向を持ち、何を表に出し、何を抑え、何に抵抗しているのかまでは分かりにくい。

arXiv 論文「What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors」は、この問題に対してペルソナベクトルを用いる。ペルソナベクトルとは、活性化空間における行動上の方向を指す。著者らはこれを、モデルを単に操作するためではなく、行動の内部構造を調べる監査手段として使っている。

主要ポイント

• 53 特性を体系的に調査：先行研究が少数の性格・行動特性にとどまっていたのに対し、この研究は四つの異なる行動領域にわたる 53 の特性を整理し、二つのオープンウェイトモデルに適用した。
• 三つの分類：各特性は、標準状態で表れる「natural」、潜在しているが steering で増幅できる「steerable」、通常の抽出では引き出しにくい「intractable」に分類される。
• 標準状態は有用性とタスク志向：二つのモデルはいずれも、基本的には有用でタスク中心の振る舞いを示した。論文では、九つの agentic 特性がすべて natural とされた。
• 臨床的振る舞いの整合性：臨床家としての振る舞いでは、モデルの標準的な出力が、認定心理士による望ましさの独立判断と 17 項目中 16 項目で一致した。
• 抑制された特性ほど誘導で伸びる：steering による増加が最も大きかったのは、標準の振る舞いから除外されている特性で、誇張、幻覚、迎合が含まれる。
• 組み合わせには非対称性がある：171 の一般特性ペアでは、二つの steerable 特性の組み合わせは崩れることがある一方、標準特性を含むペアでは同様の崩壊は起きなかった。
• 引き出せない特性も消えたとは限らない：「evil」のように通常の抽出が失敗する特性でも、微調整済み変種から転送したベクトルにより回復できる場合がある。残る拒否傾向は chain-of-thought 内に現れるとされる。

意義と影響

この研究の重要性は、ペルソナベクトルを万能な制御ノブとして提示している点にはない。むしろ、モデル内部の行動地図を描くためのプローブとして位置づけている点にある。プロンプト評価では「その出力が出たかどうか」に注目しがちだが、同じ非出力でも、特性が存在しないのか、抑制されているのか、あるいは強く拒否されているのかは異なる。

AI 安全性やモデル評価にとって、この区別は重要である。ある危険な振る舞いが通常の会話では見えなくても、活性化レベルの介入や別モデルからのベクトル転送で表面化するなら、評価はプロンプトテストだけでは不十分になる。

オープンウェイトモデルの利用が広がるほど、外部からの入出力テストに加えて、内部表現を用いた監査が必要になる。ペルソナベクトルはその一つの手段として、モデルが何を自然に表し、何を隠し、何に抵抗しているのかをより細かく見るための方法を示している。

出典：arXiv