安全ベンチマークが測るのは能力か、それとも学習した方針か

はじめに

安全ベンチマークで高いスコアを取ったガードレールは、危険な要求を正しく検出し、通常の要求を不必要に拒否しないモデルだと受け止められがちだ。しかし Hugging Face Daily Papers で紹介された研究は、そのスコアが必ずしも一般的な検出能力だけを表していないと指摘する。モデルが学習しているのは、危険なテキストの普遍的な性質ではなく、ラベルに埋め込まれた運用方針である場合がある。

同じプロンプトに異なるラベル

研究者は、ある産業導入で得られたデータを利用した。約5万3000件の同じプロンプトが二度ラベル付けされ、一方では「有害な内容を求める依頼か」、もう一方では「モデレーターならブロックするか」が判断された。この二つのラベルを使って、同じアーキテクチャ、コードベース、オプティマイザー系統を共有する十個のガードレールを、二つのモデル規模で学習した。

主な結果は次の通りだ。

• 学習プールには、過剰拒否を測るベンチマークの一部がすでに大きく含まれていた。JailbreakBench-benign は約88%、OR-Bench-hard は約82%が含まれていた。以降の分析ではデコンタミネーションが行われた。
• ベンチマークごとに、ラベル方針への敏感さが大きく異なった。十モデル間で HarmBench-copyright の変動幅は0.99だった一方、WildGuard-benign は0.043で、差は約23倍だった。
• 約0.03%のパラメータ変更だけで、一部のベンチマークが観測された全範囲を移動した。HarmBench-copyright は0から100、OR-Bench-hard の過剰拒否率は3.4%から56.4%まで広がった。
• 最終段階でどの方針の教師信号を使ったかによって、モデルは関連ベンチマークの一端に寄った。しかし、基礎的な検出能力が同じ規模で変化したわけではない。

蒸留に残る教師モデルの方針

この問題はハードラベルだけに限られない。研究では、学生モデルが教師モデルのソフトラベルを通じて方針を受け継ぐことも示された。学生側のハードラベルがすべて別の方針に基づいていても、教師の判断分布が拒否境界を変えうる。したがって、公開チェックポイントを評価する際には、教師モデルの出所とラベル生成方法も重要な変数になる。

さらに、共通の検証分割で測った精度は、検出能力よりもアノテーターの方針との一致と強く結び付いていた。相関係数は前者が0.74、後者が0.34だった。検証精度の高さは、モデルが安全性を一般化した証拠というより、採点者のブロック基準を再現した結果かもしれない。

評価への意味

この研究は、安全ベンチマークに価値がないと言っているのではない。実際のガードレールは、具体的な製品方針の下で使われる。厳しくブロックして漏れを減らす設計も、正常な依頼の誤拒否を抑える設計も、用途によっては妥当だ。問題は、その方針を明示せずに一つのスコアを普遍的な安全能力として扱うことにある。

著者らは、今後の評価で学習データの汚染、十分な乱数種、正確な採点定義、教師モデルとソフトラベルの出所を報告するよう求めている。方針への一致と検出能力を分離して示すことが、ガードレール比較の透明性を高めるだろう。

出典：Hugging Face Daily Papers