導入
蒸留は、あるモデルが別のモデルの生成データから学ぶ一般的な手法だ。しかし、能力だけが移り、元のモデルに適用されていた安全策が引き継がれなければ、悪用のリスクが生じる。OpenAIは、こうした「敵対的蒸留」への対策を説明し、とりわけモデルの保護された推論過程を抜き出して、別のモデルの学習に使う行為に焦点を当てた。
要点
- 正確な推論トレースは、最終回答以上の情報を含み得る。 利用者向けの回答では省かれる途中の情報が、内部の推論記録には残ることがある。OpenAIの社内サイバーセキュリティ実験では、推論の要約で学習した学生モデルより、正確な推論トレースで学習したモデルの方が、教師あり微調整後に概して高い性能を示したという。軽量な強化学習を加えた後は推論予算によって結果が変わり、最大のテスト予算ではトレース学習側が優位だった一方、低い予算では要約学習側が上回った。
- 一つのリクエストの全経路を守る必要がある。 OpenAIは、推論情報の抽出を拒むようモデルを訓練し、入力・出力の分類器も使うと説明する。出力検査はツール呼び出しの引数にも適用される。最終回答に情報がなくても、ツールへの引数に漏えいが含まれる可能性があるためだ。API制御では会話、アカウント、組織、モデル系列をまたぐ再利用を制限する。
- 組織的な試みはキャンペーン単位で見つける。 リクエストとアカウントのシグナルを組み合わせ、協調した抽出の兆候を調査する。調査や自動レッドチーム、外部からの報告で見つかった手口は、追加のテストや防御訓練に反映されるという。
同社は、推論情報の抽出を試す内部の適応型評価についても報告した。旧来の保護を備えたGPT-6 Astraに対する攻撃成功率は平均54.0%で、更新後の保護を備えたGPT-6.2 Astraでは0.2%だったとしている。ただし、これはOpenAIが示した社内評価であり、第三者による独立検証ではない。提供された情報には全ての方法や条件が記載されていないため、数値をあらゆるモデルや攻撃に一般化すべきではない。
意義と影響
能力の抽出を防ぐには、特定のプロンプトを拒否するだけでは不十分だ。モデルの訓練、分類器、ツール連携、API境界、アカウント単位の行動分析を組み合わせる必要がある。サイバーセキュリティや生物学のようなデュアルユース領域では、能力がより弱い安全策のモデルに移ることで、リスクの範囲が変わり得る。
OpenAIの説明は、調査やテストで見つかった攻撃を防御の改善に戻す循環型の設計を示している。一方、保護された推論を守りながら、正当な説明や支援を損なわないことも課題だ。実際の有効性を判断するには、社内評価に加えて継続的な検証が欠かせない。
コメント
ログイン状態を確認中…
コメントを読み込み中…