概要
蒸留は、小規模なモデルが高性能モデルの回答や判断から学ぶために使われる手法です。一方、出力を無断で集めれば、元のモデルが設けている安全上の境界を越えて能力が移転するおそれがあります。OpenAIは、保護された推論内容の抽出を防ぎ、組織的な収集活動を見つけるための対策を公表しました。
主なポイント
- 知的財産だけの問題ではない。 OpenAIが懸念するのは、学生モデルがサイバーセキュリティや生物分野の能力を学びながら、教師モデルと同等の安全策を引き継がないことです。元モデルが拒否する支援が、保護の弱いモデルから得られる可能性があります。
- 推論の過程も能力移転に影響する。 同社の内部研究では、最終回答や推論要約を使った学習と、正確な推論トレースを使った学習が比較されました。OpenAIによると、サイバーセキュリティやコーディングの一部評価では、正確なトレースを学んだモデルの成績が高くなりました。最終回答だけでなく、過程の情報も価値の高い学習データになり得ます。
- 複数の層でリクエストを確認。 OpenAIは、抽出の試みを見分けるようモデルを対抗学習させています。入力分類器は疑わしいプロンプトを検出し、出力分類器は回答とツール呼び出しの引数を確認して、漏えいが疑われる内容を呼び出し元に届く前に止めます。ストリーミングと非ストリーミングの双方が対象です。
- APIで会話間の再利用を制限。 ユーザー、ワークスペース、組織、モデルファミリー間の分離を強め、保護された推論を生成元の会話履歴に結び付けたと説明しています。過去の履歴が書き換えられた場合、それ以降の推論は破棄されます。安全策の弱い旧モデルから、新しいモデルの保護された推論を読めないようにもしています。
- 個別の要求だけでなく活動全体を調査。 リクエストとアカウントのシグナルを組み合わせ、連携した抽出活動を探します。調査や自動レッドチームで判明した攻撃は、防御策の改善に活用するとしています。
OpenAIによると、GPT-6.2 Astraを対象にした内部の適応型評価で、以前の回答に含まれる保護された推論を取り出す攻撃の成功率は、従来の防護で54.0%、更新後で0.2%でした。これは同社が公表した内部評価の結果で、独立した業界ベンチマークによる検証ではありません。また、あらゆる蒸留攻撃を防げることを示すものでもありません。
意義と課題
この発表は、モデル蒸留を知的財産や商業上の問題にとどめず、AI安全の課題として扱う必要性を示しています。許可されたタスクのデータであっても、大量に集められれば、学生モデルがより慎重な扱いを要する能力へ一般化する可能性があります。業界にとっては、拒否応答だけに頼らず、出力検査、ツール引数の確認、API上の分離、活動調査を組み合わせる考え方が参考になります。一方、推論抽出を防ぎつつ、通常の説明や開発者の作業を損なわない設計は引き続き課題です。OpenAIは異なる学生モデルや学習手法で能力移転を調べる方針です。
出典:Web Search
コメント
ログイン状態を確認中…
コメントを読み込み中…