定型的な拒否文を使わずに安全性を学習すると誤拒否は減るのか

導入

大規模言語モデルの安全性は、危険な依頼を拒否できれば十分という問題ではありません。危険に見える単語が含まれていても、実際には無害な依頼であれば、モデルは適切に応答する必要があります。たとえば、誰かを撃つ方法を尋ねる依頼と、良い写真を撮影できる場所を尋ねる依頼では、似た語が現れても意図はまったく異なります。単語だけを手掛かりにすると、正当な利用まで拒否する「誤拒否」が起こります。

論文「Refuse without Refusal」は、この問題を安全チューニング用データの構造から分析しました。安全応答を一つのまとまりとして扱うのではなく、「申し訳ありませんが、お手伝いできません」といった定型的な拒否文と、なぜ拒否するのかを説明する理由の二つに分けています。

主なポイント

• 定型文が表面的な判断を促す可能性。 同じ拒否の書き出しを繰り返し学習すると、モデルは危険に関連する単語に反応しやすくなり、文脈や意図を十分に確認しない近道を学ぶ可能性があります。
• 理由だけの学習で誤拒否を抑制。 研究の報告では、定型的な拒否文を除き、拒否理由を中心に学習した場合、危険そうに見える無害な依頼への誤拒否が減少しました。一方で、安全性の水準は従来方式と同程度に保たれました。
• 複数の設定で効果を確認。 理由のみを用いる利点は、研究で扱われた文脈内学習の設定にも現れました。また、評価された推論時の緩和手法との併用も可能でした。
• 安全データの粒度が重要。 危険な意図の認識、拒否理由の説明、最終的な応答形式は、別々の学習対象として設計する余地があります。

意義と今後の課題

この研究は、安全対策を「拒否の言い回しを覚えさせること」から、「なぜ拒否すべきかを理解させること」へ捉え直す視点を示しています。開発者にとっては、定型文の影響を抑えながら、意図と文脈を重視するデータ設計が重要になります。評価では、危険な依頼を拒否できるかだけでなく、危険に見える無害な依頼へ適切に回答できるかも分けて測る必要があります。

ただし、提供された素材には、使用したモデル、データセットの詳細、実験規模、数値結果は含まれていません。そのため、すべてのモデルや用途で同じ効果が得られると断定することはできません。現時点での重要な示唆は、安全ラベルの内容と書き方が、モデルの安全判断に使われる手掛かりそのものを変えうるという点です。

出典：Hugging Face Daily Papers