PLC-DPO：ノイズを含む選好ラベルを補正するDPO

背景

Direct Preference Optimization（DPO）は、別途報酬モデルを学習せずにペア比較から言語モデルを調整できるため、アラインメントで広く使われています。一方で、選択された回答が常に棄却された回答より優れているという前提を置いています。現実の選好データでは、この前提が崩れることがあります。アノテーターの意見が割れたり、二つの回答の品質差がほとんどなかったり、記録された選好の向きが逆になったりするためです。こうしたペアを強い正解として扱うと、ポリシーを望ましくない方向へ更新する可能性があります。

PLC-DPOの仕組み

PLC-DPOは、各ペアを単純に採用するか除外するかではなく、どのように学習へ反映するかを推定します。想定する状態は次の三つです。

• clean：観測された選好が妥当で、通常どおり強化する。
• flip：ラベルの方向が逆である可能性があり、更新方向を反転する。
• tie：明確な優劣を支持できないため、方向性の強い更新を抑える。

判断の中心となるのは、ポリシーと参照モデルが二つの回答に与える対数確率の差、すなわちポリシー・参照マージンです。これを校正し、三つの状態に対する事後確率に似たルーティング重みを作ります。そのため、疑わしいサンプルを一括して削除するのではなく、正方向に強化する、逆方向に修正する、平局として影響を弱めるという処理を選べます。

学習では、正方向、逆方向、タイを正則化する損失を組み合わせます。安定性を高めるため、指数移動平均による校正、ウォームアップ、信頼度ゲーティングも利用します。必要なログ確率はDPOでも計算するものを再利用でき、追加のモデルや新たな教師信号は要求しません。

結果と意味

57のデータセット・モデル・ベンチマークの組み合わせで、PLC-DPOはDPOに対する平均勝率60.5％を報告しました。次に良い手法は55.5％でした。さらに、人工的にノイズを加えるテスト、タイ状態を重視したストレステスト、人間の判断不一致の分析、自己確認に関する診断も行われています。提供された概要によれば、ルーティングは安定しており、ラベルが反転したペアと、単に選好が弱いペアを区別できることが示されています。

この研究の意義は、ノイズを含む選好データへの対応を「怪しいものを捨てる」だけに限定しない点です。ラベルの方向と、更新に与える強さを分けて扱うことで、利用可能な情報をより細かく残そうとしています。ただし、判定は校正されたマージンに依存するため、校正の質やウォームアップ設定、モデル自身の判断が誤りを強化する危険性は、今後も検証が必要です。

出典：Hugging Face Daily Papers