記事一覧へ戻る

Co-RL、多様なAI群の協調で教師なし推論を実現

読了目安 3 分

教師なし推論が直面する壁

大規模言語モデルや視覚言語モデルの推論能力を高める方法として、強化学習の重要性が増しています。一方で、現在の強力な手法の多くは、正解との照合が可能な報酬や人間による評価を必要とします。問題が複雑になるほど、人間が出力の推論過程を正確に判定することは難しくなり、十分な教師信号を集めるコストも上昇します。

そこで注目されるのが自己報酬型の強化学習です。モデル自身に回答を評価させれば、外部ラベルへの依存を減らせます。しかし、回答者と評価者が同じモデルであるため、既存のバイアスや近道、誤った判断を自ら強化する危険があります。学習が進むと出力の幅が狭まり、似た回答ばかりになり、最終的に学習崩壊へ向かう可能性もあります。

Co-RLの仕組み

Co-RLは、この自己評価を複数モデル間の協調へ置き換えます。フレームワークでは、パラメータを共有しない複数のモデルを同時に強化学習で最適化し、仲間のモデルが生成したフィードバックから報酬を作ります。各モデルは独自の表現や推論傾向を保つため、単一モデルでは得にくい異なる見方を学習信号として利用できます。

重要なのは、単にモデル数を増やすことではありません。研究では、異なるモデルファミリーや規模を組み合わせ、さらに学習サンプルを言い換えることでコホートの多様性を高めています。全モデルが同じ入力に対して同じ誤りを犯す可能性を下げれば、あるモデルの間違いが集団内で無条件に承認されるフィードバックループを弱められます。

主なポイントは次の通りです。

  • パラメータを共有しない複数モデルが仲間の報酬で学習する;
  • 正解ラベルや外部の真値報酬を使わない;
  • モデルの異質性とデータの言い換えが相関誤差を抑える;
  • 多様性が推論性能、行動の多様性、学習安定性を支える;
  • テキストとマルチモーダルの両方を対象とする。

結果と意義

論文概要によると、言語モデルでは七つのテキストベンチマークで平均3.0~8.6%の向上を報告しています。視覚言語モデルでは、四つのマルチモーダルベンチマークで平均2.3~7.2%の向上が示されています。Co-RLはベースモデルや従来のラベルなし手法を上回り、教師あり手法と同等以上の結果に達したとされています。これらの学習には真値ラベルを使用していません。

この研究の意義は、外部の評価者が不足する状況で、モデル間の違いそのものを探索と誤り訂正の資源として扱った点にあります。ただし、仲間の評価が常に正しいとは限りません。すべてのモデルが同じデータ上の偏りや評価基準を共有していれば、集団で同じ誤判断に収束する可能性は残ります。今後は、コホートの構成や報酬の集約方法、タスクの開放性が学習の安定性にどう影響するかを検証する必要があります。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
拡散モデルのRL後学習、その多くは活性化の誘導か
強化学習
cctest.ai
強化学習

拡散モデルのRL後学習、その多くは活性化の誘導か

固定のステアリングベクトルだけで、拡散モデルのRL後学習による報酬向上の大部分を再現できるという研究が発表されました。複雑な新変換を学ぶというより、既存能力の発揮方向を調整している可能性を示します。

続きを読む
CCTest · Blog
GRPOの密な報酬は追加計算量に見合うのか
強化学習
cctest.ai
強化学習

GRPOの密な報酬は追加計算量に見合うのか

1668回の実験と6モデルを用いた研究は、生成トークン数とGPU時間をそろえると、モンテカルロ型の密なプロセス報酬が標準GRPOを上回らないことを示した。不確実な問題を選んで学習する方法は、より小さいながら再現性のある改善を示した。

続きを読む
CCTest · Blog
FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法
強化学習
cctest.ai
強化学習

FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法

FewStepRLは、少ないサンプリングステップで動作する拡散モデル向けに、既存の強化学習目的を体系的に適応する枠組みです。報酬が微分可能で勾配計算を負担できる場合は報酬勾配型が有効で、それ以外ではDiffusionNFT系が有力な選択肢になります。

続きを読む