言語モデルに言語モデルの改善方法を学習させるLM2LM

導入

言語モデルは、データ処理や学習設定の設計を含むAI研究の自動化に使われ始めています。もしモデルが、過去の経験から次のモデルを改善する方法を学べるなら、研究能力が経験とともに高まる循環が生まれる可能性があります。しかし、研究アイデアを生成することと、そのアイデアが有効かを検証することは別問題です。候補ごとに完全な学習を実行しなければならない場合、強化学習の報酬収集は非常に高価になります。LM2LMは、モデル改善の提案能力を強化学習で学習できるかを検討します。

仕組み

LM2LMには二つの中心的な要素があります。

• 提案モデル：言語モデルを改善する候補案を生成し、強化学習によって方策を更新します。
• 研究世界モデル（RWM）：実際の実験記録を文脈として受け取り、新しい提案がどの程度の性能向上をもたらすか予測する凍結済みの言語モデルです。

通常の強化学習では、多数の提案を実際に試して報酬を得る必要があります。論文によれば、学習には数万件の提案評価が必要になる可能性があり、各実験が約10 B200 GPU時間を要すると、報酬収集だけで数十万GPU時間に達します。LM2LMは、まずRWMに結果を予測させることで、完全な学習実験の大部分を言語モデル推論に置き換えます。

ただし、予測報酬には弱点があります。方策最適化が進むと、提案モデルは実際には効果が低いにもかかわらず、RWMが高く評価しやすい案を探すかもしれません。そこでLM2LMは、現在の方策が高く評価した提案を定期的に実行し、実測された結果をRWMの文脈へ追加します。このオンポリシー校正によって、RWMは方策が実際に探索している提案分布から新しい証拠を得られます。

結果とコスト

評価は、自己回帰モデルと拡散モデルを含む8つの言語モデル開発環境で行われました。未使用のタスクを実際に実行して評価した結果、LM2LMで訓練されたQwen3.8-27Bは、300件の実験記録を文脈に与えられたGPT-6-solを上回りました。また、未知のモデルファミリーへの転移も報告されています。

コスト面では、LM2LMが校正のために実行する実験は200件です。論文の見積もりでは、費用は4.01万ドル、所要時間は343時間でした。一方、300件の記録を使う文脈内学習のベースラインは6万ドル、510時間です。提示された比較では、LM2LMは約33％低コストで、より良い結果を得ています。

意義と課題

この研究の意義は、実験をなくすことではなく、使い方を変えた点にあります。すべての候補を検証する代わりに、RWMで候補を絞り、実験を予測の校正と有望案の確認に集中させます。大規模な学習を伴う研究では、この分業が自動化のコストを下げる可能性があります。

一方、RWMの予測は固定的な真実ではありません。方策が変われば生成される提案の分布も変わるため、実験による継続的な補正が必要です。手法の成否は、記録の質、RWMの一般化能力、そして方策の盲点を見つける校正実験に左右されます。LM2LMは再帰的自己改善への一歩ですが、モデルが完全なAI研究を自律的に遂行できることを示したものではありません。

出典：Hugging Face Daily Papers