RSI Arena、AIエージェントによるモデル訓練と人間フィードバックの反復を検証

研究の狙い

AIが質問に答えるだけでなく、学習データを選び、訓練方法を実装し、採用するチェックポイントまで決められるとしたら、モデル開発はどう変わるのでしょうか。RSI Arenaは、この問いを「再帰的自己改善」の初期的な形として検証しました。抽象的に自己改善を論じるのではなく、複数のAIモデルを訓練担当エージェントにし、制約のある環境で追加学習を実行させています。

エージェントが行ったこと

実験には10個の先端モデルが参加しました。全エージェントは NVIDIA Nemotron 3.5 Lightning 30B-A3B Base から開始し、第1段階では6日間、64枚のGPUを共有する環境で1,000 GPU時間と300ドルのAPIクレジットを利用しました。データの選択、訓練手順の実装、評価するチェックポイントの決定は、エージェント自身に任されました。

訓練結果は20のベンチマークと、ブラインド形式の人間評価で調べられました。10モデルすべてが実用可能なアシスタントを作成し、GPT-6 Astraが訓練したモデルが最も強い結果を示しました。12の能力ベンチマークでは、基盤モデルから指示調整モデルまでの差を中央値で76%埋めました。回答の長さと書式を統計的に調整した人間の嗜好評価でも、NVIDIA Instructに近い水準となりました。

人間の比較結果を使った第2段階

第2段階では、各エージェントに自分の第1段階モデルに関する比較記録と投票結果を与え、さらに3日間の訓練を行わせました。2回の評価を比較する際には、NVIDIA Instructを共通の参照モデルとして使っています。その結果、10モデル中8モデルで、スタイルの影響を調整した相対的な嗜好評価が上昇しました。

ただし、これは全般的な性能向上を意味しません。ベンチマークの伸びは小さく、ベンチマークの改善と人間の嗜好の改善との間に明確な関係は見られませんでした。一部のエージェントは回答を長くする方向に最適化した可能性があります。また、StrongREJECTでは1モデルの有害な要求への従属性が増えました。評価されやすい文体の獲得が、内容や安全性の向上と一致しない場合があることを示しています。

意義と課題

RSI Arenaの重要性は、AIによる自己改善を観測可能な工程に分解した点にあります。エージェントが訓練戦略を提案・実行し、人間が比較を通じて「より良い」を示し、その信号を次の訓練に利用します。この枠組みは、人間フィードバックを伴う再帰的自己改善、いわゆるRSIHFを研究するための具体的な出発点になります。

一方、自律的に追加学習できることは、信頼できる自己改善能力の証明ではありません。嗜好評価は長さや形式に左右され、能力ベンチマークとは別の動きをし、安全性が低下する可能性もあります。今後は能力、嗜好、コスト、頑健性、有害行動を同時に追跡し、単一のスコア上昇をシステム全体の進歩と取り違えない評価が必要です。

出典：Hugging Face Daily Papers