RSI-Anything：世界モデルで再帰的な自己改善を実現

概要

AIが一度だけ良い回答を出すことと、経験を蓄積して長期的に性能を高めることは別の問題です。再帰的自己改善（Recursive Self-Improvement、RSI）は、環境との相互作用から得た経験を、次の実行に利用できる持続的な更新へ変換することを目指します。しかし実環境では、外部評価にはコストがかかり、方策が変化すると、それまで使っていた世界モデルの予測も信頼できなくなる可能性があります。

RSI-Anythingは、この課題に対して予測型世界モデルを組み込んだ汎用フレームワークを提案します。JEPA-Anythingを基盤とし、候補となる行動の結果を予測して行動選択や学習データ選択を支援します。その後、観測されたフィードバックを使って方策やワークフローを改善し、必要に応じて世界モデルも更新します。

主な仕組み

• 予測に基づく行動選択：世界モデルの予測を使い、限られたテストや実環境での実行を、より有望な行動へ配分します。
• フィードバックによる更新：結果の観測値は、単一の方策だけでなく、複数の処理からなるワークフローの改善にも利用されます。
• 条件付きのモデル適応：方策の変化によって予測精度が低下した場合に、世界モデルの適応を行います。
• 更新版の採用判定：コンポーネント検査と互換性検査により、新しい方策とモデルの組み合わせを保持するか判断します。

評価結果

コード修復では、コーダーを固定した条件で、静的検証器を使った成功率26.3%が、予測に基づく選択で29.2%、世界モデルの適応後に31.2%へ上昇しました。テスト利用量はおおむね同等です。GUI評価ではタスク完了度が高まり、平均アクション数は39.4%減少しました。予測が行動を導くだけでなく、不要な操作の削減にもつながる可能性を示しています。

実験室計画では、5世代の方策を通じてスコアが21.80%から46.01%へ上昇しました。反応最適化では、40回の実験予算をそろえた比較で、平均の最良観測収率が96.15%となり、ベイズ最適化の82.16%を上回りました。さらに、ワークフローの進化と予測モデルを治療仮説の生成につなぐ免疫科学のエンドツーエンド事例も示されています。

意義と課題

この研究の意義は、世界モデル、実フィードバック、更新版の選別を一つの改善ループにまとめた点にあります。探索コストを抑えながら経験を蓄積できれば、コードエージェント、実験自動化、科学研究支援など、長期間動作するシステムに応用できる可能性があります。

一方、提示された素材だけでは、データセット、学習手順、実験の詳細、統計的検証までは確認できません。したがって、現時点では全領域に普遍的な効果が証明されたと見るより、汎用的な枠組みに対する有望な検証と捉えるのが適切です。長期反復での予測ドリフトや方策とモデルの互換性は、今後の重要な検討課題です。

出典：Hugging Face Daily Papers