RSIHub、エージェント進化研究を再利用可能な実験基盤に

概要

エージェントの実行結果をフィードバックとして利用し、プロンプト、スキル、ツール、オーケストレーションを改善する「エージェント進化」は、複雑なタスクの性能を高める有力な研究方向です。一方で、個々の手法は実行、評価、失敗からの復旧、候補の管理、実験履歴の記録までを独自に実装しがちです。その結果、研究のたびに同じ基盤を作り直すことになり、手法同士の公平な比較も難しくなります。RSIHubはこの問題に取り組むオープンソースフレームワークです。

主なポイント

• 進化処理を組み合わせて定義。 RSIHubでは、レシピと再利用可能な演算子を組み合わせて手法を記述します。レシピは、プロンプトやスキル、ツール、オーケストレーションなど、変更可能なリソースを宣言します。
• 共通基盤が実験運用を担当。 実行、評価、復旧、lineage（系譜）追跡をフレームワークが提供します。候補とその生成過程、評価条件を関連付けて記録できるため、新しい手法ごとに実験パイプラインを作り直す必要が減ります。
• 評価を変更領域から分離。 評価処理を進化対象の外側に置くことで、最適化の途中で評価基準そのものが変わるリスクを抑えます。これにより、比較の焦点を進化方針に置きやすくなります。
• 複数手法を同じ枠組みで実装。 AHE、Hyperagents、A-Evolve、GEPAを、コアを変更せずに実装しました。手法固有のロジックはレシピと演算子の層に保たれています。
• 結果は設定に依存。 MiniSWEとCodexを使い、Terminal Bench 2とτ³ Bankingで、モデルと評価器を固定して検証しました。観測された最大の全体pass@1改善は13.5ポイントでしたが、設定によって手法の順位は変わり、最適化で得た改善が未見タスクへ常に移るわけでもありません。

意義と限界

RSIHubの意義は、単なるコードテンプレートではなく、エージェント進化研究の共通プロトコルを提案している点にあります。再利用可能な部品は新しいアイデアの検証コストを下げ、候補の履歴を追跡できる仕組みは、どの更新が結果に影響したのかを調べる助けになります。複数手法を同じ実行・評価基盤で動かせば、実装や記録方法の違いによる比較ノイズも減らせます。

ただし、フレームワークが進化研究の科学的な不確実性を解消するわけではありません。あるモデルやベンチマークで有効な手法が、別の条件でも優れるとは限りません。RSIHubは性能向上を自動的に保証する仕組みではなく、再現可能な実験と体系的な比較のための土台と見るのが適切です。今後は、タスクをまたぐ転移を測る評価設計や、新たな進化対象・演算子の検討が重要になります。

出典：Hugging Face Daily Papers