Iris、SFTと強化学習の反復で検索エージェントを高度化

概要

検索エージェントに求められるのは、関連ページを1件見つけることだけではありません。質問を分解し、複数のエンティティとリンクをたどり、必要な証拠を保持しながら検索を続ける必要があります。論文「Iris: Climbing to the Search Frontier」は、こうした長い検索過程を学習させるIris-miniとIris-pro、そしてそのデータ構築・訓練手順を示しています。

Irisの主な設計

• ウェブのリンク構造から課題を作る。 シードページと出リンクをもとにエンティティグラフを作成し、複数段階の関係を含む質問を設計します。答え以外のエンティティは説明的な参照に置き換えられるため、固有名詞の一致だけでは解答しにくくなっています。
• 閉じた状態で解けない問題を選ぶ。 参照モデルが証拠なしでは回答できず、関連情報を与えた後には解ける問題だけを採用します。これにより、記憶だけで解ける質問と、実際に検索を必要とする質問を分けています。
• 検索軌跡を二段階で選別する。 生成された軌跡は全体として評価されるだけでなく、各ターンの検索操作も確認されます。その後、教師あり微調整を行い、ライブ検索環境で強化学習を実施します。報酬判定器と観測要約器は訓練クラスタ内で動作します。
• SFTとRLを交互に行う。 各RLラウンドで得られた、難度が高く、正解に到達し、効率もよい軌跡を次のSFTに戻します。研究チームはこの方法を「SFT-RL climbing」と呼んでいます。
• コンテキスト管理を推論の一部にする。 ロールアウトが長くなりすぎた場合、リクエスト単位で中断し、確定済みのプレフィックスから次のステップを再開します。管理の有無を比較しつつ、ツール、コンテキスト上限、判定器は固定されています。

結果と意味

コンテキスト管理を有効にした場合、論文はIris-miniについてBrowseComp、BrowseComp-ZH、DeepSearchQA、HLEでそれぞれ82.2、84.8、86.9、52.3を報告しています。Iris-proは同じ順に88.6、85.1、92.9、56.4でした。いずれも単一のReActエージェントによる結果で、サブエージェントやテスト時検証は使われていません。

この研究のポイントは、モデル規模を拡大するだけでなく、課題の難度、検索軌跡の品質、方策最適化、推論時の状態管理を一体として設計したことです。多段検索では、知識があっても不要な観測を残したり、中間結果を失ったりすれば最終回答に到達できません。そのため、コンテキストをどう整理し、必要な状態をどう復元するかは、検索能力の実用性を左右します。

一方、提供された情報だけでは、検索ツールの変更、遅延、運用コストへの適応性までは判断できません。今後、モデル重みとデータ構築・訓練・評価の完全な手順が公開されれば、報告された性能の再現性をより詳しく検証できるでしょう。

出典：Hugging Face Daily Papers