JevGPT：自律研究エージェントに「速い思考」と「遅い思考」を導入

導入

自律研究エージェントに求められるのは、関連する文書を検索することだけではない。何を根拠として集めるべきかを決め、候補資料を確認し、内容の関連性を評価し、その結果を次の調査方針に反映する必要がある。時間やコンテキスト、ツール呼び出しに制約がある環境では、検索された資料が調べられないまま残ったり、確認されても最終的な推論に使われなかったりする。

JevGPTは、この「検索範囲」と「実際に推論へ使われる証拠」の隔たりに取り組む。名称が示す通り、その設計は人間の「速い思考」と「遅い思考」に似た役割分担を、自律研究のループに取り入れている。

二つのシステムの役割

JevGPTでは、研究処理を次の二つに分ける。

• System Twoは計画と統合を担当する。 現時点で必要な証拠の目標を設定し、得られた発見をまとめ、次に調べる方向を決める。
• System Oneは証拠を素早く処理する。 支持材料になりそうな情報源を探し、関連性を判断し、さらに確認する価値のある箇所を選ぶ。
• 情報源の判断を並列化する。 各文書に対する独立した評価を並行して進めることで、逐次的な確認に伴う待ち時間を抑える。
• 原文の一部を次段階へ渡す。 選ばれた原文パッセージを研究の次のステップに利用し、単純なスコアや短い要約だけに依存しない。

重要なのは、単に検索回数を増やすことではない。System Twoが「どのような証拠が必要か」を定め、System Oneが「どの情報源が役立ちそうか」を素早く調べる。その後、実際に見つかった内容をもとに、研究計画を更新するという循環が形成される。

実験から分かること

論文では、固定コーパスを用いた質問応答と文書ランキングでJevGPTを評価している。概要によれば、JevGPTは高いタスク性能を示し、同程度の効果を持つ研究エージェントと比べて、より速く、低いコストで処理を完了した。また、より広い範囲の情報源を調査し、回答を支える文書を研究ループへ取り込む割合も高かったと分析されている。

これは、エージェントの効率を最終回答の生成時間や検索クエリ数だけで測るべきではないことを示す。複数の資料を比較し、必要な原文を保持し、それを次の判断に使えるかどうかも、研究品質に関わる重要な要素になる。

意義と限界

JevGPTの設計は、自律研究エージェントを構築するうえで明快な指針を与える。高レベルの研究計画と、低レベルの証拠処理を分離しながら、両者をフィードバックで接続する考え方だ。今後は、最終回答の正確さだけでなく、情報源の確認範囲、支持文書のカバレッジ、研究軌跡、処理時間、証拠あたりのコストも評価指標になり得る。

一方、今回の素材からは、オープンウェブや変化の速い情報、マルチモーダル資料での性能までは判断できない。それでもJevGPTは、効率的な証拠処理を検索の補助機能ではなく、自律研究そのものの中核能力として位置づけた点に意義がある。

出典：Hugging Face Daily Papers