PatEx-Gym：特許新規性調査をエージェントの長期タスクに

特許の新規性判断は、文書を単純に照合する作業ではありません。審査担当者はまず請求項の技術的特徴を理解し、検索式を作り、結果が不十分なら検索方針を修正します。その後、候補文献を開いて具体的な技術内容を確認し、判断を裏付ける証拠を整理して審査意見を作成します。PatEx-Gym は、この一連のプロセスを AI エージェント向けの長期・対話的タスクとして扱います。

固定候補文書からの脱却

従来の評価ベンチマークでは、限定された候補文書をモデルに与え、分類や比較を求める形式が少なくありません。この方法は読解能力や判断能力を測れますが、現実の先行技術調査にある不確実性を十分に再現できません。重要文献は少数しか存在しない場合があり、請求項の表現と過去文献の表現が一致しないこともあります。エージェントは、どの結果を開くか、何を証拠として取得するか、次の検索をどう変えるかを自ら決めなければなりません。

PatEx-Gym は、反復検索、文書訪問、推論、Office Action の生成を同じ環境で実行できるようにします。検索対象には 100 万件を超える特許と 5.2 万件の科学論文が含まれます。したがって評価対象は、最終的な新規性判断だけではなく、有用な先行技術を発見できたか、技術的根拠を抽出できたか、証拠に基づく意見を作れたかにも及びます。

三つの構成要素

• PatEx-Bench：1,000 件の現実的な審査タスクと、検索・文書確認・推論・意見生成を支える実行環境を提供します。
• PASS：Prior-Art Agentic Search Trajectory Synthesis の略称です。大量の軌跡を人手で逐一注釈する代わりに、エージェントが訪問した文書を暗黙の関連性シグナルおよび証拠取得の手掛かりとして利用します。ターン内のクエリ変化、ターン間の検索進展、軌跡全体の証拠と結果の品質をモデル化します。
• PatEx-Agent：合成された検索軌跡を用いて教師あり微調整された 4B 規模の軽量ベースラインです。

研究の意義

この研究が示す重要な点は、最終判断の正解率だけでは審査品質を十分に表せないことです。モデルが正しい結論に到達しても、決定的な文献を見つけていなかったり、どの技術的特徴が結論を支えたのか説明できなかったりする可能性があります。また、強力なフロンティアモデルでも、希少な先行技術の発見には難しさが残ります。一方、PatEx-Agent の結果は、目的に合わせた検索軌跡で学習すれば、比較的小さなモデルでも大規模な汎用エージェントと競争できる可能性を示します。

PatEx-Gym の価値は、検索、読解、推論、文書作成を別々の能力としてではなく、監査可能な一つのワークフローとして評価する点にあります。法務調査や科学情報検索にも応用できる視点ですが、提供された素材には詳細な数値結果が含まれていないため、性能差の大きさは論文本文と公開実装で確認する必要があります。

出典：Hugging Face Daily Papers