PRIME、AIエージェントの結論を証拠で検証可能に

導入

大規模言語モデルのエージェントは、脆弱性報告やコンプライアンス記録が組織の要件を満たすかどうかの確認に使われ始めています。しかし、この仕事で重要なのは情報を見つけることだけではありません。得られた情報が、どのレベルの結論を正当化できるのかを厳密に判断する必要があります。

特に、要件に複数の達成ルートがある場合、モデルは誤りやすくなります。必須チェックが失敗したのに承認したり、別のルートを試せば成功する可能性があるのに、弱い結論で早々に止まったりするためです。arXivで発表されたPRIME（Precommitted Rules for Inference from Minimal Evidence）は、この問題を事前ルールと検証記録で抑える仕組みを提案しています。

PRIMEの仕組み

• 証拠ルートを先に固定する。 チェックを始める前に、各結論を支える証拠の組み合わせを定義します。たとえば、深刻度評価とキュレーター確認済みアドバイザリー、または公開済みアドバイザリーへのリンクを、別々の達成ルートとして扱えます。モデルが都合のよい情報を見つけた後で基準を変えることはできません。
• 独立した台帳で結論を制御する。 別のプログラムが各チェックの結果を記録し、ルールと台帳が許可していない結論を拒否します。モデルが強い表現を生成しても、証拠がなければそのまま出力できません。
• より強い結論への再チェックを促す。 現在の情報が弱い結論しか支えない場合、強い結論を正当化できる可能性のあるチェックを示し、必要に応じてシステム自身が実行します。単純な拒否で終わらせない点が特徴です。
• 前提条件がある。 要件が正しく、チェック対象の場所が明確で、停止時点まで十分な予算がある場合に、得られる証拠が支える最も強い結論へ到達できます。誤った要件や不明確な情報源を、PRIMEが自動的に修正するわけではありません。

実験結果と意義

評価は公開記録を使った480件のタスクで行われました。要件だけを示されたエージェントは、26.7%のタスクで根拠のない結論を報告しました。一方、PRIMEではそのような結論がありませんでした。証拠不足なら拒否するだけの方式では、正当化できる結論の平均スコアが30.1でしたが、PRIMEの指示と追加チェックを加えると、平均59.2点という最高値に達しました。

この研究の意義は、モデルにすべての判断を任せない設計にあります。モデルは検索、文書の読解、次に行うチェックの提案を担い、ルールベースのプログラムは証拠が結論を本当に支えているかを判定します。セキュリティ審査や社内承認では、確認履歴を追跡しやすくなり、流暢な文章だけで結論が正当化されるリスクを抑えられます。

一方で、証拠ルートの保守、記録同士の衝突、限られた予算でのチェック順序は今後の課題です。それでも、何を証拠と認めるかを事前に決め、実施した確認を記録し、台帳が支えない結論を拒否するという考え方は、検証可能なエージェント設計の具体的な指針になります。

出典：arXiv