LLMの多段検証は本当に安全性を指数的に高めるのか

導入

LLMアプリケーションでは、生成された回答をそのまま返さず、検証器に通してから出力する設計が広く使われている。さらに、複数の検証ゲートを直列に並べ、すべてに合格した場合だけ回答を返す方式も一般的だ。もし各ゲートが条件付きで独立なら、ゲートを増やすほど失敗確率は指数的に小さくなる。

しかし、arXiv論文「Partially Correlated Verifier Cascades in LLM Harnesses」は、この前提が現実のLLMハーネスでは成り立ちにくいと指摘する。検証器が同じモデル系統、同じプロンプト設計、似た訓練データ、同じ証拠ソースを共有していれば、同じ種類の誤りを同時に見逃しやすい。論文は、この部分相関を扱うための簡潔な理論を提示している。

核心ポイント

• 誤答ごとに「見逃されやすさ」が異なる：生成器の誤答が検証器に誤って受理される確率を、潜在変数αとして表す。つまり、すべての誤答が同じ難しさではなく、検証器が簡単に弾ける誤答もあれば、何度検証しても通りやすい誤答もある。
• 多段化の利得は凹型になる：カスケード後の事後log-oddsは、潜在分布Gのモーメントで表される。非退化なGでは、このlog-oddsはゲート数に対して凹型になり、後段に行くほど限界効果が小さくなる。
• 指数的ではなく多項式的な改善：αがBeta分布に従う場合、残る失敗率はカスケード深さに対して多項式的に減少する。論文は相関パラメータとの関係も示し、相関の影響を測定可能な形にしている。
• 盲点は信頼性の上限を作る：α=1の誤答群が一定割合で存在する場合、それらは何度同じ検証を重ねても通過する。このとき、追加ゲートから得られる証拠量には上限があり、信頼性は1未満で飽和する。
• 正答の通過率変動も重要：正しい回答の受理率βもインスタンスごとに変動する場合、検証は長期的に有益、横ばい、あるいは有害という三つの領域に分かれる。決め手は誤答側と正答側の上側尾部の性質である。

意義と影響

この論文の直感的な説明は「生存者バイアス」だ。複数の検証をくぐり抜けた誤答は、誤答全体の平均的なサンプルではない。むしろ、現在の検証器群が苦手とする高αの誤答に偏っている。そのため、同質的な検証器を増やしても、後半の効果は急速に薄れる。

評価実務にも示唆がある。単一回の検証精度だけで深いカスケードの安全性を予測するのは危険だ。論文では、同じインスタンスに対してR回の判定を集めれば、潜在分布の最初のR個のモーメントを識別でき、2回の判定だけでも相関パラメータを推定できるとしている。

結論として、重要なのは検証ゲートを単純に積み増すことではなく、非相関化である。異なるモデルファミリー、異なるモダリティ、独立した証拠ソース、別種の推論手段を組み合わせることで、同じ盲点を共有しにくくする必要がある。AIエージェント、コード生成、高リスクな質問応答では、この視点が特に重要になる。

出典：arXiv