OmniConfess、多モーダルモデルが幻覚を生む根拠をトークン単位で追跡

導入

テキスト、画像、音声、動画を統合して扱えるマルチモーダル大規模言語モデルは、単一モダリティのモデルより広い情報を利用できます。しかし、利用できる証拠が増えれば、回答が必ず正確になるわけではありません。複数の入力が食い違う場合や、モデルが誤ったチャネルを重視した場合、もっともらしい幻覚が生成される可能性があります。

問題は、誤った回答を見ても、その主張を支えた証拠がどれだったのか分かりにくいことです。OmniConfessは、この依存関係を推論時に調べる、再学習不要の手法として提案されています。

仕組み

手法の流れは大きく三段階です。

1. 候補回答を固定する：モデルが生成した、または与えられた回答を分析対象にします。
2. 証拠チャネルを制御する：テキスト、画像、音声、動画などを個別に操作し、候補回答をトークン単位で再スコアリングします。チャネルを変えたときのスコア変化から、各トークンがどの証拠に依存しているかを調べます。
3. 依存関係を使って修正する：得られたトークン・チャネルの記録、いわば「confession」を利用し、十分な根拠がある内容は維持します。一方、無関係な入力や矛盾する入力に依存した主張は修正の対象にします。

ここでいうconfessionは、モデルが自然言語で自分の理由を説明する機能ではありません。回答の各部分と証拠チャネルの関係を、より細かく確認するための構造化された信号です。

評価と注意点

研究チームは評価用に OmniHalluBench を構築しました。6つのデータセットからなる3540例で、テキスト、画像、音声、動画を含み、判断タスクと自由形式の生成タスクの双方を扱います。提供された概要によれば、OmniConfessは異なるモダリティとタスク設定で幻覚を抑制しました。

ただし、今回の素材には、比較対象、具体的な評価指標、タスク別の改善幅は記載されていません。そのため、手法の有効性を定性的に紹介することはできますが、既存手法に対する優位性を数値で判断することはできません。チャネル介入に必要な計算量、複数モダリティが同時に誤りを生んだ場合の帰属精度も、論文本文と実装で確認すべき点です。

意義

OmniConfessの重要性は、問題を「回答が正しいか」だけでなく、「誤った主張をどの証拠が支えたか」という観点から捉える点にあります。すべての不確かな内容を一括して削除するのではなく、根拠のある記述と、依存先が疑わしい記述を分けて修正できる可能性があります。

この方向性がさまざまなモデルや実運用環境で再現すれば、マルチモーダルシステムの事実性向上や、モダリティ間の証拠衝突の分析に役立つでしょう。ただし、トークン単位の帰属信号がそのまま完全な因果説明になるわけではありません。実用性については、より広い検証が必要です。

出典：Hugging Face Daily Papers