幻覚は「覚えていない」だけではない：圧縮が事実想起を歪める

導入

言語モデルが事実問題に誤答するとき、まず「その知識を学習していなかったのではないか」と考えがちです。しかし、新しい arXiv 論文は、この説明だけでは不十分だと指摘します。モデルが事実を一度見ていたとしても、内部メモリの容量が有限なら、情報を近似的にしか保存できない可能性があります。つまり、問題は知識の不足だけでなく、保存時の損失にもあります。

主なポイント

• 誤りを二つに分解：論文は、N 個の質問と K 個の回答がある非構造的な質問応答課題を考えます。学習者は M 個の事実を観測し、それを最大 B ビットに圧縮したうえで、検索なしにテスト質問へ回答します。
• 未観測の事実には推測の限界：テスト時の質問が観測済み集合に含まれなければ、対応する答えを直接知る情報はありません。均一な設定では、K 個の候補から推測することによる誤りが残ります。
• 観測済みでも正確とは限らない：保存容量が限られていると、各事実に割り当てられる情報量が不足します。その結果、見たことのある事実でも、答えの細部を正確に保持できない場合があります。論文は、0-1 損失の一様 K 値情報源について、逆レート歪み関数を使ってこの影響を表します。
• 統合された下限：提示された下限は、観測済み事実の圧縮歪みと、未観測事実に対するランダム推測の誤りを合算します。従来ひとまとめにされがちなハルシネーションを、異なる原因として分析できます。
• 理論に基づく検証：著者らは理論から導いたシミュレーションと、現代の言語モデルに対する制御された事実注入プローブを報告しています。事実の負荷と有効な学習可能メモリを変化させますが、提示された要約にはモデル別の詳しい数値結果はありません。

意義と影響

カバレッジと圧縮を分けると、改善策の見方も変わります。事実が保存されていないなら、学習データの拡充や検索が有効です。一方、保存はされていても不正確なら、単に知識量を増やすだけでは解決しません。メモリ容量が固定されている場合、事実を増やすほど各項目に配分できる情報量が減り、既存知識の歪みが大きくなる可能性もあります。

この枠組みは、いくつかの設計上の問いを示します。モデルはすべての事実を均等に保存するのではなく、重要度に応じて選択的に記憶すべきでしょうか。長いコンテキストは実際に利用可能なメモリを増やすのでしょうか。それとも圧縮の負担を推論時まで先送りするだけでしょうか。不確かな場合、近似された答えを出すより、回答を控える方が安全なのでしょうか。

ただし、対象となる課題は意図的に単純化されています。現実のモデルは意味構造、パラメータ共有、コンテキスト、外部ツールを利用します。そのため、この下限がそのまま実際のモデルへ適用できるわけではありません。本研究の意義は、ハルシネーション全体を説明することではなく、有限メモリによって「見た事実を正確に再現できない」という、切り分け可能な失敗要因を示した点にあります。

出典：arXiv