LLMの「顕著性バイアス」：常識を知っていてもなぜ罠にかかるのか

導入

大規模言語モデルは、数式処理、コード生成、複雑な質問応答で高い能力を示すようになっている。しかし、日常的な常識推論では別種の弱点が現れる。論文「Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning」は、モデルがプロンプト内の目立つ情報に過度に引き寄せられ、現実世界の前提を見落とす現象に注目している。

著者らはこれを Salience Bias（顕著性バイアス） と呼ぶ。数字、条件、明示的な指示のような情報が目立つほど、モデルはそれを重要だと扱い、そもそもその課題が物理的・常識的に成り立つのかを確認しないまま推論を進めてしまう。

主要ポイント

• 明示条件が推論を乗っ取る：LLM は入力された条件を尊重するよう学習されている。これは多くのタスクでは利点だが、常識問題では無関係な数字や制約に反応し、不要な計算や過剰な追従につながる。
• SaliTrap Benchmark を構築：著者らは、4 種類の罠の次元を含む評価データセット SaliTrap を作成し、モデルが目立つが不要な妨害情報に耐えられるかを測定した。
• 12 の最先端モデルで共通する問題：評価対象となった主流モデルはいずれも顕著性バイアスの影響を受けた。妨害情報が増えるほど失敗は深刻になり、罠を検出することと実際に回避することは必ずしも一致しなかった。
• 知識欠如よりも知識抑制：誤解を招くタスク設定を取り除き、文脈に依存しない形で知識を確認すると、追従型の失敗の 90% 超が回復した。これは、必要な常識がモデル内にあるにもかかわらず、目立つ妨害情報によって推論から押し出されていることを示す。
• 軽量なプロンプトで改善可能：論文は、再学習を行わず、推論時のプロンプト工夫だけでも差を大きく縮められると報告している。

意義と影響

この研究は、LLM の常識推論の失敗を「モデルが知らないから」と単純に説明する見方を修正する。問題は知識の有無だけではなく、その知識をどのような状況で、どれだけ安定して引き出せるかにある。

実用面では、プロンプトや製品設計において、モデルがすぐに計算や指示追従を始める前に、暗黙の前提を確認する仕組みが重要になる。評価面でも、正解率だけでなく、無関係な情報への耐性や、罠に気づいた後に行動を変えられるかを測る必要がある。

SaliTrap が示すのは、常識推論のボトルネックが能力そのものではなく、能力の引き出し方にある場合が多いという点だ。

出典：Hugging Face Daily Papers