なぜLLMは解答不能な質問に答えるのか：認識と拒否のずれ

導入

cot(-540°)の計算や、(1).startswith("1")の評価を求められたとき、モデルの問題は単なる計算ミスとは限らない。数学上の定義やプログラミング言語の意味論によっては、入力自体が構造的に不成立で、受け入れ可能な答えが存在しないからだ。それでも大規模言語モデルは、もっともらしく自信のある回答を生成することがある。Hugging Face Daily Papersで紹介された研究は、この失敗が「不可能性を認識できない」ためなのか、それとも「認識した内容を拒否へつなげられない」ためなのかを検証した。

主な発見

• モデルは内部で不可能性を表現している。 1.7Bから70Bまでの指示チューニングモデルを対象に、解答可能な入力と、構造的に不可能な数学・コード入力を分ける隠れ状態の線形方向が見つかった。生成前に「有効な答えがない」という情報を利用できる形で保持していることを示す結果だ。
• 認識方向と安全拒否方向は別物である。 不可能性を表す方向は、有害コンテンツを拒否するときの標準的な拒否方向とほぼ直交していた。危険な依頼を拒否できることが、無効な定義や成立しない操作を見抜いて停止できることを意味するわけではない。
• 行動上の無効性方向とも完全には一致しない。 モデルの無効性を考慮した応答から定義した方向は、認識方向には安全拒否方向より近かった。しかし一致は部分的にとどまり、内部判断を実際の返答へ変換する別の段階が存在する可能性を示している。
• 活性ステアリングで応答が変わる。 生成時に認識方向へ介入すると、無効な数学・コード入力への振る舞いが、介入の向きと強さに応じて双方向に変化した。ランダム方向では同じ効果が見られず、発見された信号が機能的であることを支持する。
• ずれは指示チューニングだけでは生じていない。 ベースモデルと指示モデルの比較では、低いコサイン類似度を持つ幾何学的関係が事前学習の終点ですでに存在していた。後段の学習だけで、認識と拒否が自動的に一つの経路へ統合されるわけではない。

意義と影響

この研究は、モデルが解答不能な問いに答える理由を捉え直す。もし検出能力そのものが不足しているなら、追加データやより大きなモデルが主な対策になる。しかしモデルがすでに問題を検出しているなら、規模拡大だけでは不十分かもしれない。必要なのは、構造的な妥当性確認を、拒否・確認質問・失敗理由の説明といった出力方針へ明示的に接続する設計だろう。

評価方法にも示唆がある。最終回答の正誤だけでは、モデルが生成前に入力の無効性を認識していたか分からない。今後は、潜在的な認識信号、その安定性、生成への影響力を分けて測定する必要がある。拒否も単一の能力ではなく、安全性、数学的妥当性、コードの型や意味論の確認が、それぞれ異なる内部経路に依存している可能性がある。

出典：Hugging Face Daily Papers