個人化LLMはユーザープロファイルを作り話するのか

持続的メモリを備えた個人化LLMは急速に普及しているが、そこで扱われる「ユーザー理解」がどれほど事実に忠実なのかは十分に検証されていなかった。本論文は、モデルがユーザーの趣味、背景、性格を推測するとき、与えられた証拠を超えて勝手に補完していないかを問う。

著者らは over-inference（OI、過剰推論）という概念を定義し、その評価のために MirageBench を構築した。ベンチマークは 150 のペルソナからなり、ステレオタイプ、反ステレオタイプ、中立の各タイプをバランスよく含む。さらに、想像力の度合いが異なる 6 つの個人化タスクを用意し、独立判定器で 143,616 件の主張を評価した。盲検の人手注釈との一致も高く、判定設計の妥当性が確認されている。

主な発見

• 過剰推論は例外ではない。 評価した 12 モデルはすべて OI を示し、割合は 35%〜49% に達した。
• タスク依存性が大きい。 OI はタスクによって 27%〜59% と変動し、個人化の文脈次第で危険度が変わる。
• 多段対話で誤推論が積み上がる。 マルチターンの試験では、推測された属性がほぼ線形に増え、以前の誤りがあまり修正されなかった。
• 自己監視は選定指標として逆転する。 モデル自己申告の OI と、外部判定による OI の順位相関は負だった。つまり、「自分はあまり推測しない」と言うモデルほど、実際には多く作り話している可能性がある。
• ただし自己監査が無意味というわけではない。 単一モデル内部では、どの回答が危険かをある程度は順位付けできたが、モデル間比較には使えない。

意味すること

この研究は、個人化AIにとって「それらしい推測」と「根拠ある理解」は別物だと突きつける。ユーザー体験の向上を狙って記憶やプロフィールを使うほど、誤った属性推定が将来の応答や推薦に影響しやすくなる。だからこそ、モデル自身の自己申告を信じるのではなく、外部から検証できる仕組みが必要だ。

個人化を信頼可能にするには、まず証拠に基づく確認を優先すべきだというのが、この論文の核心である。

Source: Hugging Face Daily Papers