LLMエージェントはなぜ特定の情報源を選ぶのか

AIエージェントがユーザーに代わって商品を購入し、ホテルを予約し、引用する論文を選ぶ場面では、価格や機能、場所、関連性などの属性が判断材料になると考えられます。しかし新しい研究は、候補がどこから来たのかという「情報源」も、選択を左右する可能性を示しました。

出所そのものが判断材料になる

ソウル大学の研究チームは、買い物、ホテル、学術検索の三つの領域で、12種類のエージェントモデルを調査しました。異なるサイトやサービスから得られた候補を同じ位置に置き、ユーザーの条件をできるだけ同じように満たすよう調整することで、情報源そのものの影響を測定しました。

結果として、すべての領域で各モデルが特定の情報源を好み、別の情報源を避ける傾向が確認されました。どの情報源が好まれるかについて、モデル間にも大まかな共通性がありました。これは、単に「より良い候補」が選ばれたという話ではありません。好ましい情報源の候補が、好まれない情報源のより良い候補より要求を一つ少なく満たしている場合でも、前者が約3分の2の割合で選ばれました。情報源の好みと候補の質が逆方向になる場合、質の高い候補はほとんど選ばれませんでした。

さらに、候補の中身を変えずに出所を示す情報だけを隠すと、好みは弱まりました。逆に、候補を好ましい情報源のものとして表示すると、選択される割合が上がりました。つまり情報源名は、候補の属性を解釈する補助情報ではなく、それ自体が決定の手掛かりになっている可能性があります。

なぜ情報源を好むのか

研究では二つの経路が示されています。一つ目は、訓練中に学習された近道です。特定の情報源が良い結果と繰り返し結び付くと、エージェントはその情報源を品質の代理指標として利用するようになります。この相関が常に正しければ便利ですが、新しい候補では直接確認できる属性よりも情報源を優先する危険があります。

二つ目は、情報不足です。価格、機能、制約、条件への適合度などが十分に示されない場合、モデルは情報源に対する既存の印象で空白を埋めることがあります。情報源が、提示されていない属性を推測する根拠になってしまうわけです。

偏りを抑える方法

実験では、必ずしも再学習を行わなくても対策できることが示されました。候補に不足している重要情報を補えば、情報源に基づく推測の余地を減らせます。また、「情報源だけを理由に、提示されていない性質を推測しない」と明示的に指示することも効果があります。

実運用では、まずユーザーの条件を整理し、候補ごとに条件を一つずつ検証し、観察可能な属性に基づいて理由を説明させる設計が望まれます。評価時には、情報源ラベルを隠した場合や変更した場合にも判断が大きく変わらないかを確認すべきです。検索や推薦、代理購入が広がるほど、タスクの成功率だけでなく、情報源に依存しない判断と不完全な情報への対応力も重要になります。

出典：Hugging Face Daily Papers