LLMは変化するユーザー意図をなぜ見失うのか

導入

LLMが単なる質問応答システムから、文章作成、コーディング、調査、ツール操作を担う協調エージェントへ広がるにつれ、ユーザーの指示はますます動的になる。現実のユーザーは最初から完全な要件を提示するとは限らない。対話を進めながら条件を追加し、優先順位を変え、前提を修正し、場合によってはタスクの方向そのものを変える。論文 LLMs Get Lost in Evolving User Intent は、この現実的な対話条件でLLMがどこまで意図を追えるのかを問う。

核心ポイント

• 問題は単なる文脈忘却ではない。 モデルは会話履歴を持っていても、ユーザーの現在の目的を安定して保持できない場合がある。最初の依頼に固定されすぎることもあれば、最新の発話だけに反応し、以前から有効な制約を落としてしまうこともある。
• 単一ターン評価には盲点がある。 多くのベンチマークは、完全に指定された指示を一度に与える形式で設計されている。これは問題解決能力を見るには有効だが、追加情報の統合、修正への対応、単なる補足と方針転換の区別を評価しにくい。
• 既存ベンチマークを再利用できる枠組み。 著者らは静的な単一ターンタスクを、意図が複数ターンにわたり段階的に明らかになったり、修正されたり、途中で方向転換したりする会話へ変換する。同時に元の評価プロトコルを維持するため、新しい大規模アノテーションなしに制御された評価環境を作れる。
• 静的性能は動的対話にそのまま移らない。 論文では、複数のタスクで、進化する意図の設定にするとモデル性能が大きく下がる傾向が示されている。これは特定モデルだけでなく、複数のモデルファミリーにまたがる現象だとされる。

意義と影響

この研究は、長期的なAIエージェントを作る開発者が経験してきた失敗を形式化している。ユーザーは対話の中で自分の目的を発見していく一方、エージェントは古い仮定を最終目標として扱ったり、最新メッセージに過剰反応して全体目標を見失ったりする。ツール利用やコード変更の場面では、これは単なる誤答ではなく、余計なAPI呼び出し、不適切な編集、破壊的操作につながり得る。

今後の評価では、モデルが明確な一文の指示に従えるかだけでなく、対話を通じて更新される意図表現を維持できるかを測る必要がある。明示的な意図追跡、検査可能な内部状態、目標保持の仕組み、対話型タスクに基づく訓練が重要になるだろう。真に役立つ協調エージェントは、最後の一文を読むだけでなく、会話全体を通じて「今ユーザーが何を達成したいのか」を追い続けなければならない。

出典：Hugging Face Daily Papers