LLM 在多轮对话中为何会跟丢用户意图？

导语

当大模型被用作写作助手、代码代理或任务型协作者时，真实用户往往不会在第一句话里完整说清需求。更常见的情况是：先给出一个模糊目标，再随着模型反馈不断补充条件、推翻部分设定，甚至改变任务方向。论文《LLMs Get Lost in Evolving User Intent》关注的正是这个被传统评测遮蔽的问题：LLM 是否真的能跟上用户意图的演化？

核心要点

• 问题不只是“上下文太长”：论文强调，失败并非简单等同于模型遗忘历史，而是模型没有稳定地维护“当前用户真正想要什么”的状态。它可能固守最初指令，也可能过度追随最新一句话，忽略早先仍然有效的约束。
• 单轮评测存在盲区：多数基准把任务设计成一次性、完整说明的指令。这样的设置可以测试模型是否会解题，却很难测试它是否能在多轮互动中整合新增信息、处理修订和识别转向。
• 新框架复用旧基准：作者提出的方法是把静态单轮任务转换为动态多轮对话，让用户意图在不同轮次中逐步显露、被修改或被重新定向，同时保留原任务的评测协议。这意味着研究者可以利用已有 benchmark 作为受控测试床，而不必重新进行大规模标注。
• 强模型也会显著掉队：论文报告称，在多个任务上，模型在静态设定中的强表现不能直接迁移到演化意图设定；不同模型家族都出现明显下降。这说明“会做单轮题”和“会协作完成不断变化的任务”之间存在能力鸿沟。

意义与影响

这项工作的价值在于，它把许多开发者在代理系统中反复遇到的现象形式化了：用户在对话中发现自己的需求，而模型却可能把早期假设当成最终目标，或在最新指令和长期目标之间摇摆。对于未来的 AI Agent，这种缺陷会直接影响可靠性，尤其是在工具调用、长期项目管理、代码修改等场景中，意图漂移可能带来错误操作、额外成本甚至破坏性后果。

因此，下一阶段的模型评测不应只问“模型能否遵循一条清晰指令”，还应问“模型能否维护一个随对话更新的意图表示”。这可能推动显式意图追踪、状态检查、目标保持机制以及更面向交互过程的训练方法。真正的协作代理，需要的不只是读懂最后一句话，而是在多轮变化中持续理解用户究竟要达成什么。

来源：Hugging Face Daily Papers