RealCompanion：长期对话评测不该只考“记住了什么”

2026年10月5日阅读约 3 分钟

导语

一个陪伴用户数月的AI，真正的能力不应只是把旧消息存进数据库，而是逐渐形成对用户的理解：知道对方是谁、曾经说过什么，也能判断当前话题是否与过去有关。RealCompanion正是围绕这一问题设计的长期对话基准，试图把“会不会记忆”从简单的信息问答，推进到更接近真实关系的理解评测。

研究团队整理了10段人与AI伴侣的长期互动，时间跨度最长达到120天，总计27218条消息。数据不仅提供原始对话，还配套生成了四类文件：用户画像、人物设定、聊天事实标注和问题集。每项标注都引用了支撑它的原始消息，聊天事实还带有逐阶段核验的推理轨迹，因此评测者可以追溯答案究竟依据了哪些内容。

这种设计与常见的合成问答基准有所不同。问题不是脱离对话历史单独设计，而是建立在完整关系记录之上；评测重点也不只是答案对不对，而是模型是否找到了合适的证据，并在需要时把过去自然地带入当前回复。

长期记忆并没有想象中常用。 以所有问题混合计算时，近因窗口能够找到所需消息的比例达到95.9%。但在真正需要记忆的问题中，这一比例只有2.2%，说明整体指标很容易被大量“不需要记忆”的问题掩盖。在自然出现的问题分布下，提供历史证据带来的收益中，96%来自本来就不需要记忆的消息。
判断“该不该回忆”仍是难题。 研究测试的检测器都无法在真实消息上可靠识别记忆需求。相比之下，直接为问题作者提供同一段历史，反而可能泄露提示。仅仅把相关消息标记为“记忆”，就会让系统使用这些消息的比例提高10到14个百分点，说明模型有时不是找不到信息，而是不知道何时应该使用它。
效果相同，成本可能悬殊。 三种代理系统在人物画像重建上的F1表现相同，但成本最高与最低之间相差31倍。长期陪伴系统的比较，不能只看准确率，也要同时考察检索、上下文处理和推理开销。

RealCompanion提醒研究者重新审视“记忆增强模型”的评测方式。把所有历史消息塞进上下文，或用大量直接回忆题测试模型，可能会夸大记忆模块的价值。更合理的评测应区分三件事：模型是否理解当前消息、是否判断出历史相关、以及是否能从历史中提取并正确使用证据。

对产品开发者而言，结论同样具有现实意义。记忆系统不只是存储和检索问题，还涉及触发策略、证据引用与使用成本。如果系统频繁调用无关历史，用户可能感到被过度追踪；如果从不调用历史，又无法形成连续的关系理解。未来的长期对话代理，需要在“记得更多”和“恰当地记得”之间找到平衡。