LLM并不知道自己知道什么：金融回测如何识别时间泄漏

2026年11月9日阅读约 3 分钟

导语

当大语言模型被要求“预测”过去某个月的股价、宏观数据或美联储决定时，它究竟是在做预测，还是在复述训练数据中已经见过的结果？这个问题直接关系到金融回测的可信度：如果模型早已知道答案，回测表现就可能混入事后信息，而不再代表真正的预测能力。

一篇发表于Hugging Face Daily Papers的研究提出了FinDendro基准，专门检验模型能否准确识别自己的时间知识边界。

测试范围较广。 FinDendro收集了1999年至2026年的2226条带日期美国事实，覆盖月度宏观经济数据、月末股票价格和美联储决策。每条事实被设计成多种提问方式，包括直接询问数值、要求模型区分“回忆”与“猜测”，以及指定一个历史日期后再作答。
自我报告并不可靠。 在受控事实中，GPT-5回答正确的比例为76%，但它只声称自己知道38%的答案。更值得注意的是，在模型表示“不知道”的事实中，它仍有61%的回答是正确的。这说明“我不知道”不等于模型没有相关信息，而“我知道”也未必能准确标出知识边界。
知识边界可能出现滞后。 研究观察到，模型关于“自己知道某事实”的判断，可能在实际可测知识边界之后持续最多七个季度。也就是说，按回答内容或自我声明推断截止时间，可能得到过于乐观或过于保守的结论。
历史日期提示主要改变表述。 要求模型“站在过去某个日期回答”，会消除大部分关于事先知道答案的声明，但回答准确率基本不变。这意味着日期提示可能影响模型如何描述自己的知识，却不能证明它没有接触过后来的信息。

这项工作把金融回测中的“数据泄漏”问题，从数据集划分进一步推进到模型行为测量。传统做法通常依赖厂商公布的知识截止日期，或者直接询问模型是否知道某个结果；但研究结果表明，两种方式都不足以为回测提供无泄漏证明。即使明确要求模型忽略未来信息，也不能仅凭指令确认其内部知识状态。

更稳妥的做法，是在正式回测前使用一组带时间标记的事实进行行为评估，观察模型在不同时间段的实际准确率、知识声明与猜测表现，再据此选择回测区间。FinDendro提供的正是这样一种评估思路：把“模型声称知道什么”转换为“模型在什么时间范围内表现出可重复的事实知识”。

对于金融AI开发者而言，这意味着回测报告除了展示收益率和风险指标，也应说明时间边界如何验证、是否测试了知识泄漏，以及模型的自我判断与实际回答之间存在多大差异。对于更广泛的时序预测任务，这一框架同样提醒我们：模型的自知能力应当被测量，而不是被默认相信。