Hindcast：把预测市场倒带，用来检验 LLM 的真实预测力

导语

大模型会不会“预测未来”，正在成为评估 AI 推理与决策能力的新方向。但一个棘手问题是：很多所谓预测测试，其实可能在考模型是否已经见过答案。论文《Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters》提出了一套新的评测框架 Hindcast，试图把模型放回事件发生前的时间点，检验它在没有答案泄漏时的判断能力。

核心要点

• 传统回测对 LLM 并不天然可靠。 预测系统通常用已解决的问题做 backtesting：回放旧问题，看系统当时会给出怎样的概率。但对大模型而言，旧问题的结果可能已经出现在后来的新闻、网页、论坛或训练数据中，导致评测从“预测”变成“查找”或“记忆”。

• 论文指出两类主要泄漏通道。 第一，带检索能力的模型可能搜到事件结束后的报道；第二，新模型的训练语料往往更接近事件发生时间，过去对旧模型而言是未来的问题，可能已经进入新模型的训练数据。这样得到的分数，很难说明模型具备真正的前瞻能力。

• Hindcast 的做法是固定一个过去时间点。 对每个已结束的 Polymarket 预测市场，系统设定一个截止时间 t0，并要求模型像站在 t0 那天一样作答。模型只能读取冻结版公共 Reddit 快照中 t0 之前发布的内容，无法访问事件之后的信息。

• 评分不只看最终是否发生。 Hindcast 同时把模型预测与真实结果、以及 t0 时刻的市场价格进行比较。后者本身可被视为当时人类参与者基于同一历史信息形成的集体预测，因此提供了一个更公平的参照系。

意义与影响

Hindcast 的价值不只是给 LLM 预测能力打分，更在于提醒评测设计者：当模型拥有检索能力、训练语料又不断更新时，“时间边界”必须成为评估的一部分。否则，测试很容易高估模型的推理和判断能力。

论文还给出一个值得注意的观察：在堵住答案泄漏后，检索仍然能帮助多数模型，但这种帮助依赖于历史资料的质量。若 Reddit 在事件发生前已有充分讨论，检索可以提供有用背景；如果资料中主要是零散猜测或噪声，检索反而可能拖累预测。这说明 RAG 或联网检索并不是自动增益，信息源的时间一致性和内容密度同样关键。

对 AI 评测领域而言，Hindcast 提供了一种更接近真实决策场景的思路：让模型在有限、过时但真实的公共信息中做概率判断，并与同一时点的人类市场预期比较。随着模型持续迭代，这类冻结快照式评测也有助于避免基准很快“过期”，为衡量 AI 预测能力提供更稳健的基础。

来源：arXiv