FINCOSMOS：让金融智能体在真实不确定性中接受检验

2026年11月11日阅读约 3 分钟

导语

金融智能体已经能够搜索网页、调用数据接口、编写回测代码并生成投资报告。问题在于，金融任务的正确性并不只取决于文字是否流畅：数据是否可追溯、策略是否符合用户真实意图、回测是否使用了当时可获得的信息，都会直接影响结论。若这些环节出现问题，一份格式完整的报告仍可能显得非常可信。

FINCOSMOS提出了一套面向开放世界金融任务的评估范式，核心不是比较模型与“标准答案”的相似度，而是检查智能体最终交付的工作是否经得起复核。

隐藏用户策略。 模拟投资者持有一套从组合式语法中抽取的隐含策略，可能性约为380万种。用户不会一次性提供所有细节，智能体必须通过提问澄清目标、约束和偏好。
不预置数据。 智能体需要自行从开放网络获取数据，记录来源，并在规定的数据截止时间内建立回测。这样既考察检索能力，也考察时间一致性。
程序化检查交付物。 系统会验证数据溯源和“当时可得”原则，重新计算报告中的指标，并将交付策略与隐藏规格进行比对。评估包含45个维度和15项否决检查，不依赖参考答案。

研究测试了四个编码智能体以及一个没有工具的模型，共进行150次会话，没有任何一次被完整接受。经过否决项前的质量分数仅为20.2至37.2分。模拟用户认可了35次会话，但这些会话全部未通过至少一项程序检查；如果只依赖大语言模型裁判，还可能有17次被判定为合格。

失败分布在流程两端。120次会话中只有25次交付了投资者真正要求的策略，而且没有一次交付的交易能够复现报告中声称的收益。智能体对用户没有主动说明的细节，通常只能提出其中54%至64%。这意味着它们既可能没有问对问题，也可能在已经开始编程后，用自行假设填补信息空白。

人类专家将88.33%的失败归因于智能体，而不是评测设计。研究还报告称，在获得FINCOSMOS反馈并具备持久记忆后，一名智能体最终学会了十项任务，但这更像是改进潜力的信号，而不是当前可靠性的证明。

FINCOSMOS揭示了金融智能体评估中的一个关键误区：用户满意、语言表达自然，甚至模型裁判认可，都不能等同于结果正确。对于涉及投资决策的系统，评测必须覆盖需求澄清、数据来源、点时正确性、代码实现和指标复算，而不能只看最终答案是否“像一份报告”。

这套方法也提示开发者，应将可验证交付物和硬性否决条件置于体验指标之前。未来更有价值的比较，可能不是哪个智能体最会生成分析，而是谁能稳定地留下完整证据链，并在多次重复任务中避免静默错误。