LiveMACE：用实时市场拆解大模型智能体的真实能力

导语

评估大模型智能体，最容易想到的指标是最终结果：任务是否完成、收益是否为正、排名是否靠前。但在持续变化的环境中，结果往往同时受到外部条件和智能体行为影响。一次成功，未必说明模型具备稳定能力；一次失败，也可能只是遭遇了不利环境。

LiveMACE 正是针对这一问题提出的评测框架。它把实时变化的金融市场作为测试场景，让智能体在加密货币和美国股票市场中进行模拟交易，并完整记录决策与交互过程。相比静态题库，未来的市场事件尚未进入训练数据，因此更适合观察智能体如何应对不断变化的条件。

核心要点

• 从结果评估转向过程评估：LiveMACEBench 不只记录实现收益，还检查智能体产生这些结果时的决策轨迹。
• 覆盖四类关键机制：评测聚焦工具使用、持久记忆、规则遵循和多智能体协作，并在相应配置下观察模型表现。
• 关注“能力鸿沟”：研究发现，实际收益与机制层面的能力测量并不总是一致。收益更高，不必然意味着工具调用、记忆管理或规则执行更强。
• 相似结果可能来自不同路径：多个智能体即使取得相近的结果，也可能采用了完全不同的机制使用模式。只看排行榜，容易把偶然性或市场环境误认为能力。
• 区分三个层次：机制是否可用、智能体是否有效使用机制，以及机制是否最终带来更好表现，这三者不能互相替代。

意义与影响

LiveMACE 的价值不在于把金融交易变成大模型竞赛，而在于提供了一个具有持续反馈的诊断环境。对研究者而言，完整轨迹可以帮助定位瓶颈：模型是没有调用必要工具，还是调用了工具却未能正确利用信息？是记忆机制没有发挥作用，还是规则执行在长期运行中逐渐偏离？这类问题仅靠最终分数通常无法回答。

这一思路也适用于金融以外的长周期智能体任务，例如持续编码、运营决策或多智能体协作。需要注意的是，市场模拟中的表现不能直接等同于通用智能，也不能据此推断模型具备稳定的投资能力。更合理的结论是：当智能体需要在动态环境中连续行动时，评测应同时关注结果、过程和机制。LiveMACEBench 为这种更细粒度的评估提供了一个可操作的起点。

来源：Hugging Face Daily Papers