让模型经营一家网店一年：E-Commerce Bench如何考验长程智能体

导语

让语言模型完成一次商品搜索、写一段营销文案，或调用几个工具，已经不足以说明它能否承担真实业务。电商经营的难点不在某一个动作，而在于连续数月保持判断一致：库存要不要提前采购，供应商报价是否值得接受，促销期间如何调价，现金是否足以应对退货和突发冲击。E-Commerce Bench正是围绕这种长程能力设计的评测。

把“做任务”变成“经营一年”

这项基准测试要求LLM智能体在365天内同时运营多家线上商店。它需要完成市场研究、商品与库存决策、供应商谈判、销售策略调整、订单履约、退货处理和现金流管理，最终目标是最大化年末总资产。与只考察若干轮对话的任务不同，智能体的早期决策会持续影响后续库存、资金和利润，因此错误可能在很久之后才显现。

环境的动态性来自两方面。一方面，商品和供应商数据取自真实电商平台，使经营对象更接近实际市场；另一方面，全年日历加入促销、自然灾害和供应链冲击，需求会随时间变化。智能体不能只依赖一套固定的定价或采购规则，而要根据经验不断探索和调整策略。

评测设计的关键点

• 多轮供应商谈判：采购不是一次性比价，而是需要处理让步、价格和供货决策。
• 跨周期经营：测试覆盖一年，考察模型能否保持长期规划与状态跟踪。
• 多维度评价：研究者从七个维度评估18个前沿模型，而非只看期末资产。
• 可复现机制：客户购买和退货遵循固定需求模型；供应商端由谈判内核决定价格、让步和决策，LLM主要负责将结果转化为语言表达。

公开摘要披露的结果说明，模型之间不存在“全能冠军”。GPT-5.6 Sol以100,000的初始资金增长至1,431,425，获得最高收益，但在欺诈规避维度排在18个模型中的第16位，并且在该维度落后于Fable5 i……摘要在此处截断，完整比较仍应以论文正文为准。

这项基准意味着什么

E-Commerce Bench的价值，在于把智能体评测从短链路工具调用推进到持续运营。它提醒我们，商业智能体的能力不能只用一次决策的正确率或最终利润衡量，还要观察风险控制、合规行为、库存与现金管理，以及模型在动态环境中的适应性。

不过，确定性市场也意味着评测结果主要反映智能体的规划、记忆和行动策略，不能完全替代真实电商试验。未来更有价值的方向，可能是把可复现的基准与更开放的竞争环境结合起来，并进一步报告各模型在不同经营维度上的完整轨迹。对于企业而言，这类测试也提供了一个重要信号：能把利润做高的模型，未必就是最适合直接托管业务的模型。

来源：Hugging Face Daily Papers