导语
当购物智能体面对商品图片、描述和筛选条件时,让模型“多想一会儿”似乎是提升推荐质量的自然办法。但一项针对大语言模型购物决策的评测给出了不同提醒:推理投入增加,可能先改变模型对自己答案的把握,而不一定改善答案本身。
研究团队在 WebShop、Amazon 的 SQID 和 Wayfair 的 WANDS 三个商品选择基准上测试了十个前沿模型,关注两个问题:提高思考投入是否能让模型选得更好?模型报告的信心能否反映它答对的概率?
核心发现
- 正确率没有显著改善。 在三个基准上,增加推理投入都没有带来统计上显著的决策质量提升。研究并非证明推理对所有任务都无用,而是指出,在这组购物选择测试中,“多想”没有可靠地转化为更好的选择。
- 自信程度却上升了。 与决策质量变化有限形成对照,模型报告的信心随推理投入提高而显著增加。换句话说,用户可能更容易看到语气笃定的推荐,却不能据此推断推荐更准确。
- 信心校准仍是弱项。 校准关注模型声称的把握程度,是否与实际答对比例相符。研究发现,多数模型在不同推理投入水平下都未能做好校准,因此信心分数不能简单当成可靠的风险提示。
- 错误并非彼此独立。 模型常在相同任务上同时出错;当多个模型都答错时,不少模型还会选中同一件错误商品。多模型一致因此不必然等于正确。
意义与影响
对于购物平台和智能体开发者,评测提示不能只比较推理预算或回答信心,还应直接检验选择质量,并检查信心是否经过校准。若系统把自信程度展示给消费者,或据此自动下单,过度自信可能放大错误建议的影响。实际部署还应关注商品信息是否完整、用户偏好是否被准确理解,以及错误选择是否容易撤销。
这项结果的适用范围也需要把握:研究基于三个基准任务,不能直接代表所有商品类别、真实购物环境或未来模型。它提供的关键警示更具体——在这些测试中,增加推理投入带来了更强的确定感,却没有证明带来更可靠的购买决策。
评论
正在确认登录状态……
正在加载评论……