CCTest · Blog
多想一步,买得更对吗?研究发现购物智能体更自信,却未更准确
模型评测
cctest.ai
模型评测

多想一步,买得更对吗?研究发现购物智能体更自信,却未更准确

一项覆盖十个前沿模型和三个商品选择基准的评测发现,增加推理投入并未显著提升购物决策质量,却显著提高了模型自报的信心。模型之间还存在明显的错误共性,多个模型可能对同一商品任务作出相同的错误选择。

阅读全文
CCTest · Blog
Interactive Visual Gym:让视觉交互模型在闭环中接受检验
模型评测
cctest.ai
模型评测

Interactive Visual Gym:让视觉交互模型在闭环中接受检验

Interactive Visual Gym 提出了一套结合可执行任务环境与模拟用户的闭环评测框架,用于测试视觉交互模型在真实操作过程中的指导能力。IVG-Bench 覆盖烹饪、家务操作和移动界面等场景,结果显示,即使是表现最好的模型也难以稳定完成任务。

阅读全文