CCTest · Blog
AgentProofBench:把 Web 智能体的验证结果与实际执行连接起来
模型评测
cctest.ai
模型评测

AgentProofBench:把 Web 智能体的验证结果与实际执行连接起来

AgentProofBench 提出了一套面向可复用验证器的 Web 智能体基准,将固定验收规则的测试结果与后续执行表现配对分析。实验显示,验证器在需求层面的正确性,与智能体能否在真实部署状态下完成任务密切相关。

阅读全文
CCTest · Blog
Dual Exam:把多模态智能体与世界模型分开测,才能看清短板
模型评测
cctest.ai
模型评测

Dual Exam:把多模态智能体与世界模型分开测,才能看清短板

Dual Exam 提出一套双轨评测框架:在固定环境响应下考察多模态智能体的行动选择,在固定动作干预下检验世界模型的状态演化。初步结果显示,模型在单项能力上的高分,并不意味着它们已经具备稳定协同完成任务的能力。

阅读全文
CCTest · Blog
AgentVQA:用离线测试检验视觉模型能否真正看懂智能体场景
模型评测
cctest.ai
模型评测

AgentVQA:用离线测试检验视觉模型能否真正看懂智能体场景

AgentVQA 汇集五类智能体任务中的 1000 个真实案例,评估视觉语言模型在网页、机器人、游戏等环境中的视觉理解能力。结果显示,当前最佳模型准确率仅为 58.5%,主要短板并非推理,而是视觉定位、运动理解和状态跟踪。

阅读全文