CCTest · Blog
长程智能体失败不只要看结果,更要找到谁在何时犯错
模型评测
cctest.ai
模型评测

长程智能体失败不只要看结果,更要找到谁在何时犯错

LongRCA Bench 将长程智能体失败诊断拆分为“责任角色识别”和“最早根因定位”两个任务,并用 1140 条真实失败轨迹进行评测。其配套的免训练方法 RCTA,在根因步骤定位上显著超过基线,但整体结果仍显示长轨迹调试困难。

阅读全文
CCTest · Blog
FlavourBench:用可执行烹饪真值重新评估大语言模型
模型评测
cctest.ai
模型评测

FlavourBench:用可执行烹饪真值重新评估大语言模型

FlavourBench 将开放式语言模型评测转化为可复核的组合选择问题:模型从八种食材中选出三种,由版本化烹饪系统统一评分。在覆盖 27 个前沿模型端点的测试中,Grok 4.6 获得最高点估计,但只有部分模型差异达到统计可区分水平。

阅读全文
CCTest · Blog
文档抽取的选择性风险控制:为什么“低置信度就复核”还不够
模型评测
cctest.ai
模型评测

文档抽取的选择性风险控制:为什么“低置信度就复核”还不够

一项针对真实收据字段抽取的研究发现,常见的置信度阈值方法可能在文档级相关性、评分泄漏和分数并列等问题下失去风险控制。研究进一步提出从平均风险到文档级 PAC 证书的有效性阶梯,并说明何时应使用条件化校准。

阅读全文