CCTest · Blog
SAEScientist-Bench:AI智能体能独立完成机制可解释性研究吗?
模型评测
cctest.ai
模型评测

SAEScientist-Bench:AI智能体能独立完成机制可解释性研究吗?

SAEScientist-Bench将稀疏自编码器(SAE)研究转化为可测评任务,检验AI智能体能否自主发现模型内部具有语义意义的特征。结果显示,智能体已能筛选出有价值的候选特征,但在因果操控和实验结果解读上仍明显落后于专家。

阅读全文
CCTest · Blog
代码检索不只要“像”:ExecRetrieval揭示嵌入模型的功能正确性缺口
模型评测
cctest.ai
模型评测

代码检索不只要“像”:ExecRetrieval揭示嵌入模型的功能正确性缺口

ExecRetrieval构建了包含近乎相同但实际有错代码的检索基准,专门测试代码嵌入能否把正确实现排在错误变体之前。结果显示,模型在扩大召回范围后表现很好,但首位排序仍存在明显功能性缺口。

阅读全文
CCTest · Blog
让智能体基准回答“不会”还是“不知道”?知识门控任务构造协议提出新方法
模型评测
cctest.ai
模型评测

让智能体基准回答“不会”还是“不知道”?知识门控任务构造协议提出新方法

一项新研究提出知识门控任务构造协议,通过私有知识工件、泄漏审计和可验证结果,区分智能体因缺少知识而失败,还是因能力不足而失败。实验显示,部分任务在提供工件时通过率显著提升,但研究尚未证明这些任务能改善模型训练。

阅读全文