CCTest · Blog
模型明明知道,却为什么不回答?PIR尝试读取语言模型的隐藏认知
模型评测
cctest.ai
模型评测

模型明明知道,却为什么不回答?PIR尝试读取语言模型的隐藏认知

一项新研究提出PIR方法,通过分析语言模型的内部状态,判断模型是不知道答案,还是知道却选择隐藏。实验显示,这种方法在欺骗、沙盒测试和密码锁定等场景下仍能识别模型认可的答案。

阅读全文
CCTest · Blog
RiskChainBench:把隐写消息恢复与网页取证连成一条评测链
模型评测
cctest.ai
模型评测

RiskChainBench:把隐写消息恢复与网页取证连成一条评测链

RiskChainBench 将平台滥用场景中的隐写消息恢复,与基于证据的网页调查放入同一套基准中,检验模型能否从“看懂暗号”走到“找对网站并完成判断”。结果显示,稳定导航和风险研判仍是多模态智能体的主要短板。

阅读全文
CCTest · Blog
Benchmark Radar:把 AI 基准测试检索变成一项可追溯的基础设施
模型评测
cctest.ai
模型评测

Benchmark Radar:把 AI 基准测试检索变成一项可追溯的基础设施

Benchmark Radar 是一个持续更新的 AI 基准测试数据库与搜索引擎,聚合论文、代码仓库、数据集、模型卡和技术报告中的评测证据。它试图帮助研究者更快找到相关基准,并在比较分数时看到实验设置、来源和使用趋势。

阅读全文
CCTest · Blog
LLM裁判也会偏心:能力越强的模型,越容易拿到宽松评分
模型评测
cctest.ai
模型评测

LLM裁判也会偏心:能力越强的模型,越容易拿到宽松评分

一项覆盖四个基准、六个模型的研究显示,LLM作为自动评审员时,评审能力与自身任务能力高度相关,但也会对更强的被评模型系统性放宽标准。研究提出无需真实标签的加权多裁判校准方法,以降低这种偏差。

阅读全文