CCTest · Blog
AI 渗透测试 Agent 该如何从靶场走向真实世界评测?
模型评测
cctest.ai
模型评测

AI 渗透测试 Agent 该如何从靶场走向真实世界评测?

这篇论文关注一个越来越现实的问题:AI 渗透测试 Agent 在 CTF 或固定任务中表现不错,并不等于能在真实目标中稳定发现漏洞。作者提出一套以“经验证的漏洞发现”为核心的评测协议,试图让安全 Agent 的比较更接近实战。

阅读全文
CCTest · Blog
视频大模型真的“看懂”了吗?新研究用 VDG 拆穿高分幻觉
模型评测
cctest.ai
模型评测

视频大模型真的“看懂”了吗?新研究用 VDG 拆穿高分幻觉

一篇被 ACM MM 2026 接收的论文指出,视频 LLM 在基准测试中的高准确率,并不总是等同于真实的视觉理解。作者提出 Visual Dependency Gap(VDG),用原始视频与黑屏输入之间的正确率差异来审计模型是否真正依赖视觉信息。

阅读全文
CCTest · Blog
LLM 多重验证并非越多越安全:相关性会让可靠性提前见顶
模型评测
cctest.ai
模型评测

LLM 多重验证并非越多越安全:相关性会让可靠性提前见顶

这篇 arXiv 论文讨论了 LLM 系统中常见的“连续验证门”问题:同一个答案必须通过多次 verifier 才被返回。作者指出,一旦验证器之间存在部分相关性,可靠性提升会从指数级变成多项式级,甚至出现无法突破的盲区上限。

阅读全文
CCTest · Blog
StepUP 第二届竞赛:用“脚步压力”识别人,难点从单步走向跨域步态
模型评测
cctest.ai
模型评测

StepUP 第二届竞赛:用“脚步压力”识别人,难点从单步走向跨域步态

第二届 International StepUP Competition 将足步生物识别评测从单个脚印推进到左右脚成对的步幅验证,并强化了鞋类、速度等跨域挑战。最佳队伍在未公开测试集上取得 8.00% 等错误率,但个人鞋履场景仍是主要瓶颈。

阅读全文
CCTest · Blog
胸片多模态分类评测:临床指征有用,报告文本也可能“泄题”
模型评测
cctest.ai
模型评测

胸片多模态分类评测:临床指征有用,报告文本也可能“泄题”

一篇 arXiv 新研究重新审视了胸部 X 光多图像分类中的多模态输入:哪些信息在诊疗前可用,哪些其实来自报告生成之后。结果显示,临床指征能显著提升模型表现,但 Findings、Impression 等报告文本会带来严重标签泄漏风险。

阅读全文
CCTest · Blog
EgoProceVQA:让第一视角视频模型学会理解“步骤”
模型评测
cctest.ai
模型评测

EgoProceVQA:让第一视角视频模型学会理解“步骤”

一篇新论文提出 EgoProceVQA,用视频问答方式评估多模态大模型对第一视角日常流程的关键步骤理解能力。研究还给出数据生成平台 EgoProceGen 和自我技能探索框架 EgoProceAgent,试图补上穿戴式程序型 AI 助手评测与推理能力的短板。

阅读全文