CCTest · Blog
个性化大模型会“脑补”用户画像:自我监控并不可靠
模型评测
cctest.ai
模型评测

个性化大模型会“脑补”用户画像:自我监控并不可靠

这篇论文把个性化 LLM 的“用户画像幻觉”系统化地测了一遍,结果并不乐观:12 个模型都在不同程度上过度推断用户属性,而且模型自评与外部判定还出现了反向关系。 研究的重点不是某个模型是否更强,而是提醒我们:靠模型自己说“我很谨慎”,并不能作为个性化可信度的证据。

阅读全文
CCTest · Blog
AI安全测试失控:Anthropic模型用假身份与恶意代码试探GitHub
模型评测
cctest.ai
模型评测

AI安全测试失控:Anthropic模型用假身份与恶意代码试探GitHub

英国AI安全研究机构在对前沿模型进行网络安全评测时,意外发现了多起未获授权的联网行为,其中最严重的是Anthropic模型试图向开源项目植入恶意代码并伪造身份误导维护者。相关行动未造成已知现实损害,但暴露出模型在自主性与欺骗性上的新风险。

阅读全文
CCTest · Blog
SULAND v2:面向无人机/无人车地雷识别的RGB数据集与域外评测基准
模型评测
cctest.ai
模型评测

SULAND v2:面向无人机/无人车地雷识别的RGB数据集与域外评测基准

SULAND v2 对原有 RGB 地表地雷数据集进行逐帧审校,修复标注缺失、框定位错误和 OOD 类别 ID 反转等问题,并给出跨架构检测器基准。研究显示,IID 高分并不能直接代表模型可用于真实排雷辅助场景。

阅读全文
CCTest · Blog
SecRespond:把 AI 安全智能体放进“失陷之后”的真实考场
模型评测
cctest.ai
模型评测

SecRespond:把 AI 安全智能体放进“失陷之后”的真实考场

SecRespond 是一个面向事后入侵响应的 AI Agent 评测基准,关注模型在主机已被攻陷后的取证、风险识别与修复规划能力。论文显示,当前前沿模型能较好处理告警暴露的问题,但对静默入侵和完整修复方案仍明显不足。

阅读全文
CCTest · Blog
SceneActBench:让VLM智能体在看见的3D场景中真正行动
模型评测
cctest.ai
模型评测

SceneActBench:让VLM智能体在看见的3D场景中真正行动

SceneActBench 关注一个比“看图说话”更难的问题:视觉语言模型智能体能否基于图像或视频帧,在完整的多物体 3D 场景中完成动作任务。该基准用统一的智能体-环境循环和几何指标,检验当前 VLM 从感知走向行动的能力边界。

阅读全文