CCTest · Blog
CoT 真的忠实吗?提示线索藏在工具返回中时,模型更难被监测
模型评测
cctest.ai
模型评测

CoT 真的忠实吗?提示线索藏在工具返回中时,模型更难被监测

一项覆盖 15 个开放权重模型的 FACE-Eval 研究发现,偏好线索出现的位置和表达方式,会显著影响模型是否在思维链中披露其影响。来自工具返回或原始资料的隐性线索,更容易被模型采用却不被监测器识别。

阅读全文
CCTest · Blog
GMA:让移动智能体面对更接近真实生活的复杂任务
模型评测
cctest.ai
模型评测

GMA:让移动智能体面对更接近真实生活的复杂任务

一项新的移动智能体基准 GMA 扩展了应用覆盖和任务复杂度,用七款开源应用与 300 个任务检验模型能否完成从单步操作到多步骤工作流的真实需求。研究显示,任务越复杂,现有智能体的表现下降越明显,而合理的 harness 设计能够改善部分工作流执行效果。

阅读全文
CCTest · Blog
评测结果究竟能证明什么?一项对 Inspect Evals 的可复现性审计
模型评测
cctest.ai
模型评测

评测结果究竟能证明什么?一项对 Inspect Evals 的可复现性审计

一项基于固定代码提交版本的审计发现,评测脚本能够定义计算过程,却未必足以支撑与指标绑定的历史性结论。研究对 124 个 Inspect Evals 单元进行盘点,其中 110 个在进入确定性推断前就因证据或语义问题停止。

阅读全文
CCTest · Blog
UrbanGround:让多模态智能体在真实尺度城市中接受空间能力检验
模型评测
cctest.ai
模型评测

UrbanGround:让多模态智能体在真实尺度城市中接受空间能力检验

UrbanGround 将香港全域三维地理数据构建为可交互的城市沙盒,用于测试多模态大模型能否把局部视觉理解转化为持续、可靠的导航行动。研究显示,当前模型擅长短距离感知,却难以在长程探索中维持方向感并及时纠错。

阅读全文
CCTest · Blog
RAG索引扩容后答案为何变了?一项面向兼容性的重复审计
模型评测
cctest.ai
模型评测

RAG索引扩容后答案为何变了?一项面向兼容性的重复审计

一项针对检索增强问答系统的研究发现,即使模型、提示词和生成控制项保持不变,扩充语料索引仍可能让系统给出不同答案。研究提出“快照兼容性审计”,用于区分真正的索引影响与模型自身的随机波动。

阅读全文
CCTest · Blog
MobilePA-Bench:把移动端智能体从“会点屏幕”拉回真实任务
模型评测
cctest.ai
模型评测

MobilePA-Bench:把移动端智能体从“会点屏幕”拉回真实任务

MobilePA-Bench 提出一个面向移动规划智能体的交互式评测环境,重点考察工具调用、长程规划、记忆、技能与子智能体协作。研究显示,现有前沿大模型在严格工具顺序、权限限制和运行时错误下仍不够可靠。

阅读全文