CCTest · Blog
从模型行为追溯数据来源:合成预训练让表格模型归因变得可验证
模型评测
cctest.ai
模型评测

从模型行为追溯数据来源:合成预训练让表格模型归因变得可验证

一项研究利用带有完整来源链的合成任务,检验哪些预训练数据真正影响表格基础模型的表现。结果显示,行为归因能够指导有效的数据移除,但“来源相似”与“因果贡献”并不总是一致。

阅读全文
CCTest · Blog
PhysVista:用“感知—推理—评估”闭环检验 VLM 的物理智能
模型评测
cctest.ai
模型评测

PhysVista:用“感知—推理—评估”闭环检验 VLM 的物理智能

PhysVista 提出一个面向视觉语言模型的物理智能评测框架,将物理状态感知、动力学推理与物理合理性判断纳入同一认知闭环。基准同时覆盖真实视频与 AI 生成视频,用于检验模型是否真正理解动态世界,而不只是识别画面内容。

阅读全文
CCTest · Blog
OpenTumorBoard:让大模型接受真实肿瘤多学科讨论考验
模型评测
cctest.ai
模型评测

OpenTumorBoard:让大模型接受真实肿瘤多学科讨论考验

OpenTumorBoard从219场公开肿瘤委员会会议中整理出611个病例和近两万轮讨论,为评估模型参与复杂、多专家协作式临床决策提供了新基准。结果显示,即使是前沿通用模型和医疗模型,在复现专家回答与委员会结论方面仍有明显差距。

阅读全文
CCTest · Blog
AutoDataBench:把“数据智能”从自动科研中单独测出来
模型评测
cctest.ai
模型评测

AutoDataBench:把“数据智能”从自动科研中单独测出来

AutoDataBench 提出一个受控测试平台,将训练框架、超参数和算力等因素固定下来,专门评估智能体诊断、组织和构造训练数据的能力。研究还考察模型能否预测数据干预的效果,以及基准测试轨迹能否反过来成为训练数据。

阅读全文
CCTest · Blog
A2Z GameSpec-Bench:衡量编码智能体能否忠实实现游戏设计
模型评测
cctest.ai
模型评测

A2Z GameSpec-Bench:衡量编码智能体能否忠实实现游戏设计

A2Z GameSpec-Bench以100份长篇游戏设计文档为基础,评估编码智能体生成的游戏是否真正符合设计意图,而不只是能够编译运行。基准将代码检查、场景回放与自适应试玩结合起来,重点检验相互依赖的需求能否被同时满足。

阅读全文