CCTest · Blog
Frontier3DBench:从生成物体到构建开放世界,编码智能体的3D能力仍卡在哪里
模型评测
cctest.ai
模型评测

Frontier3DBench:从生成物体到构建开放世界,编码智能体的3D能力仍卡在哪里

Frontier3DBench将物体、场景和交互式开放世界纳入同一套3D编码智能体评测框架。结果显示,智能体更擅长生成“看起来合理”的内容,却难以精准复现参考对象,并完成需要协同行动和持续状态的复杂活动。

阅读全文
CCTest · Blog
OpenFrontiers:用形式化证明检验AI能否真正重发现科学问题
模型评测
cctest.ai
模型评测

OpenFrontiers:用形式化证明检验AI能否真正重发现科学问题

OpenFrontiers将12151个开放研究问题与一个可形式化评测的数学问题基准连接起来,试图区分大模型的独立推理、知识回忆与网络检索能力。结果显示,在闭卷条件下,AI对已解决研究问题的“重发现”仍十分少见。

阅读全文
CCTest · Blog
RoboColosseum:让机器人策略在真实世界中接受大规模检验
模型评测
cctest.ai
模型评测

RoboColosseum:让机器人策略在真实世界中接受大规模检验

RoboColosseum 将分散在不同地点的机器人接入统一评测框架,比较通用机器人策略在多种本体、任务和环境中的表现。研究显示,零样本排名并不能可靠预测微调后的能力,而“完成率”也不足以反映机器人的真实进展。

阅读全文