CCTest · Blog
PhysVista:用“感知—推理—评估”闭环检验 VLM 的物理智能
模型评测
cctest.ai
模型评测

PhysVista:用“感知—推理—评估”闭环检验 VLM 的物理智能

PhysVista 提出一个面向视觉语言模型的物理智能评测框架,将物理状态感知、动力学推理与物理合理性判断纳入同一认知闭环。基准同时覆盖真实视频与 AI 生成视频,用于检验模型是否真正理解动态世界,而不只是识别画面内容。

阅读全文
CCTest · Blog
用户改主意后,LLM Agent 为什么还在执行旧指令?
AI 智能体
cctest.ai
AI 智能体

用户改主意后,LLM Agent 为什么还在执行旧指令?

一项新研究将“意图漂移”定义为可测量的多轮交互失败:用户已经撤回或修改的要求,仍会影响模型回答和工具操作。研究者提出 IntentFlux 基准与 StateForge 方法,显示显式维护当前状态能够改善表现,但无法完全弥合单轮任务与多轮对话之间的差距。

阅读全文
CCTest · Blog
RouteFM:让大模型路由从反复训练走向“一次预训练,随处路由”
推理与部署
cctest.ai
推理与部署

RouteFM:让大模型路由从反复训练走向“一次预训练,随处路由”

RouteFM提出将LLM路由视为一种可迁移的基础能力:路由器不再依赖固定模型名称,而是通过少量行为观测判断匿名模型的特长。实验显示,冻结后的路由器能够跨任务、模型池、模态和上下文预算迁移。

阅读全文
CCTest · Blog
OpenTumorBoard:让大模型接受真实肿瘤多学科讨论考验
模型评测
cctest.ai
模型评测

OpenTumorBoard:让大模型接受真实肿瘤多学科讨论考验

OpenTumorBoard从219场公开肿瘤委员会会议中整理出611个病例和近两万轮讨论,为评估模型参与复杂、多专家协作式临床决策提供了新基准。结果显示,即使是前沿通用模型和医疗模型,在复现专家回答与委员会结论方面仍有明显差距。

阅读全文
CCTest · Blog
把科学规则变成工具:可执行检查如何帮助LLM代理修复代码
AI 科研
cctest.ai
AI 科研

把科学规则变成工具:可执行检查如何帮助LLM代理修复代码

一项针对SciCode科学编程任务的研究,将原本写在文字中的方程、边界条件和输出要求封装为可调用的执行检查。结果显示,工具化检查在部分任务上提升了修复成功率,但优势并不稳定,且会增加公开CPU开销。

阅读全文
CCTest · Blog
少看图、少调用,机器人反而更会做事:PyRUA-Lean如何让GPT-6 Astra提效
机器人与物理 AI
cctest.ai
机器人与物理 AI

少看图、少调用,机器人反而更会做事:PyRUA-Lean如何让GPT-6 Astra提效

一项发表于Hugging Face Daily Papers的研究提出PyRUA-Lean,让机器人智能体通过可执行Python单元组合动作、局部重试,并只请求必要的视觉与状态反馈。在相同语言模型调用预算下,任务成功率从63.1%提升至71.7%,共同完成任务的输入Token减少65%。

阅读全文