CCTest · Blog
RAG索引扩容后答案为何变了?一项面向兼容性的重复审计
模型评测
cctest.ai
模型评测

RAG索引扩容后答案为何变了?一项面向兼容性的重复审计

一项针对检索增强问答系统的研究发现,即使模型、提示词和生成控制项保持不变,扩充语料索引仍可能让系统给出不同答案。研究提出“快照兼容性审计”,用于区分真正的索引影响与模型自身的随机波动。

阅读全文
CCTest · Blog
ReWorld:用分层注意力与地标记忆破解交互式世界模型的长程难题
世界模型
cctest.ai
世界模型

ReWorld:用分层注意力与地标记忆破解交互式世界模型的长程难题

ReWorld 将短期动作控制与长期场景记忆分开训练,并在推理时通过有限 KV 缓存和基于位姿的地标检索控制计算量。论文还通过统一动作尺度、回环轨迹和蒸馏技术,让同一模型兼顾高质量生成与实时交互。

阅读全文
CCTest · Blog
MobilePA-Bench:把移动端智能体从“会点屏幕”拉回真实任务
模型评测
cctest.ai
模型评测

MobilePA-Bench:把移动端智能体从“会点屏幕”拉回真实任务

MobilePA-Bench 提出一个面向移动规划智能体的交互式评测环境,重点考察工具调用、长程规划、记忆、技能与子智能体协作。研究显示,现有前沿大模型在严格工具顺序、权限限制和运行时错误下仍不够可靠。

阅读全文
CCTest · Blog
长程智能体失败不只要看结果,更要找到谁在何时犯错
模型评测
cctest.ai
模型评测

长程智能体失败不只要看结果,更要找到谁在何时犯错

LongRCA Bench 将长程智能体失败诊断拆分为“责任角色识别”和“最早根因定位”两个任务,并用 1140 条真实失败轨迹进行评测。其配套的免训练方法 RCTA,在根因步骤定位上显著超过基线,但整体结果仍显示长轨迹调试困难。

阅读全文