CCTest
首页模型指纹站点收录文章定价API 文档常见问题联系我们
API …
登录
文章与教程

模型评测

Claude API 中转站避坑指南、检测原理与大模型 API 实测经验

共 296 篇文章

RSS 订阅
全部模型发布大语言模型多模态AI 智能体代码智能体AI 安全强化学习扩散模型视觉与视频语音与音频机器人与物理 AIAI 科研模型评测推理与部署框架与工具记忆与上下文AI 教育行业动态开源生态算力与芯片政策与监管商业与融资产品与应用世界模型RAG 与检索
CCTest · Blog
AgentSWE:代码智能体真的能构建出你需要的智能体吗?
模型评测
cctest.ai
模型评测2026年10月13日

AgentSWE:代码智能体真的能构建出你需要的智能体吗?

AgentSWE 提出一个关键问题:编码智能体交付的系统,究竟是在满足需求,还是只是在演示案例上看起来有效?这项基准测试显示,当前编码智能体距离可靠完成智能体开发任务仍有明显差距。

阅读全文
CCTest · Blog
当视觉推理不再只是识别:HSS基准测试多模态模型的“第六感”
模型评测
cctest.ai
模型评测2026年10月12日

当视觉推理不再只是识别:HSS基准测试多模态模型的“第六感”

人类能从一眼画面中推断事件因果、空间可行性、社交关系和潜在规则,但多模态模型在这些直觉任务上仍明显落后。HSS基准试图把这种隐含视觉推理能力变成可测量指标。

阅读全文
CCTest · Blog
临床医生实际使用方式,正在偏离大模型评测基准
模型评测
cctest.ai
模型评测2026年10月12日

临床医生实际使用方式,正在偏离大模型评测基准

一项覆盖6,342名医护人员的研究显示,临床AI最常处理的是文档与行政工作,而不是诊断。现有基准测试与真实工作任务的重合度有限,模型分数未必能代表部署后的实际表现。

阅读全文
CCTest · Blog
编码智能体评测,不能只盯着最终修复结果
模型评测
cctest.ai
模型评测2026年10月12日

编码智能体评测,不能只盯着最终修复结果

一项基于真实 IDE 使用记录的研究显示,软件工程师与编码智能体的交互远比 issue 驱动基准更复杂。评测如果忽略任务类型切换和多轮流程,可能无法准确反映智能体的实际表现。

阅读全文
CCTest · Blog
SWE-Duel:让编程智能体在实战中互相出题与验收
模型评测
cctest.ai
模型评测2026年10月12日

SWE-Duel:让编程智能体在实战中互相出题与验收

静态代码基准容易因数据泄漏和能力饱和而失效,SWE-Duel尝试把任务生成、测试和对抗过程放到评测现场。两个编程智能体轮流扮演出题者与修复者,让基准难度随参与者能力变化。

阅读全文
CCTest · Blog
用《杀戮尖塔》检验智能体的长期战略能力:SpireBench揭示模型为何后程失速
模型评测
cctest.ai
模型评测2026年10月12日

用《杀戮尖塔》检验智能体的长期战略能力:SpireBench揭示模型为何后程失速

SpireBench把完整商业游戏《杀戮尖塔》变成长期智能体评测场景。研究发现,前沿模型能接近普通玩家,却在连续决策、风险管理和跨局学习上明显落后于专家。

阅读全文
CCTest · Blog
LLM智能体不只要答对,还要知道自己可能错
模型评测
cctest.ai
模型评测2026年10月9日

LLM智能体不只要答对,还要知道自己可能错

一项来自约翰斯·霍普金斯大学的研究提出,用“认识、解决、升级”三个维度评估LLM智能体在知识冲突中的认知谦逊。结果显示,任务准确率高并不意味着智能体善于表达和处理不确定性。

阅读全文
CCTest · Blog
临床场景中的“无关信息”:大模型为何会把闲聊写进病历
模型评测
cctest.ai
模型评测2026年10月9日

临床场景中的“无关信息”:大模型为何会把闲聊写进病历

一项研究发现,前沿大模型可能将患者就诊之外的闲聊写入病历,甚至错误归因或用于临床推理。研究提示,临床 AI 的评测不能只看答案质量,还必须测试模型抵抗背景噪声和无关信息的能力。

阅读全文
CCTest · Blog
U-Space:让语言模型的不确定性变得可读、可追踪
模型评测
cctest.ai
模型评测2026年10月9日

U-Space:让语言模型的不确定性变得可读、可追踪

U-Space尝试用机制可解释性揭示语言模型在生成答案时何时产生怀疑,以及怀疑来自哪里。其配套方法U-Lens结合内部表征与预测熵,在单次生成中评估答案可靠性。

阅读全文
CCTest · Blog
Learn2Play Bench:让大模型在陌生游戏中证明自己会学习
模型评测
cctest.ai
模型评测2026年10月9日

Learn2Play Bench:让大模型在陌生游戏中证明自己会学习

新基准测试不再把规则提前写进提示词,而是让 LLM agent 通过反复交互、试错和反馈掌握陌生游戏。研究显示,完整保留经验、合理设计 agent harness,可能比单纯总结策略更有助于提升表现。

阅读全文
CCTest · Blog
TestPrism:别再用单一参考答案评估代码测试
模型评测
cctest.ai
模型评测2026年10月9日

TestPrism:别再用单一参考答案评估代码测试

TestPrism指出,代码智能体生成测试的真实质量,不能只看它是否通过单一参考实现。研究通过多种有效与无效实现重新定义测试评估,并提出TestHelix改进测试生成流程。

阅读全文
CCTest · Blog
Agent Plasticity:评估智能体如何从经验中自我改进
模型评测
cctest.ai
模型评测2026年10月8日

Agent Plasticity:评估智能体如何从经验中自我改进

一项研究提出“智能体可塑性”指标,用于衡量 AI agent 将交互经验转化为未来泛化能力的效率。结果显示,最终表现、学习速度与跨分布迁移能力并不总是同步。

阅读全文
CCTest · Blog
Agentic RAG评测如何花预算:多测问题优于反复重跑
模型评测
cctest.ai
模型评测2026年10月8日

Agentic RAG评测如何花预算:多测问题优于反复重跑

一项基于 HotpotQA 和 MuSiQue 的研究,比较了问题覆盖、搜索轨迹与重复作答三种评测预算分配方式。结果显示,在相近模型 token 预算下,扩大问题覆盖通常比增加轨迹或重复读取更有效。

阅读全文
CCTest · Blog
Recurrent Looped Transformer:让Transformer的计算深度随序列增长
模型评测
cctest.ai
模型评测2026年10月8日

Recurrent Looped Transformer:让Transformer的计算深度随序列增长

Recurrent Looped Transformer(RLT)将Transformer层拆分为并行因果编码器与递归解码器,通过逐token反馈累积状态。在多项算法任务中,它展现出比标准Transformer更强的长度外推能力。

阅读全文
CCTest · Blog
从“像文字”到“写对文字”:UltraText Bench重新审视图像生成的文本能力
模型评测
cctest.ai
模型评测2026年10月8日

从“像文字”到“写对文字”:UltraText Bench重新审视图像生成的文本能力

UltraText Bench针对图像生成模型中的密集视觉文本,提供覆盖中英文、多区域和多难度的评测框架。结果显示,文字清晰度、内容准确性与空间布局并不总是同步提升。

阅读全文
CCTest · Blog
SWE-Game:代码智能体距离真正做出好游戏还有多远?
模型评测
cctest.ai
模型评测2026年10月8日

SWE-Game:代码智能体距离真正做出好游戏还有多远?

SWE-Game 将游戏开发拆解为 247 项任务,系统评估代码智能体从需求理解、实现到修复和跨引擎迁移的能力。结果显示,智能体已经能够完成部分可玩的游戏,但在需求覆盖和玩法逻辑上仍存在明显短板。

阅读全文
CCTest · Blog
LLM真的按思维链所说的方式推理吗?一项新研究尝试测量并提升一致性
模型评测
cctest.ai
模型评测2026年10月7日

LLM真的按思维链所说的方式推理吗?一项新研究尝试测量并提升一致性

思维链并不总是模型真实计算过程的可靠窗口。纽约大学团队提出CIA指标,用可解释性工具对照模型的文字推理与内部策略,并尝试通过后训练提升二者的一致性。

阅读全文
CCTest · Blog
AutoSciBench:让科学智能体参与设计更难的测试
模型评测
cctest.ai
模型评测2026年10月7日

AutoSciBench:让科学智能体参与设计更难的测试

科学智能体能力提升后,固定基准容易被“刷穿”。AutoSciBench尝试自动生成并迭代科学任务,让评测集根据模型暴露出的捷径和失败模式持续更新。

阅读全文
CCTest · Blog
模型向自己学习为何会失控:测试时训练的长期反馈陷阱
模型评测
cctest.ai
模型评测2026年10月6日

模型向自己学习为何会失控:测试时训练的长期反馈陷阱

一项研究发现,测试时训练若持续吸收模型自身生成的文本,可能在长上下文中形成自我强化的退化循环。研究进一步表明,在提交参数更新前用独立真实文本验证,是降低风险的有效办法。

阅读全文
CCTest · Blog
LLM数学推理的短板,可能不在计算而在“发现”
模型评测
cctest.ai
模型评测2026年10月6日

LLM数学推理的短板,可能不在计算而在“发现”

一项新研究将数学推理拆解为发现、生成、理解和执行四类能力,指出单看最终答案会掩盖模型的真实能力结构。研究还提出基于数学原语的自蒸馏方法,用于修复推理中的关键缺口。

阅读全文
CCTest · Blog
UndoBench:别只看智能体能否完成任务,还要看它能否安全恢复
模型评测
cctest.ai
模型评测2026年10月6日

UndoBench:别只看智能体能否完成任务,还要看它能否安全恢复

UndoBench 将工具调用智能体的任务能力与故障恢复能力拆开评估。结果显示,智能体往往能完成任务,却未必能在工具调用异常后避免重复操作和外部副作用。

阅读全文
上一页第 6 / 15 页下一页
CCTest

CCTest — 专业的 Claude API 中转站黑盒检测平台,识别掺假、降智与套壳,守护每一次 API 调用。

快速链接

站点收录文章定价API 文档模型指纹常见问题联系我们RSS 订阅

按模型

Claude 中转站OpenAI 中转站Gemini 中转站DeepSeek 中转站GLM 中转站MiniMax 中转站Grok 中转站

联系我们

admin@oryntis.ai

1908 Thomes Avenue STE 61266, Cheyenne, WY 82001, US

© 2026 Oryntis LLC. 保留所有权利。

cctest.ai