CCTest
首页模型指纹站点收录文章定价API 文档常见问题联系我们
API …
登录
文章与教程

模型评测

Claude API 中转站避坑指南、检测原理与大模型 API 实测经验

共 296 篇文章

RSS 订阅
全部模型发布大语言模型多模态AI 智能体代码智能体AI 安全强化学习扩散模型视觉与视频语音与音频机器人与物理 AIAI 科研模型评测推理与部署框架与工具记忆与上下文AI 教育行业动态开源生态算力与芯片政策与监管商业与融资产品与应用世界模型RAG 与检索
CCTest · Blog
PremiseCheck:把同行评审事实核查拆成可验证的前提
模型评测
cctest.ai
模型评测2026年10月19日

PremiseCheck:把同行评审事实核查拆成可验证的前提

同行评审意见可能误读论文,人工与大模型撰写的评论都不例外。PremiseCheck先让大模型提取评论中的明确前提,再由成本更低的决策模型逐项对照论文,以较低成本完成事实核查。

阅读全文
CCTest · Blog
Harness 进化的收益,究竟有多少是真正的能力提升?
模型评测
cctest.ai
模型评测2026年10月19日

Harness 进化的收益,究竟有多少是真正的能力提升?

一项新研究提出 Harness-Delta Attribution 评估协议,试图拆分智能体框架优化带来的收益:哪些来自搜索集过拟合,哪些只是增加了测试时计算,哪些可能具备泛化性。

阅读全文
CCTest · Blog
LeanPRM:用形式化证明为自然语言数学推理提供逐步监督
模型评测
cctest.ai
模型评测2026年10月16日

LeanPRM:用形式化证明为自然语言数学推理提供逐步监督

LeanPRM借助Lean证明助手,自动为AI生成的自然语言数学证明创建步骤级正确性标签,从而减少对人工标注的依赖。实验显示,这种形式化支撑的过程监督能显著提升证明验证器的判断能力。

阅读全文
CCTest · Blog
WorldMemBench:视频世界模型的记忆能力,不能只看画面像不像
模型评测
cctest.ai
模型评测2026年10月16日

WorldMemBench:视频世界模型的记忆能力,不能只看画面像不像

WorldMemBench 提出一套面向视频世界模型的记忆评测框架,区分静态内容保持与动态状态演化。对 260 个测试案例和 9 个代表性模型的评估显示,能记住场景外观,并不意味着模型能持续维护世界状态。

阅读全文
CCTest · Blog
OmniCompass:把视频理解评测推进到时空与视听协同
模型评测
cctest.ai
模型评测2026年10月16日

OmniCompass:把视频理解评测推进到时空与视听协同

OmniCompass 是一个面向全模态视频定位与理解的综合基准,覆盖时间定位、空间定位和问答三类任务。它还通过文本与文本加图像两种目标指代方式,检验模型是否真正理解视频证据,以及在不同提示形式下能否保持一致。

阅读全文
CCTest · Blog
FDE-Gym:给智能体补上真实交付的“最后一公里”
模型评测
cctest.ai
模型评测2026年10月16日

FDE-Gym:给智能体补上真实交付的“最后一公里”

FDE-Gym 将智能体置于更接近真实客户交付的环境中:需求并不完整,系统可以被修改,成功与否取决于业务指标是否真正改善。评测显示,发现隐含约束仍是模型完成端到端交付的最大障碍。

阅读全文
CCTest · Blog
RoTA-Bench:让视觉语言模型在旋转物体中暴露三维推理短板
模型评测
cctest.ai
模型评测2026年10月16日

RoTA-Bench:让视觉语言模型在旋转物体中暴露三维推理短板

RoTA-Bench通过交互式投影对齐,测试视觉语言模型能否从二维轮廓推断三维结构,并据此连续执行精确旋转。结果显示,模型在任务成功率、姿态判断和细粒度控制上仍明显落后于人类。

阅读全文
CCTest · Blog
SWE-at-Scale:把真实修复经验反向变成可扩展的编程测试题
模型评测
cctest.ai
模型评测2026年10月16日

SWE-at-Scale:把真实修复经验反向变成可扩展的编程测试题

上海交通大学团队提出 SWE-at-Scale,通过逆向利用历史 Bug 修复记录,自动生成更贴近真实开发场景、可执行且具有多样性的 SWE 任务。该方法旨在缓解真实 issue 数量有限、人工构造成本高的问题。

阅读全文
CCTest · Blog
Orbia:生成视频真的构成了连贯的三维世界吗?
模型评测
cctest.ai
模型评测2026年10月16日

Orbia:生成视频真的构成了连贯的三维世界吗?

Orbia 提出一套面向交互式视频世界模型的三维一致性评测框架,重点检查模型在探索、离开与重访过程中,能否持续维护同一个空间。它将评测拆分为输入保真、生成内容持久性和三维自洽性三个维度。

阅读全文
CCTest · Blog
SWEeper-Bench:让代码智能体自己发现交互式软件中的漏洞
模型评测
cctest.ai
模型评测2026年10月15日

SWEeper-Bench:让代码智能体自己发现交互式软件中的漏洞

SWEeper-Bench 将软件缺陷发现纳入代码智能体评测,要求智能体通过真实的多步浏览器交互定位并修复问题。15 个前沿智能体中表现最佳者仅通过了 59.0% 的任务。

阅读全文
CCTest · Blog
ProbabilityBench:把模型不确定性评估从“猜”变成可验证
模型评测
cctest.ai
模型评测2026年10月15日

ProbabilityBench:把模型不确定性评估从“猜”变成可验证

ProbabilityBench 构建了三个带有精确实例级类别概率的模拟文本环境,让研究者能够直接衡量模型输出概率与真实不确定性之间的差距。它还可用于检验校准指标和贝叶斯误差估计器本身是否可靠。

阅读全文
CCTest · Blog
大模型评测该“瘦身”了:一项关于基准压缩的系统综述
模型评测
cctest.ai
模型评测2026年10月15日

大模型评测该“瘦身”了:一项关于基准压缩的系统综述

大模型评测基准不断增加,但不同任务之间可能存在明显冗余,完整跑完一套基准的成本也随之上升。这篇综述梳理了119篇相关研究,试图回答:如何用更少的测试,尽可能可靠地推断完整评测结果?

阅读全文
CCTest · Blog
CLASHarness:让多智能体冲突评测从叙事走向可验证
模型评测
cctest.ai
模型评测2026年10月15日

CLASHarness:让多智能体冲突评测从叙事走向可验证

CLASHarness针对计算机使用场景中的多智能体冲突,提出一套可控、可执行、可验证的任务生成与评测框架。它通过预先锁定视觉事实并从参考轨迹生成评分器,构建了包含600个多轮任务的基准。

阅读全文
CCTest · Blog
Doc2Harness:首次直接评估大模型的长程 Harness 工程能力
模型评测
cctest.ai
模型评测2026年10月15日

Doc2Harness:首次直接评估大模型的长程 Harness 工程能力

Doc2Harness 将评测对象从“使用固定代理框架完成任务”推进到“让模型自己构建代理框架”。结果显示,即使表现最好的模型,也只能通过约一半测试,长程 Harness 工程仍是编码智能体的明显短板。

阅读全文
CCTest · Blog
情绪会让智能体失灵吗?τ-Emotion-Bench重新审视工具调用可靠性
模型评测
cctest.ai
模型评测2026年10月15日

情绪会让智能体失灵吗?τ-Emotion-Bench重新审视工具调用可靠性

许多大模型智能体的失败并不源于工具本身,而是源于与用户沟通不当。τ-Emotion-Bench将情绪变化引入长流程工具调用任务,揭示智能体在真实用户行为面前的交互脆弱性。

阅读全文
CCTest · Blog
TextVerifier:让中文生成从“认得出”走向“写得对”
模型评测
cctest.ai
模型评测2026年10月15日

TextVerifier:让中文生成从“认得出”走向“写得对”

文本到图像模型已经能够生成可读的中文,但笔画缺失、增添或部件变形等局部错误仍可能逃过 OCR 和视觉语言模型。TextVerifier 将中文字符结构纳入验证流程,专门判断图像中的字符是否正确呈现。

阅读全文
CCTest · Blog
AI 能写出能跑的代码,但它真的安全吗?
模型评测
cctest.ai
模型评测2026年10月14日

AI 能写出能跑的代码,但它真的安全吗?

Last Secure Code Benchmark 对六个前沿编程代理进行测试,结果显示:代码通过功能测试,并不代表能够抵御真实安全漏洞。即使表现最好的模型,同时满足功能与安全要求的任务比例也只有 25.1%。

阅读全文
CCTest · Blog
LifeSearch:真实生活场景仍是深度研究智能体的难题
模型评测
cctest.ai
模型评测2026年10月14日

LifeSearch:真实生活场景仍是深度研究智能体的难题

腾讯混元团队推出 LifeSearch 基准,尝试用真实生活与生产力任务检验深度研究智能体。结果显示,即使表现最好的前沿智能体,得分也只有 63.4%。

阅读全文
CCTest · Blog
PhyProbe:用统一监督重新评估生成视频的物理一致性
模型评测
cctest.ai
模型评测2026年10月14日

PhyProbe:用统一监督重新评估生成视频的物理一致性

NVIDIA 研究团队提出 PhyProbe,只需输入视频即可评估其中的物理一致性违背程度。该方法结合排序、回归与锚点校准,试图让评测结果既能正确比较,也具备稳定的分数尺度。

阅读全文
CCTest · Blog
EviScene:从“是不是AI生成”走向图像事实核查
模型评测
cctest.ai
模型评测2026年10月14日

EviScene:从“是不是AI生成”走向图像事实核查

一张图片即使不是AI生成,也不代表其中描述的事件真实发生。EviScene提出图像事实性评估,让多模态智能体自主发现可疑点、检索外部证据,并给出有依据的支持或驳回结论。

阅读全文
CCTest · Blog
LLM为何停不下“思考”?研究揭示推理惯性现象
模型评测
cctest.ai
模型评测2026年10月13日

LLM为何停不下“思考”?研究揭示推理惯性现象

一项针对大语言模型“无思考”能力的研究发现,即使用户明确要求模型只给答案,模型仍可能输出可见的推理过程。研究者将这种现象称为“思考惯性”,并提出了更细致的评估方法。

阅读全文
上一页第 5 / 15 页下一页
CCTest

CCTest — 专业的 Claude API 中转站黑盒检测平台,识别掺假、降智与套壳,守护每一次 API 调用。

快速链接

站点收录文章定价API 文档模型指纹常见问题联系我们RSS 订阅

按模型

Claude 中转站OpenAI 中转站Gemini 中转站DeepSeek 中转站GLM 中转站MiniMax 中转站Grok 中转站

联系我们

admin@oryntis.ai

1908 Thomes Avenue STE 61266, Cheyenne, WY 82001, US

© 2026 Oryntis LLC. 保留所有权利。

cctest.ai