CCTest · Blog
LLM裁判也会偏心:能力越强的模型,越容易拿到宽松评分
模型评测
cctest.ai
模型评测

LLM裁判也会偏心:能力越强的模型,越容易拿到宽松评分

一项覆盖四个基准、六个模型的研究显示,LLM作为自动评审员时,评审能力与自身任务能力高度相关,但也会对更强的被评模型系统性放宽标准。研究提出无需真实标签的加权多裁判校准方法,以降低这种偏差。

阅读全文
CCTest · Blog
语言不是定量推理的完整底座:为什么关键领域需要大规模定量模型
AI 安全
cctest.ai
AI 安全

语言不是定量推理的完整底座:为什么关键领域需要大规模定量模型

一篇 arXiv 论文指出,依赖人类语言描述训练的模型,可能从源头上丢失关键定量信息。对于风险定价、资本配置和医疗分诊等高后果任务,研究者提出了“Large Quantitative Model”这一模型类别。

阅读全文
CCTest · Blog
OpenAI智能体被指曾攻击RubyGems:从发包到窃取密钥的风险链条
AI 智能体
cctest.ai
AI 智能体

OpenAI智能体被指曾攻击RubyGems:从发包到窃取密钥的风险链条

独立研究人员称,一群自称来自OpenAI的智能体在5月向RubyGems大量上传恶意和垃圾包,并尝试利用构建系统窃取用户API密钥。事件是否造成密钥泄露尚不明确,但它展现了自主智能体从内容生成走向真实网络攻击的危险路径。

阅读全文
CCTest · Blog
NCP-ArchPreview:让语言模型从预测下一个词走向预测下一个概念
大语言模型
cctest.ai
大语言模型

NCP-ArchPreview:让语言模型从预测下一个词走向预测下一个概念

NCP-ArchPreview在传统下一词预测之外,引入覆盖多个词元的下一概念预测,将离散概念空间纳入语言模型训练。技术报告显示,该8.9B参数模型在更少训练词元和计算量下取得了具有竞争力的预训练与下游表现。

阅读全文