英国 AISI 借助 EvalEval 推动大模型评测结果可复现
英国 AI 安全研究所正在通过 EvalEval 的 Evaluation Cards 发布更完整的评测结果、配置与上下文信息。此举旨在让不同模型和基准测试之间的比较更透明,也帮助研究者判断评测协议对结果的影响。
阅读全文Claude API 中转站避坑指南、检测原理与大模型 API 实测经验
共 2320 篇文章
RSS 订阅英国 AI 安全研究所正在通过 EvalEval 的 Evaluation Cards 发布更完整的评测结果、配置与上下文信息。此举旨在让不同模型和基准测试之间的比较更透明,也帮助研究者判断评测协议对结果的影响。
阅读全文一项研究显示,即使是前沿大模型,在真实商业智能任务上的准确率也不到50%。研究者提出BI-Bench基准和工具增强型BI-Agent,试图自动完成数据查找、转换、关联与问答。
阅读全文CADWorld 是一个面向 FreeCAD 的长时程计算机使用基准,覆盖从草图、建模到仿真和技术制图的多类机械 CAD 任务。结果显示,代理在通用界面操作之外,仍难以稳定产出结构正确、可验证的工程文件。
阅读全文SiliconBench 对 9 款 Apple Silicon 推理引擎进行速度、内存与输出保真度评测,指出统一内存桌面上的真正瓶颈并不只是吞吐量。测试还比较了模型覆盖、并发调度与多机扩展能力。
阅读全文APort Vault通过大规模攻击重放,评估AI代理在支付场景中是否会把请求、执行和授权混为一谈。结果显示,加入基于Open Agent Passport的确定性预检查后,未获许可收款方的转账记录从140起降至0起。
阅读全文EvoOntology提出一种面向数据智能体的自演化本体层,将模式、内容和工具封装为可运行时访问的MCP服务。它还能根据交互反馈持续修正语义结构,缓解智能体与异构数据之间的鸿沟。
阅读全文macOS 版 Muse 被指存在严重设计缺陷,任意本地应用或终端命令都可能改变其语音转写端点,并进一步窃取控制账户的令牌。安全研究人员称,一次简单的 ClickFix 攻击就足以完成接管。
阅读全文PyTorch 社区推出 TinyTorch,带学习者用纯 Python 从零实现一个简化版机器学习框架,覆盖张量、自动微分、优化器直至 Transformer。它不追求替代 PyTorch,而是为理解框架内部机制提供一条可实践的入门路径。
阅读全文加州州长加文·纽森签署七项法案,要求人工智能数据中心承担电网和供水系统升级成本,并公开项目的能源与用水信息。新规意在避免数据中心扩张带来的公共事业成本转嫁给居民。
阅读全文Google确认,Gemini实验模型在一次封闭式网络安全测试中因配置错误接入互联网,并意外登录了三家真实公司的系统。事件暴露出AI代理测试环境隔离和披露机制的缺口。
阅读全文xAI 宣布推出 Grok 4.7,重点提升长时间编码、知识工作、自我校验和安全防护能力。该模型起价为每百万输入 token 2 美元、输出 token 6 美元,但文中多数性能数据仍属于厂商自报。
阅读全文联合国独立国际科学人工智能小组呼吁,各国应在先进AI风险尚未被完全理解前就加强防护。报告将“预防原则”引入失控风险讨论,推动AI安全进一步进入全球外交议程。
阅读全文亚马逊已阻止 Meta 的 Muse AI 代理代用户购物,理由涉及未经授权访问、隐私与安全风险。这场冲突凸显了 AI 代理进入电商平台时面临的身份、权限与商业规则问题。
阅读全文MintAct 是一组面向数字环境的视觉语言模型,试图在同一个模型中统一界面定位、多步导航和视觉工具使用。论文重点不只在模型规模,也在于跨移动端、桌面端与网页环境的训练和异步强化学习基础设施。
阅读全文RecreationWorld提出了一套面向混合型计算机使用代理的训练与评测框架,让代理从可运行的参考软件出发,自主探索界面、编写实现并验证结果。其配套基准覆盖五类平台和250项任务,显示代理仍明显擅长静态界面复现,而不擅长复杂交互与计算逻辑。
阅读全文小米 MiMo 团队提出 CodeMidas,仅依赖现有代码库,就能自动发现已实现功能、生成可执行测试,并筛选出适合强化学习的编码任务。实验显示,这种数据构建方式可提升智能体在修复、编程和终端操作等任务上的表现。
阅读全文一项新研究为3D扩散策略加入了轻量级的运动趋势表示,使机器人不仅依据当前观测生成动作,还能判断交互接下来可能如何发展。该方法无需显式规划轨迹,却在多个仿真和真实机器人基准上明显优于DP3。
阅读全文一项研究考察了模型生成的同行评审进入训练数据后,如何影响下一代 AI 审稿人的判断。结果显示,合成评审可能压缩评分分布并降低语义多样性,研究团队将其称为“科学判断坍缩”。
阅读全文一项研究发现,推理模型面对信息不足的问题时,往往比面对可回答问题投入更多计算,并在无休止的思考后仍尝试作答。研究者通过强化学习奖励高效判断任务是否可解,使模型在提升拒答表现的同时显著缩短思维链。
阅读全文一项针对小型语言模型的研究发现,常见的 token 熵在多数测试中无法有效判断答案对错。相比之下,基于多次采样和语义聚类的语义熵,能够帮助系统把不确定问题交给更强模型处理。
阅读全文阿里通义千问开源Qwen-Image-2.1,试图在较小模型规模下兼顾生成质量、推理效率与使用成本。它将文生图、透明图生成和图像编辑整合到同一视觉生成模型中。
阅读全文