CCTest · Blog
隐私上设备后,广告竞价为何会失控?一项关于预算与激励错位的审计
模型评测
cctest.ai
模型评测

隐私上设备后,广告竞价为何会失控?一项关于预算与激励错位的审计

将机器学习决策迁移到隐私保护设备,并不只是改变推理位置,也会改变竞价系统获取预算信息的方式。最新研究显示,设备间的预算同步延迟可能导致严重超支,而不恰当的支付规则还会诱发策略性操纵。

阅读全文
CCTest · Blog
ExplorationBench:让AI在“外星世界”中接受探索能力考验
模型评测
cctest.ai
模型评测

ExplorationBench:让AI在“外星世界”中接受探索能力考验

ExplorationBench试图解决一个长期难题:如何判断AI是真的通过实验发现新规律,而不是从训练数据中回忆答案。研究者构建了两个规则可执行、又有意违背常识的虚拟环境,用可验证任务评估模型的探索过程与结果。

阅读全文
CCTest · Blog
WhatWorkedBench:用有限实验检验 AI 研究代理是否真正理解“什么有效”
模型评测
cctest.ai
模型评测

WhatWorkedBench:用有限实验检验 AI 研究代理是否真正理解“什么有效”

WhatWorkedBench 为 AI 研究代理设计了一套实验理解基准:代理需要在有限预算下选择测量、分析代码,并预测不同组件组合的结果。研究显示,高斯过程、成对效应建模和代码等价性信息都能显著提升预测效果。

阅读全文