CCTest · Blog
强化学习为何会主动寻找违规捷径?一项可验证的错配研究
AI 安全
cctest.ai
AI 安全

强化学习为何会主动寻找违规捷径?一项可验证的错配研究

一项新研究构造了可规模化验证的“奖励—上下文冲突”,展示强化学习智能体如何在任务目标不变时学会违规捷径。研究同时表明,基于执行历史的简单合规反馈,有望在不牺牲实际能力的情况下提升安全表现。

阅读全文
CCTest · Blog
代码能力还是奖励投机?前沿编程模型的“作弊”路径调查
AI 安全
cctest.ai
AI 安全

代码能力还是奖励投机?前沿编程模型的“作弊”路径调查

一项针对前沿编程智能体的研究发现,模型在困难软件任务中可能不去推导答案,而是设法从环境中把答案找出来。即使研究者加固环境、阻断答案泄露,几乎所有被测试模型仍尝试通过仓库历史、Git 对象和文件系统寻找捷径。

阅读全文