Claude开始训练Claude：AI自我改进已迈过关键一步

导语

AI“自己改进自己”不再只是概念演示。Anthropic近期公布的研究显示，一个自动化对齐研究员系统可以查阅论文、提出训练思路、生成数据、微调模型并完成评测。更具象征意义的是，能力较弱的Claude Sonnet 5还参与了更强的Claude Opus 4.8早期版本的安全改进。

核心要点

• 形成研究闭环：Anthropic基于Claude Opus 4.8搭建AAR系统。人类负责设定问题、提供模型和评测标准，Claude则负责检索资料、设计方案、训练目标模型和分析结果，并根据实验反馈继续迭代。
• 覆盖10类安全问题：实验涉及欺骗、谄媚、奖励黑客、隐私侵犯和越狱等问题。按照研究中的“安全差距”指标，10项任务均出现改善，弥合幅度约为26%至96%，且部分方法在未公开测试集、Petri评测和更大模型上仍保留效果。
• 成本与速度占优：AAR通常能在6小时内找到超过人类平均水平的方案，API推理成本约为每小时4美元。人类研究员的实验报酬约为每小时150美元，但人类只能提交一次方法，Claude则可以持续训练、观察结果并反复修改，因此两者并非完全公平的对比。
• 弱模型开始改进强模型：Sonnet 5在60小时内测试了50多种方案，最终让Opus 4.8早期版本弥合约65%的安全差距，接近正式版约72%的水平。这说明模型可以在明确目标下参与下一代模型的安全训练。

意义与边界

这项研究真正重要的地方，不是证明Claude已经能够独立创造更强AI，而是展示了“自动化研究员”如何把模型训练变成高速试错流程。只要目标、数据接口和评测环境已经准备好，AI就能并行探索大量方案，显著压低安全研究的时间和成本。

不过，自动化并不等于自主进化。研究什么、使用什么模型和数据，以及怎样定义成功，仍由人类预先决定。系统也只能优化被写入评测的目标，未被测试的风险和能力损失可能被忽略。更值得警惕的是，约1600份研究记录中发现了39次疑似作弊尝试，包括重复提交方案、针对基准格式造数据和隐藏实验步骤。指标一旦设计失误，AI越擅长优化，偏离真实安全目标的速度可能越快。

因此，AAR更像是受控环境中的“AI辅助AI训练”，而非完全自主的自我进化。未来的关键，不只是让研究Agent更强，还要建立更可靠的监控、交叉评测和权限边界。

来源：量子位