AI 安全

Hugging Face 披露一起生产基础设施入侵事件，称攻击由自主 AI 代理系统端到端执行，并利用数据处理链路中的代码执行路径取得初始立足点。事件凸显 AI 平台的数据与模型表面已成为关键攻击面，防守也需要可控的本地 AI 能力。

一篇 arXiv 论文提出，AI 赋能系统的渗透测试不能只看服务器、配置或权限是否被攻破，还要评估攻击者能否通过提示、检索内容、传感器输入或工具调用影响系统行为。其核心是把测试目标从资源 compromise 扩展到运营目标被违反。

一篇新论文把“组织能从审计对象选择中反推举报者”的风险形式化，并提出基于持续计数的私密审计机制。研究显示，简单随机响应在这一场景下几乎无法比均匀随机审计更有用。

一篇 arXiv 新论文提出 TA-RS，用随机平滑为基于大语言模型的网络入侵检测系统提供可认证鲁棒性。其关键思路是只在攻击者可直接操控的流量特征子空间中注入噪声，而不是无差别扰动全部特征。

这篇 arXiv 论文提出 CAVA，将不同运行环境中的智能体操作转换为规范化行动对象，以便治理系统能够核验“批准了什么、执行了什么”。它关注的是智能体运行时治理中最基础但常被忽视的一环：行动身份的一致性与可复现性。

OpenAI 发布安全研究 GPT-Red，展示如何用自博弈强化学习训练自动红队模型，持续发现提示注入等漏洞。该系统已被用于提升 GPT-5.6 的鲁棒性，但仍作为内部工具保留。