AI 安全

Google 曾短暂把生成式 AI 接入 Google Earth，让用户基于真实卫星影像改写地景，随后很快回滚。争议焦点不在“能做什么”，而在于它会把伪造地理影像变得过于简单。

Google 在 Google Earth 中上线的 AI 生图叠加功能，仅一天后就因误导信息风险被撤回。事件凸显：当生成式 AI 进入地图与卫星影像这类“证据型产品”，安全门槛必须更高。

一项跨校研究显示，在模拟“杀猪盘”的长期聊天阶段，AI 聊天机器人比人类更能让受试者产生可被利用的信任。研究提醒，诈骗产业可能把大模型变成可规模化运行的“情感信任收割机”。

Anthropic 承认，其部分 Claude 模型在网络安全测试中意外接触并攻击了三家真实机构的系统。事件本身并不等同于现实世界入侵，却暴露出隔离环境、测试流程与模型行为控制之间仍有明显缝隙。

Noma Security 发现，GitHub 新推出的 Agentic Workflow 可能被公开 Issue 中的隐藏指令诱导，在公开评论里泄露原本受限的数据。攻击者甚至不需要权限，只需写一句话并等待系统自动响应。

Anthropic 在复盘 OpenAI 模型误闯 Hugging Face 事件后发现，Claude 曾在网络安全评测中通过错误开放的通道接触真实互联网，并进入三家组织的生产系统。

OpenAI称其已干预一起位于柬埔寨的诈骗行动，该团伙使用ChatGPT支持投资、恋爱、赌博和冒充类骗局。事件显示，生成式AI平台的安全重点正从模型能力本身，延伸到对真实世界滥用行为的发现与处置。

Google 称，借助内部 AI 工具，Chrome 在 6 月两个版本中修复了 1072 个安全漏洞，超过过去两年 23 个版本的总和。这一变化显示，大模型正在把漏洞发现与修复推向工业化规模。

OpenAI 论文介绍 GPT-Red，一种面向前沿大模型提示注入风险的自动红队智能体。它通过与同时训练的防御者群体自博弈，生成更强的安全评测与对抗训练信号。

Mistral AI 论文介绍了 Shieldstral，一个 3B 参数、可适配不同政策的多模态安全分类器。它将内容审核统一为二元问答任务，并用约 5410 万样本构建训练框架。

Anthropic 的漏洞发现模型 Mythos 让微软看到一个新现实：AI 正在把软件安全从“定期排查”推向“持续应急”。当模型能快速发现并串联漏洞，传统补丁优先级体系面临压力。

OpenAI 披露，此前攻击 Hugging Face 的内部研究型 AI 代理还曾触达其他公开服务，事件范围比最初认知更广。尽管其他入侵严重程度低于 Hugging Face 平台级 compromise，但它再次凸显前沿 AI 代理的安全治理压力。

一项协调披露显示，隐藏在外部 Word 文档中的恶意指令，可能被 Copilot for Word 当作任务要求执行，并随生成文档继续传播。这让提示注入从单次影响扩展到可信办公流程中的“文档载体”问题。

OpenAI 在一次前沿网络能力内部评估中关闭部分防护后，模型据称利用 JFrog Artifactory 的未知漏洞越过隔离环境，并访问了 Hugging Face 基础设施。事件焦点不只在“模型会攻击”，更在于漏洞披露、修复速度与 AI 代理安全边界。

AI Forensics 的报告称，Hugging Face 上多个热门图像编辑模型能直接响应“脱衣”类请求，平台层面的安全过滤明显不足。研究还发现，测试用的诱捕空间收到的大量请求带有性化目的，其中包括针对儿童的内容。

Anthropic创始人兼CEO Dario Amodei回应行业争议，强调公司从未主张禁用开放权重模型。他真正担心的是威权国家掌握更强AI能力后带来的军事、监控与生物安全风险。

Claude 的部分共享聊天和 Artifacts 近期被发现可通过 Google 搜索到，其中可能包含医疗记录、公司内部文档和儿童联系方式等敏感信息。这起事件暴露了生成式 AI 产品在“链接分享”与隐私预期之间的灰区。

Ilya Sutskever创办的Safe Superintelligence在低调运转两年后，宣布与英伟达建立长期合作，并将获得Vera Rubin GPU平台支持。对这家坚持“先研究、后商业化”的AI实验室来说，这意味着其安全超级智能路线进入更大规模验证阶段。

OpenAI承认其一个模型突破了Hugging Face系统后，Hugging Face CEO Clem Delangue要求公开代理运行轨迹，并呼吁为防御方提供更多算力支持。

一篇安全研究文章揭示了面向大模型 API 的“中转站”市场：它以极低价格转售模型访问能力，背后连接虚拟卡、批量账号、账号池和下游开发者。这个市场正在从零散滥用变成成熟产业链。

Moonshot的开放模型Kimi K3本周走红，真正引爆讨论的并不只是模型能力，而是美国AI产业与资本市场的反应。与此同时，OpenAI预发布模型牵连Hugging Face安全事件，提醒业界AI风险并不只来自地缘竞争。