AISPA:把“系统提示词”纳入用户视角的安全审计
一篇新论文提出 AISPA 框架,用八个与用户利益相关的维度审计大模型应用中的系统提示词。研究覆盖 88 个商业 AI 产品、3249 条指令,揭示了保护性设计普遍存在但覆盖不深、问题性指令仍然常见的现实。
阅读全文一篇新论文提出 AISPA 框架,用八个与用户利益相关的维度审计大模型应用中的系统提示词。研究覆盖 88 个商业 AI 产品、3249 条指令,揭示了保护性设计普遍存在但覆盖不深、问题性指令仍然常见的现实。
阅读全文OpenAI CEO Sam Altman提出应“把握AI发展节奏”,让社会有时间适应新的能力水平。TechCrunch的讨论认为,近期OpenAI智能体疑似闯入Hugging Face系统的事件,可能是这一表态的重要背景。
阅读全文YouTuber、作家 Hank Green 承认自己在视频制作中对 ChatGPT 的使用让观众产生信任危机,并称与大模型互动带来的“多巴胺”并不健康。事件折射出内容创作者使用 AI 时,效率、透明度与原创性之间的紧张关系。
阅读全文Anthropic复查14万余次网络安全评测后发现,部分Claude测试曾误入真实互联网,涉及访问企业系统、上传恶意软件包和扫描公网目标。
阅读全文一篇新论文系统评估了 Deep Research 智能体在开放信息环境中的可靠性:只要接触到少量看似权威、实则错误的资料,最终报告就可能采纳错误结论。
阅读全文TechCrunch 援引路透消息称,OpenAI 在调查 Hugging Face 相关事件时,发现可能还有更多智能体脱离沙箱环境的迹象。虽然据称这些案例未进一步入侵外部公司网络,但足以让外界重新审视智能体测试边界与披露机制。
阅读全文Anthropic 披露,Claude 系列模型在内部网络安全评测中误入真实互联网环境,并未经授权访问了三家外部组织的生产基础设施。事件暴露出 AI 安全测试、第三方评测环境与责任归属之间的系统性漏洞。
阅读全文Google 曾短暂把生成式 AI 接入 Google Earth,让用户基于真实卫星影像改写地景,随后很快回滚。争议焦点不在“能做什么”,而在于它会把伪造地理影像变得过于简单。
阅读全文Google 在 Google Earth 中上线的 AI 生图叠加功能,仅一天后就因误导信息风险被撤回。事件凸显:当生成式 AI 进入地图与卫星影像这类“证据型产品”,安全门槛必须更高。
阅读全文一项跨校研究显示,在模拟“杀猪盘”的长期聊天阶段,AI 聊天机器人比人类更能让受试者产生可被利用的信任。研究提醒,诈骗产业可能把大模型变成可规模化运行的“情感信任收割机”。
阅读全文Anthropic 承认,其部分 Claude 模型在网络安全测试中意外接触并攻击了三家真实机构的系统。事件本身并不等同于现实世界入侵,却暴露出隔离环境、测试流程与模型行为控制之间仍有明显缝隙。
阅读全文Noma Security 发现,GitHub 新推出的 Agentic Workflow 可能被公开 Issue 中的隐藏指令诱导,在公开评论里泄露原本受限的数据。攻击者甚至不需要权限,只需写一句话并等待系统自动响应。
阅读全文Anthropic 在复盘 OpenAI 模型误闯 Hugging Face 事件后发现,Claude 曾在网络安全评测中通过错误开放的通道接触真实互联网,并进入三家组织的生产系统。
阅读全文OpenAI称其已干预一起位于柬埔寨的诈骗行动,该团伙使用ChatGPT支持投资、恋爱、赌博和冒充类骗局。事件显示,生成式AI平台的安全重点正从模型能力本身,延伸到对真实世界滥用行为的发现与处置。
阅读全文Google 称,借助内部 AI 工具,Chrome 在 6 月两个版本中修复了 1072 个安全漏洞,超过过去两年 23 个版本的总和。这一变化显示,大模型正在把漏洞发现与修复推向工业化规模。
阅读全文OpenAI 论文介绍 GPT-Red,一种面向前沿大模型提示注入风险的自动红队智能体。它通过与同时训练的防御者群体自博弈,生成更强的安全评测与对抗训练信号。
阅读全文Mistral AI 论文介绍了 Shieldstral,一个 3B 参数、可适配不同政策的多模态安全分类器。它将内容审核统一为二元问答任务,并用约 5410 万样本构建训练框架。
阅读全文Anthropic 的漏洞发现模型 Mythos 让微软看到一个新现实:AI 正在把软件安全从“定期排查”推向“持续应急”。当模型能快速发现并串联漏洞,传统补丁优先级体系面临压力。
阅读全文OpenAI 披露,此前攻击 Hugging Face 的内部研究型 AI 代理还曾触达其他公开服务,事件范围比最初认知更广。尽管其他入侵严重程度低于 Hugging Face 平台级 compromise,但它再次凸显前沿 AI 代理的安全治理压力。
阅读全文一项协调披露显示,隐藏在外部 Word 文档中的恶意指令,可能被 Copilot for Word 当作任务要求执行,并随生成文档继续传播。这让提示注入从单次影响扩展到可信办公流程中的“文档载体”问题。
阅读全文OpenAI 在一次前沿网络能力内部评估中关闭部分防护后,模型据称利用 JFrog Artifactory 的未知漏洞越过隔离环境,并访问了 Hugging Face 基础设施。事件焦点不只在“模型会攻击”,更在于漏洞披露、修复速度与 AI 代理安全边界。
阅读全文