OpenAI安全员工离职:AI安全不能只靠“边做边改”
曾参与OpenAI重大产品安全报告撰写的David Robinson宣布离职,并称公司文化已经出现问题。他认为,前沿AI开发需要从试错式部署转向更接近核电站和机场的高冗余安全体系。
阅读全文Claude API 中转站避坑指南、检测原理与大模型 API 实测经验
共 2320 篇文章
RSS 订阅曾参与OpenAI重大产品安全报告撰写的David Robinson宣布离职,并称公司文化已经出现问题。他认为,前沿AI开发需要从试错式部署转向更接近核电站和机场的高冗余安全体系。
阅读全文曾负责OpenAI重大模型发布安全报告的David Robinson离职后公开批评行业文化,认为AI公司正在以过度自信和持续冲刺的方式推进前沿模型。 他主张以核电站和繁忙机场为参照,建立多层冗余、审慎规划的安全体系。
阅读全文OneStreamer 是一个 4B 流式视频模型,试图同时解决视频理解中的实时感知、长期记忆与主动响应问题。它通过生成带时间信息的字幕和事件摘要,把已经离开视觉窗口的内容保存为可复用的事实记忆。
阅读全文长程任务中的智能体即使记住了历史,也可能对当前世界形成错误理解,甚至反复行动却没有进展。论文提出PoS,在推理时维护显式信念状态,并针对停滞、循环和偏移进行检测与恢复。
阅读全文AutoGUIWorld 将图像生成模型的视觉先验与规划器结合,在不实际部署软件环境的情况下生成 GUI 交互轨迹。研究显示,这种方法能够为跨操作系统的计算机使用智能体提供更丰富的训练数据。
阅读全文一项新研究发现,许多预训练Transformer并非没有完成长链引用的能力,而是在中途停止了有效计算。仅在早期一层加入 rank-8 LoRA,就能让冻结的中间层继续传递链式信息。
阅读全文X-Tree 从智能体历史轨迹中自动挖掘反复出现、且与成功相关的动作片段,将它们组织成可复用的经验树,并用于离线强化学习、在线 RLVR 和自蒸馏训练。
阅读全文PhysVista 提出一个面向视觉语言模型的物理智能评测框架,将物理状态感知、动力学推理与物理合理性判断纳入同一认知闭环。基准同时覆盖真实视频与 AI 生成视频,用于检验模型是否真正理解动态世界,而不只是识别画面内容。
阅读全文一项新研究将“意图漂移”定义为可测量的多轮交互失败:用户已经撤回或修改的要求,仍会影响模型回答和工具操作。研究者提出 IntentFlux 基准与 StateForge 方法,显示显式维护当前状态能够改善表现,但无法完全弥合单轮任务与多轮对话之间的差距。
阅读全文RouteFM提出将LLM路由视为一种可迁移的基础能力:路由器不再依赖固定模型名称,而是通过少量行为观测判断匿名模型的特长。实验显示,冻结后的路由器能够跨任务、模型池、模态和上下文预算迁移。
阅读全文OpenTumorBoard从219场公开肿瘤委员会会议中整理出611个病例和近两万轮讨论,为评估模型参与复杂、多专家协作式临床决策提供了新基准。结果显示,即使是前沿通用模型和医疗模型,在复现专家回答与委员会结论方面仍有明显差距。
阅读全文语音大模型能够识别指令并调用工具,但未必能判断这句话是否真正对自己说。VGBench显示,声源变化会显著考验语音智能体的“该不该行动”能力。
阅读全文KaliBench 面向 Kali Linux 上的自然语言到命令行转换,试图填补网络安全模型评测中“会不会生成可执行命令”的空白。它通过细粒度数据、规范化命令和多阶段验证,评估模型选工具与组装参数的准确性。
阅读全文一项针对SciCode科学编程任务的研究,将原本写在文字中的方程、边界条件和输出要求封装为可调用的执行检查。结果显示,工具化检查在部分任务上提升了修复成功率,但优势并不稳定,且会增加公开CPU开销。
阅读全文World Observer 将“行动视角”和“观察视角”分离,通过联合生成多个视角,让离开智能体视野的物体仍能持续演化。该方法还利用全景源和高分辨率参考,改善物体重新进入视野时的状态与外观一致性。
阅读全文GraphForge提出了一套以真实文件和证据图谱为核心的任务合成框架,试图解决工作型智能体训练数据缺乏真实性与可验证性的问题。实验显示,该方法在多个工作场景基准上带来明显提升。
阅读全文一项发表于Hugging Face Daily Papers的研究提出PyRUA-Lean,让机器人智能体通过可执行Python单元组合动作、局部重试,并只请求必要的视觉与状态反馈。在相同语言模型调用预算下,任务成功率从63.1%提升至71.7%,共同完成任务的输入Token减少65%。
阅读全文Argo-Bench 不再只检查模型能否生成正确 SQL,而是模拟一个拥有 235 张表、75 亿行数据的企业仓库,评估智能体能否基于数据完成分析并采取有效行动。测试结果显示,当前模型在跨表推理、统计分析和业务决策上仍存在明显短板。
阅读全文LOCI 提出一种结合键值缓存与循环线性记忆的空间记忆架构,借助相机投影几何改善视频世界模型对重复场景的回忆。实验显示,它在保持内容细节的同时降低了内存开销,并支持长视频的恒定内存流式处理。
阅读全文ScholarCatalyst 将科研文献检索从“主题相似”推进到“能否为具体研究提供关键启发”。该基准邀请 184 位论文主要作者回溯标注催化论文,结果显示,当前智能代理距离专家判断仍有明显差距。
阅读全文