返回文章列表
AI 安全

AIUC融资4000万美元,试图用“安全认证”管住企业AI代理

阅读约 3 分钟

随着AI代理从对话工具进入银行、医院、政府和企业流程,企业面对的问题正在从“模型够不够聪明”转向“系统会不会做出不该做的事”。由Anthropic早期员工Rune Kvist与AI安全研究机构METR前COO Rajiv Dattani共同创办的Artificial Intelligence Underwriting Company(AIUC),正试图为这个问题提供一套类似网络安全认证的解决方案。

导语:从能力评估走向风险审计

AIUC近日宣布完成4000万美元A轮融资,由Ribbit Capital领投,First Harmonic参与。公司此前还完成1500万美元种子轮融资,累计融资达到5500万美元。AIUC称,Cursor、Lovable、Harvey和ElevenLabs已是其客户。

Kvist认为,AI能力提升并不必然让部署更容易,反而可能增加控制难度。对于企业来说,真正阻碍采用的往往不是模型能否完成任务,而是企业无法向客户保证代理的行为边界。

核心做法:把AI代理放进标准化测试

  • 建立AIUC-1标准。 AIUC参考广泛使用的SOC 2网络安全框架,制定面向AI代理的安全与可靠性标准。
  • 让采购方参与定义风险。 公司组建了约250名安全和风险负责人组成的协作群体,持续收集企业在购买代理时希望了解的问题,并据此设计测试。
  • 覆盖多类失效场景。 AIUC表示,其测试服务会让代理经历约5000项测试,重点观察越狱、幻觉和数据泄露等风险。
  • 输出可供采购参考的报告。 测试结果会形成一份约100页的报告,说明代理在哪些场景表现可靠、在哪些方面仍存在风险。测试和分析主要由AI完成,但最终审计由人类复核。

这种做法与METR对前沿模型和代理进行能力测试的工作存在相似之处,但AIUC更明确地面向企业采购和部署环节。它并不主张长期驻留客户现场,而是提供一个相对独立的第三方判断:系统在哪里可以被信任,哪里需要额外限制或监控。

意义与影响:安全认证可能成为代理市场基础设施

如果AI代理要处理企业数据、执行操作或代表员工作出决定,仅展示基准测试成绩可能不够。企业还需要知道代理是否会泄露数据、绕过限制,或者在异常指令下采取不可预期的行动。标准化审计有望将这些问题转化为采购流程中的可比较指标,也可能帮助模型和代理厂商更早发现产品缺陷。

但认证本身并不等于绝对安全。代理的风险会随着工具权限、数据环境和任务变化而变化,固定测试也难以覆盖所有真实场景。此外,AIUC能否成为行业认可的标准,还取决于测试是否足够透明、结果是否具有可重复性,以及审计机构与客户之间能否保持独立。

AI代理的发展正在推动安全工作从实验室评测走向企业治理。AIUC的融资说明资本市场看到了这一需求;而它最终能否像SOC 2一样成为广泛采用的信任层,仍需要市场、监管者和独立研究机构共同验证。

来源:TechCrunch AI

评论

正在确认登录状态……

正在加载评论……

相关文章