AIUC、AIエージェントの安全認証に向け4000万ドルを調達

AIエージェントが会話ツールの枠を越え、企業のデータや業務システムに接続されるにつれて、導入企業が気にする点は変わりつつある。問われるのは、単にモデルがタスクを完了できるかではない。許可されていない操作をしないか、機密情報を守れるか、異常な指示に対して予測可能に動くかが重要になる。

セキュリティ監査をAIエージェントへ

Artificial Intelligence Underwriting Company（AIUC）は、Anthropicの初期メンバーだったRune Kvist氏と、AI安全研究組織METRの元COOであるRajiv Dattani氏が設立したスタートアップだ。同社はRibbit Capital主導、First Harmonic参加のシリーズAで4000万ドルを調達した。過去には1500万ドルのシードラウンドも実施しており、累計調達額は5500万ドルとなる。顧客としてCursor、Lovable、Harvey、ElevenLabsを挙げている。

Kvist氏の見方では、AIの能力向上は導入を自動的に容易にするわけではない。能力が高くなるほど、挙動の制御が難しくなる場合もある。銀行、病院、政府などにとって障壁となるのは、モデルの性能だけではなく、システムが「すること」と「しないこと」を顧客に保証できるかどうかだ。

AIUCの評価方法

• AIUC-1標準: 広く利用されるSOC 2を参考に、AIエージェント向けの安全性・信頼性基準を設計する。
• 購入者の意見を反映: 約250人のセキュリティおよびリスク責任者による協議体を設け、導入時に確認したい事項をテストへ反映する。
• 複数の失敗パターンを検証: 脱獄、幻覚、データ漏えいなどのシナリオを含む約5000項目のテストを実施する。
• 詳細な監査報告: 約100ページの報告書で、信頼できる領域と注意が必要な領域を示す。テストの実行と分析にはAIを使うが、最終的な監査は人間が確認する。

この構想は、フロンティアモデルやエージェントがタスクを確実に完了できるかを評価してきたMETRの活動と一部重なる。ただしAIUCは、企業の調達と導入判断により直接結びつく第三者評価を提供しようとしている。

意義と残る課題

通常のベンチマークは、管理された環境での性能を示せても、実際のツールや企業データに接続したときの情報漏えい、制限の回避、予期せぬ操作までは十分に明らかにできない。標準化された監査が普及すれば、こうしたリスクを比較可能な調達条件に変え、開発企業が導入前に弱点を発見する助けにもなり得る。

一方、認証は絶対的な安全を意味しない。権限、データ、指示、運用環境が変わればリスクも変化するからだ。AIUCには、テストの透明性と再現性、評価対象からの独立性を示すことが求められる。

AI安全は、研究室での評価から企業の運用ガバナンスへ移りつつある。AIUC-1がエージェント版のSOC 2になれるかどうかは、企業、開発者、規制当局、独立研究機関による採用と検証にかかっている。

出典：TechCrunch AI