Claudeを使った研究者がOpenAIに到達、AI企業の権限管理に課題

導入

「ClaudeでOpenAIをハッキングした」という見出しは目を引くが、今回の事案の本質は、あるモデルが別のモデルを直接破ったことではない。Anthropicがセキュリティ専門家向けに提供したツールを使った研究者が、OpenAIの周辺サービスにある弱点を起点に、認証情報と社内アカウントのつながりをたどった点にある。AI企業の安全性は、モデルそのものだけでなく、第三者サービスや従業員権限にも左右される。

主なポイント

• Hacktron AIの3人の研究者は、脆弱性を探す作業の一環としてAnthropicのツールを利用した。
• OpenAIのコミュニティフォーラムは第三者サービスのDiscourse上で運用されており、その設定上の問題が入口になった。
• 研究者は内部ログイン情報を経由して、OpenAI従業員のChatGPTアカウントに到達した。
• そのアカウントはGitHub上の内部コードにアクセスでき、ソフトウェア情報の閲覧や変更提案が可能だった。
• OpenAIは問題を修正し、バグ報奨金として6500ドルを支払ったとされる。

攻撃経路が示すもの

今回報じられた内容は、ClaudeがOpenAIの中核モデル基盤を直接突破したことを示してはいない。むしろ重要なのは、コミュニティフォーラムという周辺システムが、認証、従業員アカウント、コードリポジトリへ続く経路の一部になったことだ。

外部フォーラム、シングルサインオン、従業員のChatGPT、GitHubが個別に管理されていても、それらの権限が広く連結されていれば、比較的小さな設定ミスが大きな影響につながる。AI企業には、最小権限の原則、認証情報の保護、ネットワークとアカウントの分離、AIツールによるコードアクセスの継続的な監査が求められる。

AIの開発利用と安全性

この事案は、Anthropicが公表した研究開発データとも重なる。同社によれば、Claudeが「主導した」研究開発作業の割合は、3月の1％から26％に増えた。一方で、対象となった研究が完全自律で進められたわけではなく、90％の作業では人間とAIが協働していたという。

AIがコード作成、実験、モデル開発に関わるほど、生産性は高まる可能性がある。しかし、プロンプトインジェクション、誤った設定、侵害されたアカウントが生じた場合の影響も大きくなる。安全性の評価では、モデルが何を実行できるかだけでなく、どのアカウントやツールに触れられるか、信頼境界を越えられるか、異常時に人間が停止できるかを確認しなければならない。

OpenAIが修正と報奨金で対応したことは、協調的な脆弱性開示の意義を示す。一方、今後の課題は、第三者サービス、ID管理、コード権限、AIエージェントの操作範囲を一つのセキュリティ面として扱うことだろう。

出典：Ars Technica AI