元OpenAI安全担当者、AIに「原発級」の安全対策を求める

導入

OpenAIの主要モデル公開に伴う安全報告書を作成していた元社員、David Robinson氏が退職後、同社とAI業界の安全文化に疑問を呈した。Robinson氏は今週OpenAIを離れ、『The Atlantic』への寄稿で、業界の組織文化は根本的に壊れていると主張した。これは単独の発言ではない。近年、OpenAI、Anthropic、Google DeepMindなどの研究者や安全担当者が職を離れ、先端AIの危険性について公に警告している。

主なポイント

• Robinson氏は、問題は新しい規則を一つ加えれば解決するものではなく、モデル開発の進め方そのものにあるとみている。
• シリコンバレーの「極端な自信」や「終わりのないスプリント」は、性能向上を急ぐ一方で、未解決の問題を過小評価する可能性がある。
• 原子力発電所や繁忙な空港のように、冗長性、慎重な計画、複数の防護層を備え、人為的なミスを重大事故に発展させない仕組みが必要だという。
• AnthropicやGoogle DeepMindの元関係者による警告も続いており、安全をめぐる業界内部の対立が外部から見えやすくなっている。

なぜ注目されるのか

Robinson氏は外部の評論家ではない。主要モデルの公開時に安全文書を作成していた経験がある。その経歴だけで主張の正しさが証明されるわけではないが、先端モデルのリスク評価が企業内部でどのように扱われるのかを考えるうえで、重要な背景となる。

退職した元社員の警告には、当然ながら慎重な見方も必要だ。見解が変化している可能性や、内部情報を完全に把握していない可能性もある。しかし、退職後になって初めて安全上の懸念が語られるという状況は、企業内で異論をどう扱っているのかという別の問題を浮かび上がらせる。The Vergeも、発言者への不信だけを理由に警告を退けるべきではないと示している。

より大きな論点は、消費者向けソフトウェアの「速く試して壊す」発想が、能力と影響範囲を拡大する基盤モデルに適しているのかということだ。モデルの障害は単一の製品や利用者にとどまらず、依存する組織や業務に波及する可能性がある。そのため、公開前テスト、独立した審査、障害の隔離、緊急対応は、開発の付属作業ではなく基本的なインフラとして扱う必要がある。

意味と影響

Robinson氏は具体的な政策案を示しているわけではない。だが、先端AI研究所は「開発を続ければ問題も解決する」という楽観を抑え、安全を中核的な運用機能に位置付けるべきだという方向性は明確だ。安全報告書が単なる公開資料ではなく、リリース時期や設計、導入範囲に影響を与える仕組みになっているかが、今後の重要な検証点になる。

これは先端AIの開発をすべて止めるべきだという意味ではない。むしろ、速度だけを進歩の指標にしないことを求めている。安全担当者の退職と発言が続くなか、企業には、社内の異論を守る方法、リスクを開示する方法、そして通常の人的ミスにも耐えられる安全策を説明する責任が強まっている。

出典：The Verge AI