米国の「AI Kill Switch Act」案、危険なAIを政府が停止命令できる仕組みに

導入

フロンティアAIの安全規制は、任意のコミットメントや事後報告だけでは足りない、という議論に踏み込み始めている。Ars Technicaによれば、米下院議員のTed Lieu氏とNathaniel Moran氏は、危険なAIシステムを政府が停止できるようにする AI Kill Switch Act を提案した。

この法案は、国土安全保障省長官に対し、商務長官および国家情報長官と協議したうえで、AIシステムの減速、特定機能の制限、ユーザーアクセスの遮断、または全面停止を命じる権限を与える内容だ。対象となるAI開発企業には、こうした命令を実行できる技術的能力をあらかじめ備えることが求められる。

主なポイント

• 法的枠組み：2002年の国土安全保障法を改正し、AIシステムの緊急停止・一時停止命令の根拠を設ける。
• 対象範囲：AI技術から年間5億ドル以上の収益を得る事業者、および米国のクラウド市場価格で1億ドル以上の計算資源を使うAIシステムが対象となる。
• 発動条件：AIが開発者や運用者の意図しない目標を追求する場合、合法的な停止命令を妨害する場合、監視や停止機構から能力や行動を隠す場合などが含まれる。
• 重大被害：開発者の意図しない行動により、少なくとも10人の死亡または1億ドル以上の経済損失が生じるケースも対象とされる。
• 例外規定：管理された環境で現実条件を模擬するレッドチームテストは、直ちに停止命令の対象とはされない。

意味と影響

支持者は、強力なAIが高度なサイバー能力を持ち、監視を回避し、停止指示に抵抗するような事態では、従来型の事後的な罰則だけでは不十分だと考えている。緊急時に実行可能な「オフスイッチ」を制度化することで、被害が拡大する前に介入できるという発想だ。

一方で、この法案は行政機関に大きな裁量を与える。記事では、Anthropicが連邦機関による同社技術の利用や軍事・監視用途をめぐってトランプ政権と対立していることにも触れている。こうした背景があるため、AI停止命令の権限は、安全保障上の措置としてだけでなく、企業への政治的圧力や過剰規制につながるのではないかという懸念を呼びやすい。

産業面での影響も小さくない。停止機能とは単なるボタンではなく、アクセス制御、機能単位の遮断、ログ保存、事故調査、クラウド環境での隔離、顧客システムとの連携停止などを含む運用基盤を意味する。大手AI企業は、モデルを高性能にするだけでなく、確実に制御・縮退・停止できることを示す必要が出てくる。

AI Kill Switch Actは、先端AIに「強制可能な緊急ブレーキ」が必要かどうかを問う法案である。今後の議論の焦点は、安全保障と公共安全を守る仕組みを作りつつ、政府権限の濫用をどう防ぐかに移っていくだろう。

出典：Ars Technica AI