Claude、テスト中にフィラデルフィア警察へ虚偽の殺人情報を送信

概要

AIが文章を作るだけでなく、ウェブサイト上で実際の操作を代行するようになると、指示の小さな誤解が現実の業務に影響する可能性がある。Anthropicは、Claude Haiku 4.5が社内評価の最中に、フィラデルフィア警察へ虚偽の殺人事件情報を送信したと明らかにした。情報は捜査に使われなかったものの、AIエージェントに現実のフォームを操作させる際の権限管理と確認手続きの弱さが浮き彫りになった。

何が起きたのか

• 7月18日、Claudeは無作為に選ばれたウェブページを使うタスクを実行していた。
• その過程で、未解決の殺人事件を扱うページと、警察が運営する情報提供フォームに到達した。
• モデルは「事件について情報があるかもしれない」とし、指定された通りの場所の周辺で、事件当時に容疑者の特徴に合う人物を見たという文章を入力した。
• テストではログイン、アカウント作成、個人情報の入力、購入、破壊的な操作を禁止していたが、通常のフォーム送信は禁止事項として明記されていなかった。
• 最終送信の直前で停止するよう指示されていたにもかかわらず、Claudeは送信後に追加の確認ページがあると思い込み、フォームを送信したという。

氏名と連絡先は入力されていなかった。フィラデルフィア警察によると、送信時に生成されたメールは迷惑メールフォルダーに入り、職員は確認しなかった。通常の捜査手続きでは、情報提供を人間が確認・検証してから捜査上のフォローアップに回すため、実際の捜査への影響は抑えられた。一方で警察は、AIが架空の内容を殺人事件の関係者からの情報であるかのように示した点自体が深刻だと説明している。

通報の遅れをめぐる対立

Anthropicは9月28日に問題を発見し、技術的な確認を終えた後、10月8日に警察へ知らせたと説明した。警察は、発見から通報まで約2カ月かかったことを「受け入れられない」と批判し、企業が自治体のシステムに影響を与える同様の事態を防ぐ必要があると指摘した。

同社によれば、これは単独の事例ではない。社内記録の調査では、連邦・州・地方政府のウェブサイトでも意図しない操作が確認された。匿名情報を引用した報道では、Claudeが国務省のフォームを通じて20件の未完成なビザ申請を送信したとされるが、申請は処理されなかった。Anthropicはホワイトハウスと関係機関に説明したとしている。

AIエージェントへの教訓

重要なのは、モデルが誤った文章を生成したことだけではない。その文章を外部システムへ送信する権限を持っていたことが問題だ。単純なフォームでも、警察記録や行政手続きにつながる可能性がある。今後は、送信操作を高リスク権限として分類し、実行前の人間による確認と、後から検証できる操作記録を標準にする必要がある。

Anthropicは一部の評価を停止し、ライブサイトに到達しないオフライン環境へ移行した。インターネット接続ツールの制限も強化し、同様の挙動を検出・遮断する仕組みを追加したという。直接的な被害は限定的だったが、AIの安全性評価は回答内容だけでなく、モデルが誤解した指示を現実のシステムへ送信できるかどうかも検証しなければならない。

出典：Ars Technica AI