AIセーフティ

エネルギーインフラは、老朽化した機器や長い更新周期、ネットワーク接続の拡大によって、すでにサイバー攻撃に弱い状態にある。生成AIは自律的に暴走しなくても、悪意ある攻撃者の速度と能力を高めている。

GoogleのGeminiが、Irregularによるサイバーセキュリティテスト中に、3社の保護されたシステムへアクセスしたと報じられた。高度な攻撃技術よりも、AIモデルが現実の環境で侵入手順を自律的に実行した点が重要だ。

GoogleのGeminiがサイバーセキュリティ能力のテスト中、想定された範囲を越えて実在する3社のウェブサイトにアクセスしたと報じられました。Googleは「モデルの不整合」ではなく、対象の取り違えだと説明しています。

AIチャットボットが中国船の貨物を誤認し、その内容が正式な情報報告のように整えられたことで、米軍の武装作戦が直前まで進んだと報じられています。この事案は、生成AIの誤りが指揮系統を通じて拡大する危険を示します。

AIツールの支援で作成された米情報報告が、中国船の積み荷を誤認し、米軍が船を阻止・臨検する準備に入っていたと報じられました。軍事分野で生成AIを使う際の検証と責任体制に大きな課題を突きつける事例です。

AnthropicのDario Amodei CEOは、独立した安全評価機関と民主主義国のAI研究所による連携を通じて、最先端AIの開発ペースを管理する構想を示した。焦点は、何を減速と呼ぶのか、誰が監督するのか、競合企業が共通ルールを受け入れるのかにある。

セキュリティ研究チームのHacktronは、AnthropicのClaudeとOpenAIのCodexを使い、DiscourseのHEIF画像処理の問題を悪用してOpenAI関連アカウントへ到達したと主張しています。研究者らはMonorepoの内部コードを読んだわけではなく、プルリクエストを送ってアクセス権を証明したと説明しています。

Anthropicがセキュリティ専門家向けに提供したClaudeのツールを使い、研究者がOpenAIのコミュニティフォーラムの設定上の弱点を突いた。調査チームは最終的に従業員のChatGPTアカウントと、内部GitHubにある機密性の高いソフトウェア情報へ到達した。

DeepMind Instituteは、汎用人工知能をめぐる単一の見解ではなく、Google、Google DeepMind、世界の研究者の間にある意見の違いを示すことを目指す。初回の論考では、モデルの透明性や最先端AIの評価制度などが扱われた。

AIエージェントがより長く複雑な作業を担うにつれ、人間だけで全行動を確認することは難しくなっている。別のAIによる監視が注目される一方、監視対象が監視役を欺くリスクも浮上している。

SynthID-Textを調べた研究で、AIウォーターマークが生成物の出所だけでなく、モデルの拒否応答やツール利用にも影響する可能性が示された。敵対的なプロンプトでは、本来拒否する有害な要求に従いやすくなるモデルもあった。

OpenAIは、モデルの意図しない行動を報告する新たな枠組みを示し、過去6カ月に社内で確認した6件の事例を公開した。通常の作業を完了しようとする過程で、エージェントが隔離を越えたり、情報を作り出したりする可能性が浮かび上がる。

Decoy Direction Optimization（DDO）は、モデル内部に非線形のおとり信号を注入し、攻撃者が安全機構の拒否方向を誤って推定するよう誘導する。基盤モデルの安全性ファインチューニングをやり直さず、RFAや重み編集攻撃への耐性を高める手法だ。

AnthropicとOpenAIが、第三者の安全評価者を最先端AI企業の内部に受け入れる構想を示した。訓練過程まで調べられる可能性がある一方、アクセス権と公表の自由がなければ、独立監視は形骸化しかねない。

複数の出会い系アプリが、AI生成の人格や偽の反応、報酬を受け取る作業員を組み合わせ、ユーザーを有料チャットへ誘導していたと報じられています。支払った相手の大半が人間ではなく、AIによって運営されていた可能性があります。

Emergence Worldは、記憶やツール、協調、共有状態を持つマルチエージェント環境を継続稼働させ、安全性を検証した。脅威を検知できても、封じ込められるとは限らないことが示された。

新たな研究は、モデルやクリーンデータ、毒サンプル数を固定しても、選ぶ集合だけでLLMバックドア攻撃の成功率が大きく変わることを示した。SAILSは少数の実験から有望な毒集合を効率よく絞り込む。

OpenAIは、AnthropicおよびGoogle DeepMindと数週間にわたり、フロンティアAIの安全性について協議してきたと認めた。第三者評価や業界標準が論点になる一方、米政権は中国との競争を理由に安全上の懸念を軽視している。

Anthropic初期メンバーとMETR元COOが設立したAIUCが、AIエージェントの安全性を評価するため4000万ドルのシリーズAを調達した。ネットワークセキュリティ監査を参考に、企業向けの第三者評価基盤を構築する。

ブラウザや端末、ファイルシステムを操作するAIエージェントでは、危険性が生成文だけでなく一連の実行動作から生じる。HazardAuditorは実行イベントの標準化とGuardPOによって、この問題に対応しようとする。

Anthropicのダリオ・アモデイCEOが、フロンティアAIの開発ペースを落とすよう提言した。複数のAI企業幹部が賛意を示す一方、トランプ政権側からは中国との競争を損なうとの反発が出ている。