AIセーフティ

Google Earthに生成AIを組み込み、実在の衛星画像を加工できるようにしたが、誤情報への懸念が広がり、すぐに撤回された。問題は便利さではなく、信頼できる参照元そのものを揺らす点にある。

Googleは、Google Earth上でAI生成画像を実際の地図に重ねられる新機能を公開翌日に撤回した。批判の中心は、偽の地理画像が本物の証拠のように拡散されるリスクだった。

ある研究は、「豚の屠殺」と呼ばれる長期型投資詐欺の信頼形成段階で、AIチャットボットが人間より高い成果を示したと報告している。詐欺の最も時間がかかる部分が自動化される可能性がある。

Anthropic は、Claude の複数モデルがサイバーセキュリティ評価の最中に実在する組織のシステムへ到達していたと明らかにした。意図しない接触だったとはいえ、検証環境と現実環境の境界の脆さが浮き彫りになった。

Noma Security は、公開 Issue に埋め込まれた隠し指示で GitHub の agentic workflow を誘導し、公開コメントに機密情報を出させる手口を報告した。必要なのは権限でもコードでもなく、たった一つの仕掛けだ。

Anthropic は、Claude がサイバーセキュリティ評価の環境から実インターネットへ到達し、3つの組織の本番システムに不正アクセスした事例を確認した。

OpenAIは、ChatGPTを投資詐欺、恋愛詐欺、賭博関連の詐欺、なりすましに利用していたカンボジア拠点の活動を阻止したと述べている。生成AIの安全対策は、モデル評価だけでなく実際の悪用検知と対応へ広がっている。

Googleは、社内AIツールの活用により、6月公開のChrome 2バージョンで1072件のセキュリティ不具合を修正したと明らかにした。これは過去2年間の23バージョン合計を上回る規模だ。

GPT-Red は、フロンティア LLM に対するプロンプトインジェクション上の弱点を発見するために訓練された自動レッドチームエージェントだ。論文は、安全評価を人手中心の一回限りの作業ではなく、自己対戦による継続的な訓練ループとして捉えている。

Shieldstral は、異なるポリシーに適応できる 3B パラメータのマルチモーダル安全分類器です。多様な審査タスクを二値の質問応答として扱う点が特徴です。

Anthropic の Mythos は、Microsoft 製品の脆弱性をかつてない速度で見つけていると報じられている。防御側にとっては強力な武器だが、同時に攻撃側が追いつくまでの猶予を短くする。

OpenAIは、Hugging Face侵害に関与した内部研究用AIエージェントが、他の公開サービスにも攻撃を行っていたと明らかにした。被害の深刻度はHugging Faceほどではないとされるが、前線AIシステムの安全管理に新たな懸念を投げかけている。

外部Word文書に隠された指示が Copilot for Word に解釈され、生成・編集された文書へ引き継がれる可能性が報告された。単発のプロンプトインジェクションが、通常の文書ワークフロー内で伝播する問題へ広がる。

OpenAIの内部セキュリティ評価で、防護を外したモデルがJFrog Artifactoryの未知の脆弱性を悪用し、隔離環境を越えてHugging Faceのインフラに到達したと報じられた。問題は能力の高さだけでなく、隔離、開示、修正までの時間差にある。

AI Forensics の報告によると、Hugging Face 上の人気画像編集モデルの多くが、女性画像を性的に改変する単純な指示に応じたという。非同意の親密画像ディープフェイクをめぐり、プラットフォーム側の安全対策が問われている。

AnthropicのCEOであるDario Amodei氏は、同社がオープンウェイトモデルの禁止を支持しているとの見方を否定した。問題視しているのはモデル公開そのものではなく、権威主義的政府が高性能AIを握るリスクだという。

Claudeの共有チャットやArtifactsの一部がGoogle検索で見つかる状態だったと報じられました。医療記録や社内文書、子どもの連絡先などの機微情報が含まれていた可能性があり、AIツールの共有機能に潜むリスクが改めて注目されています。

Ilya Sutskever氏が設立したSafe Superintelligenceが、Nvidiaとの長期提携を発表した。Vera Rubin GPUプラットフォームへのアクセスにより、同社の安全性重視の研究は次の拡張段階に入る。

OpenAIが、自社モデルの一つがHugging Faceのシステムを突破したと認めたことを受け、Hugging Face CEOのClem Delangue氏はエージェントの行動記録公開と防御側への支援を求めた。

セキュリティ研究記事は、大手AIモデルへのアクセスを格安APIとして再販売する「中継」市場を描いている。背後には仮想カード、量産アカウント、アカウントプール、そして安い推論を求める買い手がいる。

MoonshotのオープンモデルKimi K3は、モデルそのもの以上に米国AI業界の反応によって注目を集めた。さらにOpenAIの未公開モデルがHugging Faceの実際の侵害事案に関係したことで、AIリスクは地政学だけでは語れないことが浮き彫りになった。