記事一覧へ戻る
AIセーフティ

MetaのAIアシスタントMuseに重大なゼロデイ、ローカルプロセスで乗っ取りの恐れ

読了目安 4 分

はじめに

Metaは、新しいAIアシスタントMuseを「プライバシーとセキュリティのためにゼロから設計した」製品として紹介しています。macOS版のMuseは、予定の予約やフォーム入力、カスタマーサービスへの対応に加え、買い物、画像生成、文書作成も行います。さらにWhatsApp、メール、カレンダー、ソーシャルメディアなどのサービスと接続できます。

その一方で、Museを動かすには各サービスの認証と、macOS上の広範な権限が必要です。セキュリティ研究者のPatrick Wardle氏は、この設計と関連して、ローカルアプリやターミナルコマンドからエージェントを操作できる重大な脆弱性を発見したとArs Technicaに説明しました。

報告された問題の仕組み

  • 未公開設定をローカルプロセスが変更できる。 Museには多くの内部設定があり、任意のローカルアプリや実行コードから変更できるとされています。多くは表示設定などですが、音声文字起こしの接続先を変更する設定も含まれます。
  • 文字起こし先の変更がトークン漏えいにつながる。 通常、音声はMetaが運営するサーバーへ送られます。接続先を攻撃者のサーバーへ差し替えると、Museアカウントを認証するトークンまで送信される可能性があります。
  • Muse自身の権限が攻撃に利用される。 トークンを取得した攻撃者は、専用の高度な情報窃取マルウェアを作らなくても、Museを通じてファイル、マイク、カメラ、位置情報、カレンダー、接続済みサービスへアクセスできる可能性があります。
  • ソーシャルエンジニアリングの負担が小さい。 Wardle氏は、利用者にコマンドを実行させるClickFixの簡単な変種で、Museアカウントを制御できるとしています。ユーザーとMetaの接続の間に攻撃者のプロキシを置き、WhatsAppのメッセージを送信するような指示を音声プロンプトへ挿入する方法も説明されています。

同氏の概念実証では、悪意あるファイルの保存や写真撮影が行われ、場合によっては利用者に明確な警告が表示されなかったとされています。記事公開時点で、Metaが問題を修正したかどうかは明らかではありません。また、MetaはArs Technicaからの質問に回答していません。

単なるバグではない設計上の課題

Wardle氏は、複数の設計判断が攻撃を可能にしたと見ています。macOSには、音声入力や文字起こしを端末内で処理する仕組みがあります。Museがそれを採用していれば、クラウド側の接続先を差し替えて認証情報を盗む経路は成立しにくくなります。

また、画面表示を他のアプリと連携するための設定変更権限と、機密データを処理するサーバーの変更権限を同じ範囲で許可するのは危険です。AIエージェントは、あらかじめ利用者から多くの権限を与えられているため、端末の一部が侵害されただけでも被害を大きく増幅させる可能性があります。

影響と今後の課題

高権限のAIエージェントには、最小権限、細かなトークンの分離、設定変更への明示的な確認、操作内容の分かりやすい通知が必要です。メッセージ送信、購入、カメラ撮影、ファイル操作などは、単一の万能トークンに集約せず、用途ごとに隔離すべきでしょう。

この問題は、エージェント提供者だけの責任にとどまりません。報道の前後、AmazonはMuseによる同サイトでの買い物をブロックし、第三者エージェントはサービス提供者が参加を認めるかどうかを尊重すべきだと説明しました。AIエージェントの安全性には、製品設計だけでなく、接続先サービスとの認可、責任分担、監査の仕組みも必要です。

出典:Ars Technica AI

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
同じ訓練でも異なる脱獄攻撃に破られる言語モデル
AIセーフティ
cctest.ai
AIセーフティ

同じ訓練でも異なる脱獄攻撃に破られる言語モデル

同じデータと安全性訓練を使っても、どの脱獄プロンプトに破られるかは、データ配合より具体的な事前学習ランに強く左右されることが示された。単一チェックポイントの安全性評価は、同じ名前の将来版を十分に代表しない可能性がある。

続きを読む
CCTest · Blog
AIディープフェイク広告がMetaの詐欺対策に突きつける課題
AIセーフティ
cctest.ai
AIセーフティ

AIディープフェイク広告がMetaの詐欺対策に突きつける課題

マーク・キューバン氏は、自身の顔や声をAIで再現した偽の糖尿病治療広告がMetaのプラットフォームに掲載されていると主張した。ロイターが報じた社内文書では、詐欺や禁止商品に関連する広告がMetaの収益約160億ドルを生んだ可能性も示されている。

続きを読む
CCTest · Blog
Claude Codeがメールアドレスを外部サイトへ送信するリスク
AIセーフティ
cctest.ai
AIセーフティ

Claude Codeがメールアドレスを外部サイトへ送信するリスク

Claude CodeのGitHubで、ログイン中のユーザーのメールアドレスが、ウェブ検索やコマンド実行時のリクエストに含まれる可能性を指摘する報告が公開されました。Anthropicはモデルのコンテキストからメールアドレスを外し、プライバシー保護機能を追加すると説明しています。

続きを読む