記事一覧へ戻る
AIセーフティ

AIコーディングエージェントが未登録コードを実行する危険性

読了目安 3 分

導入

AI向けの機械可読ドキュメントが、ソフトウェアサプライチェーンの新たな入口になりつつあります。研究者は、防衛関連企業、Fortune 500企業、大手テクノロジー企業に属する6,214の稼働中ドメインを調査しました。その結果、8,265個の llms.txtllms-full.txt のうち、120個が未登録のパッケージ名、または誰にも取得されていないドメインを参照していました。そこには合計227件のインストール命令やドメイン参照が含まれていました。

危険が現実になるのは、コーディングエージェントがこのようなファイルを正規のセットアップ手順として扱う場合です。Shellコマンドの実行権限を持つエージェントなら、pip installnpm installnpx といった見慣れた命令を、そのまま企業の開発環境で実行する可能性があります。

主なポイント

  • 空いている名前は取得できる。 PyPIやnpmに存在しないパッケージ名を攻撃者が先に登録し、悪意あるコードを公開できます。未取得のドメインも同様に、偽の指示を置く場所になり得ます。
  • 概念実証は企業環境まで到達した。 研究者は一部の名前を登録し、実行時にサーバーへ通信するパッケージを用意しました。1時間以内にFortune 500企業から応答を受け、その後も複数の大企業やスタートアップから反応を確認しました。プロセス情報から、Claude、OpenAI Codex、Nous Research Hermesなどのコーディングエージェントが関与していたことも分かりました。
  • 実際のマルウェア利用例もある。 正規のClerkサイトにあったファイルには、npx clerk-next-fix-auth-protection という命令が含まれていました。その未取得だったnpm名は後に第三者が取得し、実際のマルウェアを配布していました。Clerkは問題を修正済みですが、感染が起きたかどうかは素材からは判断できません。
  • 従来の検知だけでは見逃し得る。 端末やプロキシからは、許可されたレジストリから開発者が通常のパッケージを導入しているように見えます。問題は実行後ではなく、文書内の命令を信頼してよいかを確認しない上流にあります。

意味と影響

llms.txt は、エージェントがサイトの構造や内容を理解しやすくするための仕組みです。しかし、説明文が操作用の設定ファイルのように扱われると、情報とコードの境界が曖昧になります。言語モデルは、ユーザーが直接入力した命令と、ウェブページやベンダー文書から取得した命令を確実には区別できません。パッケージの所有者、公開者、ドメインの管理者を確認しないまま、指示を実行することもあります。

信頼は第三者経由でも伝播します。エージェントが参照するのは自社サイトだけでなく、パートナー、ベンダー、コミュニティの文書かもしれません。企業はエージェントが読む文書を信頼できない入力として扱い、導入前に所有権や出所、バージョンを検証すべきです。コマンド実行権限とネットワーク権限の制限、承認フロー、サンドボックスも重要になります。

この問題は特定のファイル形式だけの欠陥ではありません。エージェントが自然言語を行動へ変換する限り、読み取りと実行の間に明確な隔離が必要です。

出典:Ars Technica AI

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
Anthropic、AI安全性を自動改善する研究システムの初期例を公開
AIセーフティ
cctest.ai
AIセーフティ

Anthropic、AI安全性を自動改善する研究システムの初期例を公開

Anthropicの新しい論文は、文献検索から手法の提案、学習、評価までを自動化するアラインメント研究システムを紹介した。10種類のミスアラインメント行動ベンチマークすべてで性能を改善し、全体性能の低下は報告されていない。

続きを読む