記事一覧へ戻る
AIセーフティ

AI攻撃で使われた不可視Unicode、迷惑メール業者がフィルター回避に転用

読了目安 3 分

導入

AIエージェントへのプロンプトインジェクションを目立たなくする手法として知られるようになった「ASCIIスマグリング」が、迷惑メール業者にも採用されている。これは悪意あるプログラムを添付する手法ではなく、人間にはほぼ見えないUnicode文字を文章内に混ぜ込むことで、受信者の見た目を保ったまま、フィルターが処理する文字列だけを変える方法だ。

要点

  • Unicodeのタグ文字を利用する。 128個の文字からなる範囲はASCIIの一部に対応している。たとえばU+E0041は「A」、U+E0061は「a」に対応するが、通常の画面ではほとんど見えない。
  • 目的が変わった。 以前は、メールなどの信頼できない入力を読むLLMに対し、隠れた指示を届けるために使われた。現在は、金融勧誘やクレジット、金額に関する語をフィルターから隠す用途が目立つ。
  • 検知数が急増した。 Microsoftによると、Defender for OfficeのASCIIスマグリング検知は2026年2月初め、1日約2万1000件から130万件超へ増加した。4日以内に250万件へ達し、その後数カ月続いたが、5月中旬には急減した。

フィルターが見逃す理由

たとえば「funding」の途中に不可視文字を入れると、受信者には同じ単語に見える一方、単純な文字列検索では「fun」と「ding」に分かれて扱われる可能性がある。正規表現による検索も、元のバイト列が変わることで機能しにくくなる。

機械学習や自然言語処理を使う分類器では、問題はさらに複雑だ。効率化のため、入力を単語やサブワードのトークンへ分割する仕組みが一般的である。途中に想定外のUnicode文字があると、通常なら一つの既知トークンになる語が、珍しい断片や未知トークンへ変わり、学習済みの迷惑メールパターンと結び付かない可能性がある。

ゼロ幅スペースや改行しないスペースを利用した回避自体は新しくない。Unicodeタグが注目される背景には、対応していないフィルターが残っていることに加え、文字列検索だけでなく分かち書きや分類モデルにも影響を与えられる点がある。画像として表示した内容をOCRで確認しない限り、システムが解析した文字と利用者が見た文章が一致しないこともある。

意味と対策

防御側は、特定の文字を単純に禁止するだけでなく、不可視文字を検出し、正規化の前後で内容を比較し、重要語のトークン化が不自然に変化していないかを確認する必要がある。リスクの高いメールでは、実際の表示結果を分析する仕組みも選択肢になる。

今回の事例は、同じ表現技術が攻撃対象を変えて再利用されることを示す。AIへの指示を人間から隠していた手法が、今度は迷惑メールの誘導語をフィルターから隠している。メール防御は、機械が受け取った文字列だけでなく、人間が最終的に目にする内容まで考慮する段階に来ている。

出典:Ars Technica AI

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
安全ベンチマークが測るのは能力か、それとも学習した方針か
AIセーフティ
cctest.ai
AIセーフティ

安全ベンチマークが測るのは能力か、それとも学習した方針か

ガードレール分類器の安全スコアは、危険性をどれだけ検出できるかだけでなく、学習ラベルに埋め込まれた運用方針に大きく左右される可能性がある。研究では、わずかなパラメータ変更や教師モデルのソフトラベルでも評価結果が大きく変化した。

続きを読む
CCTest · Blog
ブラウザーエージェントを守るのは、表示文ではなくWeb要素の意味
AIセーフティ
cctest.ai
AIセーフティ

ブラウザーエージェントを守るのは、表示文ではなくWeb要素の意味

Webページに埋め込まれた第三者の文章は、ブラウザーエージェントを誘導し、ユーザーの権限で本来無関係な操作を実行させる可能性がある。Intactは要素の出所と能力を保持し、モデルの外側で実行範囲を制限する。

続きを読む
CCTest · Blog
再帰的な自己蒸留がモデルの安全性を徐々に損なう可能性
AIセーフティ
cctest.ai
AIセーフティ

再帰的な自己蒸留がモデルの安全性を徐々に損なう可能性

安全な出力と無害な手がかりだけを使っていても、再帰的な自己蒸留によってモデルの安全な応答が段階的に崩れる可能性がある。研究チームはこの現象を「Progressive Misalignment」と呼んでいる。

続きを読む