Hugging Face、画像編集モデルの悪用対策不足を指摘される

2026年7月28日読了目安 3 分

導入

オープンな AI プラットフォームは、研究者や開発者がモデルを共有し、実験し、再利用するための重要な基盤になっている。しかし、その利便性が非同意の親密画像ディープフェイクの生成に使われる場合、責任は個々の開発者だけにとどまらない。

The Verge が報じたところによると、欧州の非営利団体 AI Forensics は、Hugging Face 上の画像編集モデルが性的なディープフェイク生成に使われやすく、同社のプラットフォームレベルの対策が不十分だとする報告を公表した。

人気モデルが有害な指示に応答：AI Forensics は Hugging Face にホストされている上位の画像編集モデルを調査し、上位 9 モデルのうち 7 モデルが、女性画像をトップレスにする単純な指示に応じたと述べている。
複雑な回避手法は使われていない：研究者らは、巧妙な言い換えやガードレール回避のためのプロンプトを使わず、同じ直接的な指示でテストしたという。これは、問題が特殊な脱獄手法ではなく、基本的な防護の欠如に近いことを示している。
ハニーポット Spaces で利用実態を観察：AI Forensics は、実際には画像を生成しない画像編集用 Spaces を作成し、送られてくる画像やプロンプトを観察した。7 日間で 1,000 件を超えるプロンプトと画像を受け取り、その 73% が性的性質を持っていたという。性的リクエストのうち 83% は人物画像の「脱衣」を試み、95% は女性を対象とし、約 7% は子どもに関わるものだった。
ポリシーと実装の差：Hugging Face の規約は、明示的な同意のない性的コンテンツや未成年者のヌードを禁止している。しかし AI Forensics は、プラットフォーム全体での入力フィルタリングや出力スキャンが十分ではなく、防護の多くが各開発者任せになっていると批判している。

今回の指摘は、オープン AI エコシステムが抱える根本的な課題を示している。モデルの共有と実験のしやすさはイノベーションを加速する一方で、悪用のハードルも下げる。特に非同意の親密画像は、生成された時点で被害者に深刻な影響を与え、後から完全に取り戻すことが難しい。

AI Forensics は、画像や動画を生成する Spaces に対して、プロンプト段階のフィルタリングと出力段階のスキャンを導入するよう提案している。これだけで悪用をすべて防げるわけではないが、少なくともプラットフォーム全体に最低限の安全層を設ける効果はある。

Hugging Face のような基盤的プラットフォームにとって、これは単なるコンテンツモデレーションの問題ではなく、AI インフラとしての統治能力の試金石でもある。禁止事項を掲げるだけでなく、それを製品レベルで実装できるかが問われている。