疎オートエンコーダでAI文章検出を監査可能にする

導入

AIが生成した文章の検出は、教育、査読、入試、報道、コンテンツモデレーションなど、判断結果が個人に影響する場面へ広がっています。しかし、性能の高い検出器ほど、微調整されたニューラル分類器として動作し、どの言語的特徴を根拠に判定したのかを説明しにくいという問題があります。利用者に表示されるのは、確率やラベルだけという場合も少なくありません。

DetectorScopeは、この性能と透明性の対立を緩和する方法を提案します。既存のニューラル検出器を単純なルールベース手法に置き換えるのではなく、内部表現を人間が確認できる概念へ変換します。

主なポイント

• 残差ストリームを分解する。 検出器の残差ストリームに疎オートエンコーダ（SAE）を学習させ、混ざり合った内部情報を、より具体的な特徴へ分解します。
• 説明の忠実度で選別する。 各SAE特徴には自動生成の説明を付与し、実際の活性化を十分に説明できるものだけを、全体的な忠実度の基準で残します。
• 解釈可能な特徴で再分類する。 選別した特徴だけを使う軽量分類器を学習するため、判定に関係した言語的な手がかりを追跡しやすくなります。
• 分布外データも評価する。 素材によれば、この方式は元の検出器の性能を維持しつつ、分布外テキストではニューラル方式や文体分析方式を上回りました。

意義と限界

この研究の意義は、ブラックボックスの出力に説明文を後付けするだけでなく、分類に使う情報そのものを監査可能な特徴へ絞り込もうとした点にあります。ある特徴がAI生成文に関連する言語傾向を示すなら、事例を調べたり、分野をまたいで再検証したり、データセット固有の癖ではないかを確認できます。

一方、自動生成された特徴説明は、必ずしも因果関係の説明ではありません。忠実度の基準を設けても、言語、ジャンル、著者背景、学習データの偏りを自動的に取り除けるわけではありません。そのため、高い影響を伴う現場では、最終判断を機械のスコアだけに委ねず、監査や人間による確認を組み合わせる必要があります。

DetectorScopeは、高性能なニューラル検出と人間が読める根拠を接続する一つの設計例です。多言語、異なる文体、検出回避を意図した文章でも安定するかは、今後の検証課題として残されています。

Hugging Face Daily Papers