SAEScientist-Bench、AIエージェントの自律的な機構解釈研究を検証

はじめに

モデルの学習パイプラインを自動化するだけでは、信頼できる自律型AI研究には不十分だ。エージェントがモデルを改善するなら、モデルが何を学習したのか、どの内部特徴が目標となる挙動に関係するのか、そして介入が本当に意図した効果を生んだのかを調べる必要がある。SAEScientist-Benchは、この実験的な理解能力を評価するために設計された。

特徴探索を研究タスクにする

スパースオートエンコーダー（SAE）は、モデルの活性化を多数の比較的疎な特徴へ分解する。これにより、モデル内部の概念を観察したり、選んだ特徴を使って挙動を操作したりできる。今回のベンチマークでエージェントは、与えられた目標概念に対して対比プローブを設計し、13万個を超えるGemma Scopeの特徴辞書から有力な特徴を探す。

評価にはGemma-2-9B-ITが使われ、Neuronpediaを基盤に整理された専門家の参照特徴と結果を比較する。評価項目は次の三つだ。

• 特徴発見：目標概念に対応する特徴を見つけられるか
• 概念選択性：表面的な相関ではなく、目標テキストと対照テキストを区別できるか
• 因果的ステアリング：特徴を操作したとき、生成が意図した方向へ変化するか

10種類のエージェント構成と20タスクの結果は、能力が一様ではないことを示した。最先端のエージェントは有望な候補を発見し、目標概念と対照概念の分離では専門家に近い水準に達した。一方、生成を因果的に誘導する課題では差が大きい。つまり、「どの特徴が関係しそうか」を判断する力は伸びているが、「その特徴を変えればモデルの挙動も安定して変わるか」を検証する力はまだ弱い。

最大の課題は測定結果の読み取り

分析からは、エージェントが実験能力をまったく持たないわけではないことも分かる。対比データを設計し、見かけ上の相関に過ぎない候補を除外することはできる。しかし、活性化順位、選択性の結果、介入後の生成変化などをしばしば誤って解釈する。課題は広大な探索空間だけではなく、実験設計、指標の読み取り、因果推論を結び付ける点にある。

意義と今後

SAEScientist-Benchの意義は、「AIがモデルの内部機構を理解できるか」という曖昧な問いを、再現可能な評価課題へ落とし込んだことにある。学習の自動化がモデルを変える方法を扱うのに対し、機構解釈は何が変わり、なぜ変わったのかを確認する。これはモデル監視や安全性監査にとって重要な違いだ。

ただし、関連する特徴を発見することは説明の完成を意味しない。今後は、相関と因果の区別、介入結果の自動検証、エージェントが導いた結論の再確認を強化する必要がある。

出典：Hugging Face Daily Papers