モデルの挙動からデータの来歴へ：合成事前学習で帰属を検証

導入

訓練データ帰属は、モデルのある能力や予測が、どの訓練例によって形成されたのかを特定しようとする研究分野である。しかし、実際の大規模モデルでは、個々のデータが与えた因果的な影響を確かめることは難しい。特定のデータだけを除いて再学習するには大きなコストがかかり、データの生成過程も完全には分からないからだ。今回の研究は、管理された合成事前学習を使えば、この検証を実験として行えると提案している。

研究の仕組み

中心となるのは、表形式基盤モデル向けの合成タスク生成器 O'PRIOR である。各タスクには、データ生成に関わる構造的メカニズム、欠損の仕組み、交絡、予測に使えるショートカット、分布シフトといった来歴情報が明示的に付与される。生成時点で正解となる来歴が分かるため、帰属手法が選んだタスクと、実際のメカニズムを比較できる。

評価は主に三段階で行われた。

• 挙動条件付き帰属：対象タスクでのモデル性能に関係しそうな事前学習タスクを順位付けする。
• 反実仮想的な再学習：上位または下位のタスクを除外し、モデルを再学習して性能変化を測る。
• 来歴を考慮した介入：ショートカットなど特定の特徴に結び付いたタスクを狙って削除する。

主な結果

保持しておいた実タスクでは、帰属スコア上位 5% の合成タスクを除くと、平均 ROC-AUC が 0.013 低下した。一方、同じ割合をランダムに除いた場合の変化は 0.002±0.004 だった。下位タスクを削除すると性能は 0.003 向上した。これらの比較から、帰属順位は単なるランダムな相関ではなく、再学習後の性能に介入可能な関係をある程度捉えていると考えられる。

ショートカット来歴を持つタスクに限定すると、狙いを定めた削除の効果は 0.043 で、対応するランダム削除は 0.016 だった。ただし、来歴を順位付けする AUROC は 0.55〜0.62 と控えめだった。つまり、来歴が似ているタスクが、必ずしもモデルの挙動を同じように変えるわけではない。

意義と限界

この研究の意義は、データ帰属を検索精度だけで評価せず、削除と再学習を通じて検証する枠組みを示した点にある。表形式基盤モデルや合成データの運用では、有害なショートカットや分布シフトに関係するタスクを発見し、データ整理の判断材料にできる可能性がある。

一方、実験は来歴が明示された合成タスクに依存している。複雑で不完全な実運用データへ同じ結果を適用できるかは、今後の課題だ。重要なのは、「データが何に似ているか」と「データがモデルに何を引き起こすか」を分けて考える必要があるという点である。

arXiv