OriginBlame、AI 学習データの出所をレコード・token 単位で追跡

導入

データ提供者が「自分のデータを学習データから削除してほしい」と求めたとき、モデル提供者にとって難しいのは、単に削除を約束することではない。実際には、どの学習レコードがその提供者に由来するのかを特定しなければならない。機械学習の unlearning 手法は通常、忘却対象となる forget set を必要とするが、データは収集後にクリーニング、分割、重複排除、整形、token 化を経るため、出所が失われやすい。

arXiv 論文「OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets」は、この実務上の空白に取り組む。提案された OriginBlame、略称 ob は、AI 学習データセット向けの出所管理システムであり、著者識別情報をデータ処理パイプラインの中で伝搬させる。

核心ポイント

• 粒度を細かくする：従来の provenance はファイル単位やデータセット単位にとどまることが多い。その場合、1 人の著者の削除要求に対して、必要以上に大きなデータを消すことになり得る。
• 削除要求を forget set に変換：OriginBlame は、著者の撤回要求を決定的なクエリで解決し、unlearning に使える具体的な forget set を作ることを目指す。
• 過剰削除の削減：219,555 件の Wikipedia ページでの評価では、データセット単位で 101x だった過剰削除を、レコード単位の provenance によって 1.3x まで下げたと報告している。
• 統合コストの測定：wiki データ上で、HuggingFace への統合は 1.3% から 4.0%、Datatrove では 2.1% から 19.0% のスループットオーバーヘッドを追加した。
• unlearning への効果：1.7B パラメータモデルでは、provenance に基づく forget set がランダム基準に比べて unlearning を 42% 改善した。

意味と影響

この研究の価値は、データ削除権や同意撤回を、抽象的なポリシーではなく、学習基盤の実装課題として扱っている点にある。どのデータを消すべきかを特定できなければ、企業はファイル全体やデータセット全体を削除せざるを得ず、有用なデータまで失う可能性がある。

また、OriginBlame は、AI のデータガバナンスをモデル完成後に後付けするのでは遅いことを示している。出所情報は、データが混合され token 化される前に保存されてこそ、監査、削除要求、unlearning に役立つ。

もちろん、この論文の結果は特定のデータ、パイプライン、モデル規模での評価であり、著作権やプライバシーの問題をすべて解決するものではない。それでも、学習データにもソフトウェアのバージョン管理に近い精密な provenance 管理が必要になる、という方向性を明確に示している。

Source: arXiv