Modular TTT: テスト時学習を組み合わせ可能なモジュールとして再定義

Test-Time Training（TTT）は、推論時にも内部の学習則で fast weights を更新し、その場の文脈に適応するオンライン学習型の系列モデリングとして捉えられます。ただし従来の TTT 変種は、実装が個別に書き下されることが多く、新しい手法の設計や各要素の役割の切り分けが難しいという課題がありました。

Modular TTT は、この問題を「モジュール化された設計空間」として整理します。内側の学習器を DAG として表し、次の要素を独立した設計次元にします。

• fast-weight network
• loss function
• learning rate
• weight decay
• normalization

さらに、train-view forward、train-view backward、causal query-view という原始的なルールを自動的に合成し、fast-weight の状態遷移まで含めたグラフ全体の計算を構成します。これにより、TTT の各部品を差し替えながら比較しやすくなります。

この枠組みの強みは、消去実験を体系的に行える点にあります。結果として、小さな学習率初期値、weight decay、そして単層の非線形性が性能改善に寄与する一方、MSE と内積損失はほぼ同程度でした。反対に、より深い fast-weight network や正規化は、活性値が過大になりやすく、かえって性能を損ねる傾向が見られました。残差接続や gating は、目立った改善を示しませんでした。

この知見は、TTT を単に複雑化するよりも、更新則や構造の選び方を慎重に詰めることが重要だと示唆します。モジュール化は、研究者にとって「何を足すべきか」だけでなく「何を増やさなくてよいか」を判断するための道具にもなります。

著者らはこの結果を踏まえ、最良の変種を 410M と 1.45B パラメータのモデルとして 100B tokens で学習しました。その結果、訓練損失とベンチマーク性能は Gated DeltaNet に匹敵すると報告されています。TTT を再利用しやすい設計空間として整理し直した点と、実用性能を示した点の両方で意義のある研究です。

出典: Hugging Face Daily Papers