合成リライトのスケーリング則、最適なデータ比率を算出

導入

大規模言語モデルの事前学習では、自然文書を特定の文体や形式へ書き換える「合成リライト」が一般的な手法になりつつある。こうして作ったテキストを学習コーパスに加えることで、データの分布を調整できるからだ。

一方で、実運用上の重要な疑問は残っていた。リライト生成にどれだけの計算資源を使うべきなのか。そして、リライトを生成したモデルよりも、そのデータで学習したモデルが高い性能を示すことはあるのか。arXiv論文「Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints」は、この二つの問題をスケーリング則として整理した。

研究の枠組み

提案された則は、最終的な損失を次の要素から予測する。

• 目標モデルの規模
• 学習に使うトークン数
• 全トークンに占めるリライトの割合
• 自然データを何エポック繰り返すか
• リライト生成に必要な計算量

特に重要なのは、合成データの生成コストを明示的に計上している点だ。合成トークンは無料ではなく、生成には推論計算が必要になる。そのため、単に「合成データをどれだけ混ぜればよいか」ではなく、生成と学習を合わせた計算予算の中で最適な配分を考える必要がある。

計算量に制約がある設定では、自然データは十分に存在し、リライトはより多くの計算で学習された第三者モデルが生成する。結果として、最適なリライト比率は予算とともに上昇した。約 3×10^18 FLOPsでは10%未満だったが、10^22 FLOPsでは32%に達した。

研究者はこの則を220億パラメータモデルへ外挿し、学習FLOPsを33倍に増やした実験も行った。実測された最終損失は予測値から1.1%以内だった。さらに、複数のウェブドメインで、目標モデルはリライターより良いBPBを示した一方、学習に使った計算量はリライターの10分の1だった。生成側の能力が、そのまま学習側の上限になるとは限らないことを示す結果だ。

データが限られる場合

もう一つの設定では、利用できる自然データを固定されたシード集合に限定する。リライターは目標モデルと同じ規模で、このシードデータを使って事前学習される。この場合も、計算予算が増えるにつれて最適なリライト比率は高くなった。

また、同規模のリライターが自分の事前学習データを書き換えたデータで学習したモデルは、30億パラメータまでの全ての検証規模で、自然データだけを使った最良の実験を上回ったと報告されている。

意義と留意点

この研究の実務的な示唆は、合成リライトを単なるデータ増量として扱わないことにある。低予算では生成コストが重く、リライト比率を高くし過ぎると効率が悪い可能性がある。一方、学習予算が大きくなれば、合成データへの配分を増やす価値が高まるかもしれない。

同時に、結論はあらゆるタスクにそのまま適用できる固定レシピではない。提示された情報は主に論文概要に基づくため、タスク、プロンプト、データ品質、モデル構造が変わった場合の普遍性はまだ判断できない。重複、偏り、事実誤りの蓄積も別途検証が必要だ。現時点では、合成リライトをデータ・計算量・品質を同時に最適化する問題として捉えることが最も妥当だろう。

出典：arXiv