Puro-2B、RTX 5090で約5090ドルの2Bモデル事前学習を検証

概要

大規模言語モデルの事前学習には、一般的な研究室や個人開発者には届きにくい費用が必要だと考えられてきました。清華大学PACMAN Groupが公開したPuro-2Bは、消費者向けGPUだけで約2Bパラメータのモデルをゼロから学習できるかを検証する取り組みです。焦点は、単にモデルを公開することではなく、費用を抑えるための訓練工程全体を開くことにあります。

主なポイント

• RTX 5090を利用。 FP8による低精度学習を採用し、計算量とメモリ負荷の削減を狙います。
• 複数の学習設定を比較。 Puro-2Bはトークン数やレシピの異なるモデル群で、最大1.4兆トークンまで学習されています。
• 複数の技術を組み合わせる。 効率化にはHyperball最適化、カリキュラム型モデル平均化、データレシピ、ハードウェア選定などが使われています。
• 費用と性能をモデル化。 最良モデルの計算費用は6900ドル未満で、著者らの評価ではQwen2.5-1.5Bに近い性能でした。モデル群から作ったPuro Cost Scaling Lawは、約4400ドルでQwen2-1.5Bの平均性能に達する可能性を示します。
• 成果物を公開。 データ、コード、モデル重みをApache 2.0で提供します。

意義と注意点

Puro-2Bは、消費者向けGPUが大規模クラスタを置き換えると主張するものではありません。重要なのは、精度、最適化、モデル平均化、データ準備を一つの再現可能な事前学習レシピとして提示した点です。オープンモデルでは重みだけが公開され、データ選定や学習安定化の判断を再現しにくい場合があります。Puro-2Bは、そのブラックボックスを小さくしようとしています。

コストスケーリングの分析も、予算に応じた性能の見積もりを考える材料になります。ただし、4400ドルという数字は、このモデル群と評価手順に基づくフィッティング結果です。電気代、GPUの調達やレンタル費、データ品質、エンジニアリング作業、ベンチマークの範囲によって、実際の費用と性能は変わります。

さらに、事前学習データのカリキュラムが、後学習後の下流タスクにどう影響するかも調べています。完全な訓練パイプラインを持つことで、完成済みの重みだけでは難しい比較が可能になります。オープンソースにとって、このような工程を分解して検証できる事例は、単一のスコア以上に長期的な価値を持つでしょう。

出典：Hugging Face Daily Papers