2人の研究チームが約2.1万ドルで20億パラメータの画像生成モデルを訓練

導入

高品質なテキスト画像生成モデルの開発には、通常、大規模なデータ、膨大なGPU時間、そして多人数の開発チームが必要になる。生成動画モデルに取り組む2人の研究ラボ、Linumは、別の可能性を示す実験を公開した。Pyramid-JiT（P-JiT）を使った約20億パラメータのモデルを、計算費約2.1万ドルで訓練したという。重みはApache 2.0で公開されているが、位置づけは完成品というより、次の動画モデルに向けた検証である。

主なポイント

• VAEを使わない画素空間拡散：一般的な潜在拡散モデルは、まずVAEで画像を圧縮し、その潜在空間で拡散処理を行う。P-JiTは独立したVAEを省き、圧縮と生成の両方に適した表現を拡散モデル自身に学習させる。
• 強いトークン圧縮：32×32ピクセルのパッチを使い、512²画像を、従来の256²設定と同程度のトークン数で扱う構成を採用した。チームは、注意機構のコンテキスト長を約4分の1にできるとしている。
• 中間層を活用した補助学習：ネットワーク途中の層で低解像度のクリーン画像を予測し、さらにPixelREPAで隠れ状態とDINOv3-Lの特徴を整合させる。初期ブロックの勾配信号を強める狙いだ。
• 段階的な学習設計：まず高ノイズに集中して画像の大まかな構造を学習し、その後ノイズ分布を広げて細部を学ぶ。解像度も512²から1024²へ段階的に移行する。
• 公開されたコスト内訳：報告では、H100を8139時間、1時間2.50ドルとして計算している。512²で約6.1億サンプル、1024²で約5000万サンプルを処理し、事前学習費は約2万348ドル、全体では約2.1万ドルとなる。

意義と限界

重要なのは、小規模チームが低予算だけで既存の最先端を置き換えたという話ではない。圧縮と生成を別モデルに分ける必要があるのか、という設計上の問いを提示している点に価値がある。再構成向けに最適化されたVAEの圧縮性能には限界があり、再構成品質の向上が、そのまま拡散生成の品質向上につながるとは限らない。P-JiTは、最終的な生成目的に合わせて表現を学習する方向を試している。

この方向性は動画でより重要になる。フレーム数が増えると、注意機構のコンテキストとメモリ負荷は大きくなる。少ないトークンで品質を維持し、少ないサンプルで収束できれば、試行錯誤を前提とする創作ツールの実用性を高められる可能性がある。

ただし、今回の公開は実験的な画像モデルである。訓練費用やサンプル集だけから、商用モデル並みの品質、プロンプト追従性、編集制御、動画性能まで判断することはできない。Apache 2.0の重みと詳細な構成は、オープンソース研究者が再現実験や比較を行うための出発点になるだろう。

出典：Hacker News