Miles v0.1、最先端モデルのポストトレーニングを本番向け基盤へ

導入

大規模言語モデルの強化学習によるポストトレーニングでは、アルゴリズムだけでなく、その周辺にあるシステム設計が成否を左右する。ロールアウトを安定して生成し、学習器へ渡し、更新された重みを別のサービスへ同期しながら、異なるハードウェア構成で処理を継続しなければならないからだ。RadixArkのMiles v0.1は、この一連の課題を対象にしたフルスタックのオープンソース基盤である。

主なポイント

• 学習ループ全体をカバー。 ロールアウトエンジンはSGLangを基盤とし、学習側ではNVIDIA Megatron-LMとPyTorch FSDPからバックエンドを選べる。
• 複数の重み同期方式。 3種類の同期トランスポートを用意し、異なるデプロイ構成や計算トポロジーに対応する。単一の固定構成を前提にしない点が特徴だ。
• 複数のポストトレーニング手法。 全パラメータRLだけでなく、LoRA RL、オンポリシー蒸留、教師あり微調整、ロールアウトと学習の分布をそろえる真のオンポリシー構成も扱う。
• 拡散モデルにも展開。 報告では、同じアーキテクチャを拡散モデルへ拡張したとしている。特定のアルゴリズムだけでなく、再利用可能な基盤を目指していることが分かる。

報告されたケーススタディ

レポートは、ターミナル操作を伴うコーディングタスクで、完全非同期のエージェント強化学習を実行した例を紹介している。GLM-5.2 744B-A40Bモデルを64基のNVIDIA GB300 GPUで学習し、最初に測定した30ステップでは、ステップ時間の中央値が263秒だったという。

ここで重要なのは単一の数値よりも、ロールアウト生成と学習を非同期に進め、大規模モデルとツール利用タスクを同じ運用系に組み込んだ点である。ただし、提供された素材には他システムとの比較、コスト分析、コーディング性能の改善値は含まれていない。そのため、この事例だけから速度や効果の優位性を断定することはできない。

意義と限界

Milesは、実運用で見落とされがちな問題を明示化している。各コンポーネントを検証できるか、インターフェースが保守しやすいか、学習バックエンドや同期方式を交換できるか、という観点だ。研究チームにとっては実験変更時の基盤コードの書き換えを減らせる可能性があり、企業にとっては試作から継続運用へ移行する際の選択肢になり得る。

一方、実際の価値はドキュメント、テスト、ハードウェア互換性、コミュニティの維持状況で決まる。現時点の素材からは、Milesをあらゆる用途で実証済みの解答と見るより、最先端ポストトレーニング向けに評価する価値のある基盤と捉えるのが適切だろう。

Hugging Face Daily Papers