小米、MiMo-V2.6の強化学習を公開：エージェントRLはどう拡張されるのか

学習の裏側を公開

小米はMiMo-V2.6のFlashとProについて、強化学習の進行を確認できる公開ページを開設した。一般的なオープンモデルでは、重みやコード、データセットが公開されることが多い。今回の特徴は、学習プロセスそのものの一部を外部から観察できる点にある。

ページでは、学習ステップ数、報酬曲線、累積費用、モデルの進行状況に加え、計算ノードで発生したGPU障害も表示される。公開情報によれば、Proの学習開始から約36時間の時点で、2モデルの費用は合計108万ドルを超え、平均すると1時間あたり約3万ドルだった。これは将来も一定の速度で費用が増えることを意味しないが、エージェント型強化学習のインフラ負担を具体的に示している。

小米が示す三つのScaling

小米はMiMoの強化学習を、次の三方向から拡張している。

• 学習計算量の拡大。 1ステップあたり約20億トークンを処理し、1568個のプロンプトに対して各16本のロールアウトを生成する。同じ課題を複数回試すことで、単一の回答ではなく複数の行動軌跡を比較できる。
• 環境とハーネスの拡大。 コード、一般タスク、視覚、チャットなどを同じ強化学習実行に組み込む。タスクごとに異なる実行環境を使え、コードエージェントなら端末操作、ファイル編集、テスト実行、エラー確認を繰り返せる。
• 評価計算量の拡大。 複雑なエージェントタスクでは、最終的な成功・失敗だけでは各行動の価値を十分に評価できない。小米はAgentic In-group Credit Assignmentに触れており、同一プロンプトから得た複数の軌跡を使って、どの行動が有効だったかをより細かく推定する狙いがある。ただし、具体的な手法はまだ公開されていない。

システムはFully Async方式も採用している。ロールアウト生成、環境での実行、報酬計算、モデル更新が同じタイミングで終わるのを待たず、それぞれが異なる進行度で動く。長時間のタスクを含む大規模な学習では、待機時間を減らす効果が期待できる。

現時点の成果と注意点

公開された数値では、Proのdynsam/avg@nは約0.565から0.614へ、Flashは約0.514から0.603へ上昇した。DeepSWE v1.1の最新オフライン評価では、Proが62.24、Flashが60.77で、比較対象のDeepSeek-Flash v1.1は74.2%だった。学習開始からまだ1日余りであり、これらは最終性能や順位を示す数字ではない。Proは1ステップの完了にも時間がかかるため、最新スコアの公開状況にも差がある。

今回の意義は、費用の大きさだけではない。経験の生成、環境との相互作用、報酬の計算、計算資源の消費という、通常は見えにくい工程を観察できるようにした点にある。一方、報酬曲線の上昇がそのまま汎用能力を意味するわけではなく、信用割当の手法も未公開だ。最終的には、訓練環境の外でも能力が安定して伸びるかを独立評価で確かめる必要がある。

出典：量子位