ISO：RLVR最適化を「スペクトル固定・フレーム更新」で捉え直す

導入

検証可能な報酬を使う強化学習、すなわち RLVR は、言語モデルの推論能力やコーディング能力を高める手法として急速に注目されている。一方で、報酬フィードバックがどのように重み空間の更新へ変換されるのかは、まだ十分に理解されていない。論文「ISO: An RLVR-Native Optimization Stack」は、この空白をモデル重みの特異構造から分析する。

著者らの中心的な主張は、RLVR が基盤モデルの特異値スペクトルをほとんど書き換えず、新しい振る舞いは主に入力・出力の特異フレーム、すなわち U と V の変化に現れるというものだ。

核心ポイント

• スペクトル継承という観察。 論文は、RLVR 後のモデルが基盤モデルの重みスペクトルを再利用しつつ、フレーム側の変化によって新しい能力を獲得する現象を spectral inheritance と呼んでいる。
• スペクトル交換による検証。 基盤モデルのスペクトルを RL checkpoint に戻しても、各ベンチマークは RL レベルの性能を維持する。一方、RL 後のスペクトルを RL 前のフレームに移植しても改善は見られないとされる。これは、能力の担い手がスペクトルではなくフレームにあるという見方を支える。
• ISO-Merger はオフライン統合を担当。 同じ基盤モデルを共有する複数の RL 専門家モデルについて、フレーム変化を合成し、固定スペクトルの単一モデルを作る。合併後のデータ、rollout、勾配更新、on-policy distillation は不要だとされ、比較されたデータ不要の統合法の中で最も強い集約性能を示した。
• ISO-Optimizer はオンライン学習を担当。 AdamW や Muon などの既存オプティマイザをフレーム変数に適用し、基盤スペクトルは固定する。1.5B から 8B 規模の推論・コードタスクで、報告された実験では精度向上と学習ステップ削減が確認されている。

意義と影響

ISO の重要性は、単に新しい最適化手法を追加した点にとどまらない。RLVR 後学習では、事前学習時と同じように重み全体を自由に更新するのではなく、報酬による適応が実際に現れやすい構造に合わせて最適化を設計すべきだ、という明確な指針を示している。

具体例として、Qwen3-8B-Base では AdamW が 270 ステップで aggregate accuracy 0.495 に到達するのに対し、ISO-AdamW は 100 ステップで同じ値に達し、210 ステップでは 0.509 まで改善したと報告されている。固定スペクトルでフレームを更新する設計が、少なくとも報告条件下では学習効率を高める可能性を示す結果だ。

今後は、より多様なモデルやタスクでの再現性検証が重要になる。それでも ISO は、RLVR がモデルをどのように変えるのかを理解するための有力な視点を提供し、専門家モデルの統合や後学習最適化の設計に影響を与える可能性がある。

出典：Hugging Face Daily Papers