InfraRSI、再帰的自己改善をLLM学習基盤の最適化に応用

導入

再帰的自己改善（Recursive Self-Improvement、RSI）は、これまでアルゴリズム探索やプログラム生成、GPUカーネルの合成に使われることが多くありました。しかし、分散LLM学習を対象にすると問題は複雑になります。起動オプション、メモリ配置、演算子カーネル、コンパイラーの挙動、通信スケジュールが密接に結び付いているため、1か所だけを変更しても、全体の実行時間が悪化したり、OOMが発生したりします。測定ノイズや、損失だけでは発見しにくい数値ドリフトも課題です。

Hugging Face Daily Papersで紹介されたInfraRSIは、この問題をエージェント型の検証ワークフローとして扱います。エージェントに無制限の編集権限を与えるのではなく、制約を決め、基準を測定し、候補を探索し、再検証したうえで変更を適用する構成です。

主な仕組み

• 編集範囲と評価契約の固定。 初期化段階で変更可能な範囲を定め、ワークロード、損失、実行時間に関する不変条件を固定します。これにより、学習条件を変えて見かけの高速化を得るような報酬ハッキングを抑えます。
• 検索前のベースライン診断。 実行フェーズをプロファイルし、クラスターノイズを較正します。これにより、実際の改善と試行間の揺らぎを区別しやすくします。
• 設定とコードの同時探索。 起動パラメーターとコードパッチを別々ではなく共同で探索します。また、1つの現行最良解から貪欲に進むのではなく、過去の経験から多様な初期候補を作ります。
• 失敗試行の利用。 実行時間とピークメモリのモデルには、OOMになった試行も含めます。失敗を捨てず、各設定が必要とするメモリコストの情報として利用します。
• 再検証と監査。 有望な候補を基準設定と比較して再実行し、ソースパス、失敗試行のコスト、採用した変更を記録します。

意義と影響

InfraRSIの意義は、単なる自動チューニングやコード生成にとどまりません。学習基盤を、相互依存する設定、ノイズを含む観測、メモリ制約、過去の経験から成る検索空間として扱う点にあります。例えばメモリを多く使う高速化案に、検証済みのメモリ節約パッチを組み合わせることで、1回の変更だけでは到達しにくい構成を探せます。

論文要約によれば、InfraRSIは単一ノードおよびマルチノードのdense、Mixture-of-Expertsワークロード計4種類で評価され、最大2.75倍の高速化を報告しています。ただし、提供された要約には完全な結果表、各ワークロードの内訳、平均MFUの全数値は含まれていません。そのため、この数値は手法の可能性を示す報告値として読むべきで、あらゆる環境で保証される結果ではありません。

実運用では、損失と時間の不変条件、失敗コストの記録、変更箇所の監査可能性が重要です。AIエージェントが学習システムを直接最適化するようになるほど、より速いコードを書く能力だけでなく、正しさを保ったまま改善を証明する仕組みが競争力になります。

出典：Hugging Face Daily Papers