コード支援から推論基盤の最適化へ、GLMのInfra Agentはどこまで進んだのか

概要

智譜の創業者兼首席科学者である唐杰氏とGLMチームは、GLM-5.3-Flashの提供開始に向けた内部のエンジニアリング事例を公開しました。GLM-5.3を基盤とするInfra Agentは、モデルの適応、推論システムの診断、演算子とサービスの性能改善に関与したとされています。作業対象は10万枚を超える国産チップで構成されたクラスタで、チームの説明では、エンドツーエンドのスループットを2週間足らずで初期ベースラインの約3倍まで高めました。

重要なのは、単なる速度向上の数字だけではありません。これまで大規模言語モデルは主にエンジニアのコード作成を補助してきました。今回の事例では、モデル自身を動かす推論基盤をモデルが変更し、テストや実行時の観測結果を次の改善に利用しています。GLMチームはこれを再帰的自己改善、すなわちRSIの初期的な形と位置付けていますが、完全なRSIに到達したわけではないとも明記しています。

主なポイント

• 本番を意識した基盤作業に参加した。 Agentはモデル適応、システム診断、カーネル改善、サービス性能の調整を担当しました。
• コード生成よりフィードバックの設計が重要だった。 正確性テスト、ログ、実行Trace、ランタイムイベント、マイクロベンチマーク、エンドツーエンド指標を一つの反復工程に組み込みました。
• 複数の層で問題を切り分けた。 KDAのコンテキスト並列における精度問題、KV TransferとDeepEPの同時実行上のボトルネック、分割方法を変更した演算子最適化が例として示されています。
• 人間の監督は残っている。 エンジニアは目標、制約、実験環境を定め、数値計算の意味、並行性、本番リスクに関わる変更を確認しました。

密なフィードバックの意味

スループットの低下や遅延の増加を示すだけのエンドツーエンド指標では、原因を特定できません。そこでGLMチームは、最適化を小さく観測可能な作業に分解しました。演算子の比較は並列実装が正しいかを確認し、実行Traceは計算、通信、待機のどこに時間が使われたかを示します。マイクロベンチマークは、特定の入力形状や負荷で改善案が有効かを調べます。

ここでいう密なフィードバックは、ログを大量に与えることではありません。変更したコード、演算子、入力条件、スレッド、実行区間などと結び付いていること、短時間で取得できること、対照実験によって客観的に検証できることが重視されます。Agentは仮説を立て、コードを変更し、対象を絞った実験を行い、その結果に応じて案を採用、修正、却下できます。

公開された事例では、コンテキスト並列と非並列経路の比較がKDAの数値誤差を明らかにしました。また、KV Transferの性能差は、PythonとC++の境界にあるGILの保持と、DeepEPとの同時実行に関する調査へつながりました。別の事例では、元の分割方法によって正規化とゲート計算が繰り返されていることをAgentが見つけ、計算配置を変更することで、対象演算子で1.71倍の改善を得たと説明されています。

意義と限界

この実践は、AI Agentの価値がコード補完から複雑なシステム最適化へ広がる可能性を示します。推論のボトルネックは演算子、メモリ、通信、スケジューリング、スレッド、サービス設計の相互作用から生じます。したがって、強いコード生成能力だけでなく、観測を行動につなげ、検証を反復できる環境が必要です。

一方、AIが自律的に次世代モデルを設計・訓練できることを示したわけではありません。目的、境界、リスクを決めるのは依然として人間です。現段階でのより正確な理解は、モデルが自分を支えるシステムを改善し、そのシステムが再びモデルの提供を支えるという協働ループでしょう。これが本格的なRSIへ発展するかは、今後の検証に委ねられます。

出典：InfoQ 中文