7人の博士課程学生が数百のAgentで7Bモデルを訓練

導入

7B規模の大規模言語モデルを訓練する作業は、コードを実行するだけでは終わらない。データの配合、分散学習、障害の切り分け、評価、反復実験には、通常複数の専門チームが必要になる。北京中関村学院の博士課程学生7人は、ひと夏を中心とする期間でZGCM-1をゼロから訓練し、工程の多くを公開した。

最終モデルだけではない公開

公開されたのは最終的なモデル重みだけではない。訓練コードとデータ処理コード、データの設計、各段階の重み、中間チェックポイント、ログも含まれる。これにより、研究者は最終スコアだけでなく、能力がどのように形成されたか、変更がどの結果に影響したか、失敗をどう調べたかを追跡できる。

チームの説明によれば、ZGCM-1は複数の汎用評価でQwen3-8Bに近い結果を示し、一部の数学推論、検索、ツール利用タスクでも競争力を見せた。ただし、評価条件、データ汚染の管理、モデル規模を踏まえた解釈が必要であり、より大きなモデルを全般的に上回ったという意味ではない。

Agentは何を担当したのか

チームは開発工程をデータ、アルゴリズム、訓練、クラスタ運用、評価などに分け、自作のZGentプラットフォームで数百のAgentを調整した。主な役割は次の通りだ。

• 品質要件に基づくデータ清掃スクリプトの作成
• データ分布の確認とルール・閾値の調整
• 実験の投入、ログ監視、障害の特定
• ストレージやデータ転送のボトルネックの発見
• 検証済みのワークフローやデバッグ知識の再利用
• 18種類、183項目、2,503個の探針によるACE評価

ただし、これは自律的な研究所ではない。11種類のタスクをL1からL5まで評価した結果、監視やデプロイは比較的高い自律性に達した一方、モデル構造や学習アルゴリズムの設計は低い段階にとどまった。研究テーマや重要な判断は依然として人間が決めている。

lossだけでは訓練を判断できない

ある訓練ではlossが下がり続けたにもかかわらず、モデルの能力が低下した。調査の結果、データの分割とshuffleに問題があり、実際に入力されたデータ比率が当初の配合からずれていた。チームはこれを受け、チェックポイントをより細かく保存し、知識、数学、コード、推論の能力を個別に追跡した。

さらに、局所注意と全体注意を組み合わせてコンテキストを拡張し、MuonやFP8などで効率と低精度学習の安定性を改善した。実験からは、厳しいデータ選別でSFTサンプルが約44.9％減っても全体評価が向上する場合があること、長い思考連鎖を増やしすぎると指示追従を損なうこと、Agentデータだけでは汎用能力を代替できないことも分かった。

意義と限界

ZGCM-1の意義は、最終スコアではなく再現可能な開発記録に焦点を移した点にある。同時に、AIがAIを開発する「AI4AI」の現実的な事例でもある。Agentは少人数チームの実行力を大きく拡張できるが、研究上の判断を置き換える段階にはない。チームは400B、500B規模にも挑戦しており、この方法が規模拡大後も機能するかが次の焦点になる。

出典：量子位