Astraがニューラルネットの重みを直接読み書きし、Qwenを改善

導入

ニューラルネットワークの重みは通常、勾配降下法や強化学習などの数値最適化によって更新される。人間がコードや学習ログを読んでモデルの挙動を推測することはできても、膨大な浮動小数点数の列だけを見て、何を学習したのかを判断し、さらに手作業で修正するのは極めて難しい。

MIT CSAILの研究チームは、2026年11月2日に公開した記事で、フロンティアモデルGPT-6 Astraがこの作業の一部を始めていると報告した。研究チームが名付けたのが「Weight-Space Programming（重み空間プログラミング）」である。

実験で示されたこと

研究では、ネットワークの重みをテキストとしてAstraに与え、学習ループを書くことを禁じた。実験によっては、ツールの利用や順伝播の計算も許可していない。つまり、モデルは重みの数値と構造を言語的に分析する必要があった。

• 学習タスクの推定。 17,253個の重みを持つ方策ネットワークについて、4種類のグリッドゲームのどれで学習したかを問うた。入力、行動空間、ネットワーク構造をそろえたにもかかわらず、Astraは4例すべてを正しく判定した。研究チームは、入力層の重みの空間的な集中や、出力層が行動を区別するパターンが手がかりになったと考えている。
• 拡散モデルの読み取り。 円、三角形、正方形をそれぞれ生成するDDPMに対し、Astraは重みだけから生成対象を推定した。出力層のパターンから形状の輪郭も読み取ったが、実際には塗りつぶし形状であるものを輪郭として解釈しており、分析に誤りがないわけではない。
• 小型ネットワークの生成。 MinAtarのゲームや囲碁をプレイする方策ネットワークをゼロから作らせた。記事によれば、環境からのフィードバックなしに、長時間PPOで学習したネットワークを上回る例もあった。
• 言語モデルの編集。 最も注目される実験では、Qwen3.5-0.8Bの数学能力向上を指示した。Astraは推論ループにつながる重みの問題を特定したとされ、約0.016%の重みを編集した。同じサンプリング設定で、MATH-500は7.9%から48.1%へ、IFEvalはおよそ3倍に向上した。

意義と限界

結果が安定して再現できれば、モデル改善には通常の勾配学習とは異なる経路が加わることになる。LLMがネットワーク各部の役割を推測し、自然言語の目標に沿って失敗箇所を局所的に修正する仕組みは、特定の失敗パターンの修復、内部表現の研究、小型モデルのタスク適応に利用できる可能性がある。

ただし、現時点でこれは確立した最適化手法ではなく、初期的な実証である。対象となった構造やタスクは限られ、重みに現れる分かりやすいパターンへの依存も考えられる。パターンを有効に読み取れることは、モデルの内部機構を完全かつ信頼性高く理解していることとは同じではない。Qwenの結果も、複数のモデル版、データセット、乱数種、評価条件で検証する必要がある。

当面は、数値最適化が安定した探索を担い、LLMが仮説の提示、異常の診断、監査可能な小規模編集を担うハイブリッド方式が現実的だろう。重みは学習の終点にとどまらず、言語モデルが直接読んでプログラムする対象になりつつある。

出典：Hacker News