Astra开始直接读写神经网络权重，Qwen数学成绩显著提升

导语

传统神经网络的权重通常由梯度下降、强化学习或其他优化器更新。人类可以阅读代码和训练日志，却很难仅凭一长串浮点数判断一个网络究竟学会了什么，更不用说直接修改它。MIT CSAIL团队在一篇发表于2026年11月2日的研究文章中提出，前沿大语言模型GPT-6 Astra似乎正在获得这种能力，并将其称为“权重空间编程”（Weight-Space Programming）。

核心发现

研究者把模型的原始权重以文本形式交给Astra，并限制其不能编写训练循环。在一些任务中，模型甚至不能调用工具或执行前向推理，只能依靠对权重结构的分析。

• 从权重识别行为。 在一个包含17,253个权重的策略网络实验中，Astra需要判断网络曾训练哪种网格游戏。四个游戏采用相同输入、动作空间和网络结构，Astra仍全部判断正确。研究者认为，输入层权重的空间分布和输出层对动作的区分，暴露了网络学习到的任务特征。
• 分析扩散模型。 对分别生成圆形、三角形和正方形的DDPM，Astra仅凭权重就判断出对应目标。它还从输出层权重中读出了形状轮廓，不过把实际的实心图形理解成了轮廓，这也说明其分析并非没有偏差。
• 直接编写小型网络。 在MinAtar游戏和围棋等任务中，Astra尝试从零构造策略网络。文章称，部分网络无需环境反馈就能超过经过长时间PPO训练的对照网络。
• 修正语言模型。 在最受关注的实验中，Astra被要求让Qwen3.5-0.8B提升数学能力。它定位到与推理循环有关的权重问题，并编辑了约0.016%的权重。相同采样设置下，MATH-500成绩从7.9%升至48.1%，IFEval也提升约三倍。

这意味着什么

如果结果能够稳定复现，模型优化可能出现一种不同于梯度训练的新路径：语言模型先解释网络各部分的功能，再根据自然语言目标提出局部修改。相比重新训练，这种方式有望减少计算开销，也可能用于修补特定失效模式、理解模型内部表征，或快速生成面向任务的小型网络。

不过，现有证据仍应被视为早期结果。实验覆盖的网络规模、任务类型和提示方式有限；“读懂权重”也可能部分依赖模型从权重分布中识别出可解释的结构，而不等于获得了完整、可靠的内部机制理解。Qwen实验的提升同样需要在更多数据集、随机种子和模型版本上验证，并排除提示、评测或采样设置带来的影响。

更现实的近期方向，或许不是让大模型完全取代优化器，而是让它成为权重诊断与定向修复层：优化器负责稳定搜索，语言模型负责提出假设、定位异常并执行少量可审计改动。若这一协作模式成熟，权重将不再只是训练过程的终点，也可能成为大模型能够直接阅读和编程的对象。

来源：Hacker News