Astra, 신경망 가중치를 직접 읽고 써 Qwen 개선

들어가며

신경망 가중치는 보통 경사하강법, 강화학습 또는 다른 수치 최적화 기법으로 갱신된다. 사람이 코드와 학습 로그를 읽을 수는 있지만, 수많은 부동소수점 숫자만 보고 모델이 무엇을 학습했는지 판단하거나 직접 수정하는 일은 매우 어렵다.

MIT CSAIL 연구진은 2026년 11월 2일 공개한 글에서 프런티어 모델 GPT-6 Astra가 이 작업의 일부를 수행하기 시작했다고 설명했다. 연구진은 이를 ‘Weight-Space Programming’, 즉 가중치 공간 프로그래밍이라고 부른다.

실험에서 확인한 내용

연구진은 네트워크의 원시 가중치를 텍스트로 Astra에 제공하고 학습 루프를 작성하지 못하게 했다. 일부 실험에서는 도구 사용과 순전파 계산도 허용하지 않았다. Astra는 숫자와 구조 자체를 언어적으로 분석해야 했다.

• 네트워크의 학습 과제 추론. 17,253개의 가중치를 가진 정책 네트워크가 네 가지 격자 게임 중 어떤 게임을 학습했는지 물었다. 네 게임은 입력 채널, 행동 공간, 네트워크 구조가 동일했지만 Astra는 네 사례를 모두 맞혔다. 연구진은 첫 번째 층 가중치의 공간적 분포와 출력층의 행동 구분 패턴이 단서가 됐다고 본다.
• 확산 모델의 목표 읽기. 원, 삼각형, 사각형을 각각 생성하도록 학습한 DDPM에 대해 Astra는 가중치만으로 생성 대상을 식별했다. 출력층의 패턴에서 도형의 윤곽도 찾아냈지만, 실제로는 채워진 도형을 윤곽선으로 해석했다. 따라서 분석이 항상 정확한 것은 아니다.
• 소형 네트워크 작성. MinAtar 게임과 바둑을 플레이하는 정책 네트워크를 처음부터 만들도록 했다. 원문은 환경 피드백 없이 생성한 일부 네트워크가 장시간 PPO로 학습한 비교 네트워크보다 좋은 성능을 보였다고 설명한다.
• 언어 모델 편집. 가장 주목받은 실험은 Qwen3.5-0.8B의 수학 능력 개선이었다. Astra는 추론 반복과 관련된 가중치 문제를 찾아냈다고 판단하고, 약 0.016%의 가중치를 수정했다. 같은 샘플링 설정에서 MATH-500은 7.9%에서 48.1%로, IFEval은 약 세 배로 상승했다.

의미와 한계

이 결과가 안정적으로 재현된다면 모델 개선에는 일반적인 그래디언트 학습과 다른 경로가 추가될 수 있다. LLM이 네트워크 각 부분의 역할을 추정하고, 자연어 목표에 따라 특정 실패를 일으키는 부분을 국소적으로 수정하는 방식이다. 이는 특정 오류 패턴의 수리, 내부 표현 분석, 과제별 소형 모델 제작에 활용될 가능성이 있다.

다만 현재 결과를 기존 최적화 기법의 대체재로 보기는 이르다. 실험에 사용된 구조와 과제의 범위가 제한적이며, 가중치에 나타난 해석하기 쉬운 패턴에 의존했을 가능성도 있다. 유용한 패턴을 찾아내는 능력이 모델 내부 메커니즘을 완전하고 신뢰성 있게 이해한다는 뜻은 아니다. Qwen 결과 역시 더 많은 모델 버전, 데이터셋, 난수 시드, 평가 조건에서 확인해야 한다.

단기적으로는 수치 최적화가 안정적인 탐색을 맡고, LLM이 가설을 세우고 이상을 진단하며 감사 가능한 소규모 수정을 수행하는 하이브리드 방식이 현실적이다. 가중치는 더 이상 학습의 최종 산출물에만 머무르지 않고, 언어 모델이 직접 읽고 프로그래밍할 수 있는 대상으로 바뀔 가능성이 있다.

출처: Hacker News