아티클 목록으로

언어 모델은 자신의 가중치를 다시 쓸 수 있을까

약 3분 소요

개요

배포된 언어 모델은 대개 가중치를 고정한 채 사용됩니다. 성능을 개선하려면 다시 학습하는 경우가 많고, 추론 단계에서 프롬프트나 추가 계산을 사용해도 그 효과가 모델의 가중치에 남는 것은 아닙니다. 이번 연구는 모델이 자신의 답변을 살펴본 뒤 가중치를 직접 수정하는 방법을 제안합니다. 연구진은 이를 ‘자기 재작성’이라고 부릅니다.

핵심 결과

  • 모델이 실패를 진단하고 직접 편집합니다. 실험에 사용된 27B 모델은 자신의 가중치와 채점된 답변을 확인하고, 스스로를 실행할 수 있습니다. 이를 바탕으로 추론을 통해 실패 원인을 찾고 가중치 변경을 제안합니다. 기울기 업데이트나 일반적인 학습은 사용하지 않습니다.
  • 미공개 문제에서 성능이 개선됐습니다. 논문에 따르면 한 차례 편집으로 사전에 평가 방식이 고정된 미공개 문제 490개에서 정확도가 6.6%포인트 높아졌습니다. 별도 세션의 편집도 유의미한 개선을 보였다고 합니다.
  • 자체 테스트가 뒷받침할 때만 변경을 채택합니다. 모델은 자체 테스트 결과가 변경을 지지할 때 편집을 제출하고, 새 편집은 이전 편집을 대체합니다. 첫 8개 세션 동안 보고된 정확도는 계속 상승했습니다.
  • 손상된 모델 복사본도 복구했습니다. 모델은 손상된 행렬을 찾아 정상 모델의 해당 가중치를 읽지 않은 채 자신이 가진 값으로 다시 작성했습니다. 텍스트 수학 문제만으로 복구 방법을 찾았지만, 미공개 이미지 벤치마크 6개에서 정확도가 7%에서 70%로 올라 정상 모델 성능의 83%에 도달했다고 보고했습니다.

의미와 남은 과제

다양한 작업과 독립 평가에서 결과가 재현된다면, 자기 재작성은 프롬프트 기반 조정과 전체 재학습 사이의 선택지가 될 수 있습니다. 추론 중에만 적용되는 요령과 달리 편집 결과는 가중치에 남으며, 연구진은 답변마다 추가 추론 비용이 들지 않는다고 설명합니다. 또한 오픈 모델과 GPU 한 대에서 수 시간 실행하면 되며, 별도의 학습 인프라가 필요하지 않다고 주장합니다.

다만 이 결과만으로 모델이 일반적인 환경에서 안전하게 스스로 개선할 수 있다고 단정할 수는 없습니다. 공개된 요약만으로는 다른 모델 구조와 작업에서의 재현성이나 편집 실패 가능성을 충분히 판단하기 어렵습니다. 모델이 변경안을 만들고 자체 테스트로 선별하는 구조인 만큼, 독립적인 테스트 세트와 장기 회귀 평가, 문제가 생겼을 때 편집을 되돌릴 수 있는 장치가 중요합니다. 핵심은 모델이 가중치를 바꿀 수 있는지뿐 아니라, 그 변경을 검증 가능한 제약 안에서 통제할 수 있는지입니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
학습 없이 산술 회로를 LLM 가중치에 컴파일하는 방법
대규모 언어 모델
cctest.ai
대규모 언어 모델

학습 없이 산술 회로를 LLM 가중치에 컴파일하는 방법

기울기 업데이트나 학습 예제, 외부 도구 없이 산술·논리 회로를 사전학습 언어 모델의 가중치에 넣는 방법이 제안됐다. 보고된 결과는 유망하지만, 평가된 과제와 조건의 범위 안에서 해석해야 한다.

더 보기
CCTest · Blog
LLM 가중치 0.05% 미만 삭제만으로도 후학습 가능
대규모 언어 모델
cctest.ai
대규모 언어 모델

LLM 가중치 0.05% 미만 삭제만으로도 후학습 가능

새 연구는 사전학습된 대규모 언어 모델의 가중치 0.05% 미만을 0으로 만드는 것만으로 여러 후학습 설정에서 전체 파인튜닝에 가까운 성능을 낼 수 있다고 보고했습니다. 업데이트 파일 크기를 크게 줄이고 기존 능력의 망각도 완화할 수 있다는 점이 핵심입니다.

더 보기
CCTest · Blog
희소 오토인코더가 밝혀낸 MoE 전문가의 세밀한 분업
대규모 언어 모델
cctest.ai
대규모 언어 모델

희소 오토인코더가 밝혀낸 MoE 전문가의 세밀한 분업

Qwen3-30B-A3B를 분석한 연구에서 MoE 전문가의 역할은 단순한 라우팅 빈도보다 훨씬 세밀하게 나뉘는 것으로 나타났습니다. 전문가들은 코드나 수학 같은 대분류를 넘어 Java, 프런트엔드, 기하, 산술 등 특정 특징에 집중적으로 기여했습니다.

더 보기