아티클 목록으로
대규모 언어 모델

Transformer는 너무 일찍 멈춘다? 작은 LoRA가 추론 릴레이를 재가동

약 3분 소요

들어가며

Transformer의 층이 많다고 해서 모든 작업에서 그 깊이를 충분히 사용하는 것은 아니다. Hugging Face Daily Papers에 소개된 이번 연구는 모델이 사고 과정을 출력하지 않고 답만 제시하는 조건에서, 참조 관계를 얼마나 멀리 따라갈 수 있는지 살펴봤다.

예를 들어 K = apple; B = K; D = B; print(D)라는 프로그램이 있다고 하자. 정답을 얻으려면 변수의 부모 관계를 순서대로 추적해야 한다. 연구진이 0.6B부터 32B까지 13개 사전학습 모델을 평가한 결과, 모델이 안정적으로 처리하는 범위는 보통 1.4~3.6줄에 불과했다. 모델의 깊이를 늘리거나 사전학습 루프를 추가해도 이 범위는 크게 확장되지 않았다.

핵심 결과

  • 아주 작은 어댑터가 실질적인 계산 깊이를 바꿨다. Qwen3-8B의 초기 층에 rank-8 LoRA를 넣고 기본 모델의 모든 가중치를 동결하자, 24줄 참조 사슬의 완전 일치 정확도가 15.5%에서 99%로 상승했다. 추가된 파라미터는 65,537개뿐이다. 더 오래 학습한 버전은 한 번의 순방향 계산으로 50줄까지 처리했다.
  • LoRA는 계산 릴레이를 시작하는 것으로 보인다. LoRA는 각 토큰에 독립적으로 작용하며 토큰 사이의 정보를 직접 옮기지 않는다. 대신 각 프로그램 행의 사슬 정체성이 동결된 중간 층, 특히 16~22층을 거쳐 전달되도록 준비한다. 이후의 어텐션 헤드는 사슬의 더 앞쪽에 있는 조상을 점점 더 멀리 읽는다.
  • 삽입 위치에는 급격한 절벽이 있다. 같은 학습법을 20층에 적용하면 약 20.5줄까지 도달했지만, 21층으로 옮기면 5.2줄로 떨어졌다. 동결 모델을 이용한 측정법은 별도로 남겨둔 4개 모델 중 3개에서 유효한 개입 경계를 사전 등록된 허용 범위 안에서 찾아냈다.
  • 반복 구조는 효과를 더 키울 수 있다. Ouro-1.4B에서 각 루프에 LoRA를 적용하자 4회 루프에서 60줄, 8회 루프에서 최소 160줄을 처리했다. 이는 두 사슬 중 하나를 고르는 과제에서의 결과다.
  • 합성 과제에만 머물지 않았다. MuSiQue에서는 세 표준 모델에 각각 학습한 초기 층 LoRA가 완전 일치 점수를 9.4~17.9포인트 높였다. 다만 해당 실험은 정답 문단이 제공된 조건에서 진행됐다.

의미와 한계

이 연구가 말하는 핵심은 작은 LoRA가 일반 지능을 새로 만들어낸다는 뜻이 아니다. 특정 작업에서 사전학습 모델은 이미 반복 계산을 표현할 수 있지만, 그 계산을 시작하거나 계속 이어가는 데 실패할 수 있다는 것이다. LoRA는 일종의 작동 신호가 되어 동결된 층들이 중간 상태를 더 멀리 전달하도록 만든다.

따라서 모델을 개선하는 방법도 달라질 수 있다. 모든 층을 미세조정하거나 모델 규모를 키우기 전에, 유용한 계산이 어느 층에서 멈추는지 측정한 뒤 특정 위치만 편집하는 방식이다. 다만 가장 강한 결과는 구조화된 참조 사슬과 통제된 다단계 QA에서 나왔으며, 개방형 환경의 일반적인 추론 신뢰성을 보장하지는 않는다. 효과가 모델 구조, 학습 과제, LoRA 삽입 위치에 의존한다는 점도 중요하다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
LLM 가중치 0.05% 미만 삭제만으로도 후학습 가능
대규모 언어 모델
cctest.ai
대규모 언어 모델

LLM 가중치 0.05% 미만 삭제만으로도 후학습 가능

새 연구는 사전학습된 대규모 언어 모델의 가중치 0.05% 미만을 0으로 만드는 것만으로 여러 후학습 설정에서 전체 파인튜닝에 가까운 성능을 낼 수 있다고 보고했습니다. 업데이트 파일 크기를 크게 줄이고 기존 능력의 망각도 완화할 수 있다는 점이 핵심입니다.

더 보기
CCTest · Blog
희소 오토인코더가 밝혀낸 MoE 전문가의 세밀한 분업
대규모 언어 모델
cctest.ai
대규모 언어 모델

희소 오토인코더가 밝혀낸 MoE 전문가의 세밀한 분업

Qwen3-30B-A3B를 분석한 연구에서 MoE 전문가의 역할은 단순한 라우팅 빈도보다 훨씬 세밀하게 나뉘는 것으로 나타났습니다. 전문가들은 코드나 수학 같은 대분류를 넘어 Java, 프런트엔드, 기하, 산술 등 특정 특징에 집중적으로 기여했습니다.

더 보기
CCTest · Blog
거의 0인 토큰 임베딩이 게이트형 모델 학습을 멈추게 하는 이유
대규모 언어 모델
cctest.ai
대규모 언어 모델

거의 0인 토큰 임베딩이 게이트형 모델 학습을 멈추게 하는 이유

희귀 토큰의 입력 임베딩이 거의 0으로 줄어들면 게이트형 시퀀스 모델에서 그래디언트가 극단적으로 증폭되고 학습 업데이트가 조용히 사라질 수 있다. 연구진은 기존 체크포인트와 사전학습을 위한 두 가지 완화책을 제안했다.

더 보기