아티클 목록으로

학습 없이 산술 회로를 LLM 가중치에 컴파일하는 방법

약 3분 소요

대규모 언어 모델은 그럴듯한 계산식을 내놓으면서도 여러 자리 연산에서는 틀릴 수 있다. 보통은 추가 미세조정이나 계산기 같은 외부 도구를 사용해 이를 보완한다. 이 연구는 다른 길을 제안한다. 결정론적 계산 회로를 사전학습 모델의 가중치에 직접 컴파일하는 방식이다. 기울기 업데이트와 학습 예제를 쓰지 않고, 추론 시 외부 도구를 연결하지도 않는다. 모델은 기존 model.generate() 인터페이스로 실행된다.

단순히 프롬프트에 계산 규칙을 적어 넣는 접근은 아니다. 자동 컴파일러가 부호 있는 덧셈·뺄셈·곱셈 회로와 Boolean, Majority, Parity 회로를 모델 구성 요소에 매핑한다. 정규화가 내부 활성값의 스케일을 바꾸고, 피연산자 정보를 토큰 사이로 전달해야 한다는 점이 기술적 난관이다. 연구진은 Mellin-GLU를 이용해 RMSNorm에 따른 스케일 변동에 대응하고, Attention이나 GatedDeltaNet 등을 활용해 토큰 간 정보를 전달한다. 은닉 차원을 늘리고 출력 매핑을 조정해 결과를 정해진 형식으로 내보내는 방식도 사용한다.

논문은 Granite 4.2 3B와 Qwen 3.5 4B를 평가했다. 6자리 산술의 ALU-prefix 정확도는 Granite에서 99.17%, Qwen에서 100%였으며, FP32 회로 사이드카를 사용한 평가에서는 100%를 기록했다고 보고했다. Boolean 회로는 1,728개 테스트에서, Majority와 Parity 회로도 평가 대상에서 100%를 달성했다. 추가되는 활성 가중치는 0.06% 미만이라고 한다. 또한 도메인 외 입력 11,134개에서 오작동이 없었고, 사전 등록된 자연어 평가 분할 14개에서도 비열등성 문제가 나타나지 않았다고 보고한다.

이 결과는 모델 가중치가 데이터에서 학습한 패턴뿐 아니라 명시적이고 결정론적인 프로그램도 담을 수 있다는 가능성을 보여준다. 다만 벤치마크의 정확도가 모든 표현 방식, 자릿수, 정밀도 설정에서의 신뢰성을 보장하는 것은 아니다. 제공된 자료만으로는 적용 범위의 경계를 독립적으로 판단하기에도 정보가 충분하지 않다. 프롬프트 형식과 모델 구조, 양자화 조건을 바꾼 재현 실험과 더 폭넓은 언어 능력 평가가 뒤따라야 한다.

후속 검증에서 효과가 확인된다면, 이 방법은 미세조정이나 도구 호출과 다른 방식으로 제한적이고 예측 가능한 기능을 추가할 수 있다. 추론 경로를 모델 안에 통합할 수 있는 장점이 있지만, 컴파일러와 가중치 변경을 세심하게 설계하고 검증해야 한다. 이 연구가 LLM이 모든 수학 문제를 안정적으로 풀게 됐다는 뜻은 아니다. 범위가 정해진 계산 작업을 기존 모델 안에 구조적으로 넣고 검증할 수 있는지 탐색하는 단계다.

Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
LLM 가중치 0.05% 미만 삭제만으로도 후학습 가능
대규모 언어 모델
cctest.ai
대규모 언어 모델

LLM 가중치 0.05% 미만 삭제만으로도 후학습 가능

새 연구는 사전학습된 대규모 언어 모델의 가중치 0.05% 미만을 0으로 만드는 것만으로 여러 후학습 설정에서 전체 파인튜닝에 가까운 성능을 낼 수 있다고 보고했습니다. 업데이트 파일 크기를 크게 줄이고 기존 능력의 망각도 완화할 수 있다는 점이 핵심입니다.

더 보기
CCTest · Blog
희소 오토인코더가 밝혀낸 MoE 전문가의 세밀한 분업
대규모 언어 모델
cctest.ai
대규모 언어 모델

희소 오토인코더가 밝혀낸 MoE 전문가의 세밀한 분업

Qwen3-30B-A3B를 분석한 연구에서 MoE 전문가의 역할은 단순한 라우팅 빈도보다 훨씬 세밀하게 나뉘는 것으로 나타났습니다. 전문가들은 코드나 수학 같은 대분류를 넘어 Java, 프런트엔드, 기하, 산술 등 특정 특징에 집중적으로 기여했습니다.

더 보기