Loopie, 루프형 Transformer의 가능성을 다시 묻다

도입

대형 언어 모델의 성능 향상은 대체로 더 많은 파라미터, 더 많은 데이터, 더 많은 계산량에 의해 추진돼 왔다. 하지만 이러한 확장은 비용 부담을 빠르게 키운다. 논문 “Loop the Loopies!”에서 제안된 Loopie는 같은 Transformer 연산을 반복적으로 사용하는 루프형 구조를 다시 전면에 내세운다.

핵심 내용

• 모델 구성: Loopie는 Mixture-of-Experts(MoE)를 결합한 루프형 Transformer 모델군이다. 논문에는 총 20B 파라미터와 2B 활성 파라미터를 가진 모델, 그리고 총 6B 파라미터와 0.6B 활성 파라미터를 가진 모델이 포함된다.
• 해결하려는 문제: 루프형 Transformer는 오래된 한계를 갖고 있었다. 사전학습 계산량을 N배 늘릴 수 있을 때, 같은 모델을 N번 반복하는 것보다 파라미터 수를 N배 키우는 편이 보통 더 좋은 결과를 냈다.
• 논문의 주장: 저자들은 Loopie가 이 격차를 줄였다고 주장한다. 다양한 소거 실험과 vanilla 30B-A3B 모델과의 비교를 통해, 동일한 계산 예산으로 학습한 일반 Transformer 기준 모델보다 Loopie가 상당히 우수하다고 보고했다.
• 추론 능력 강화: 논문은 새로운 후처리 학습 파이프라인도 강조한다. 초록에 따르면 Loopie는 2025년 IMO와 IPhO에서 도구 없이 금메달 수준의 성능을 달성했다.

의미와 영향

Loopie의 흥미로운 지점은 단순히 또 하나의 MoE 모델이라는 데 있지 않다. 핵심은 파라미터를 무작정 늘리지 않고도 계산 깊이를 높일 수 있느냐는 질문이다. MoE는 전체 용량과 실제 활성 계산량을 분리하는 방식으로 주목받아 왔고, 루프 구조는 동일한 구성 요소를 반복 사용해 더 깊은 처리를 만들 수 있다는 가능성을 더한다.

저자들의 결과가 더 넓은 벤치마크와 실제 사용 환경에서도 재현된다면, Loopie는 LLM 확장의 또 다른 경로를 제시할 수 있다. 특히 학습 비용이 계속 상승하는 상황에서 성능 대비 계산 효율을 높이는 접근으로 의미가 있다.

다만 현재 제공된 자료는 주로 초록과 논문 페이지 정보에 기반한다. 구체적인 아키텍처 변경, 학습 데이터, 평가 방식, 후처리 학습의 기여도는 원문을 통해 확인해야 한다. 특히 동일 계산량 비교와 대회 수준 추론 성능 주장은 평가 프로토콜에 따라 해석이 달라질 수 있으므로 신중한 검증이 필요하다.

출처: Hugging Face Daily Papers