하나의 모델로 추론량을 조절하는 ELR, 순환 모델의 약점 보완

들어가며

대부분의 대규모 언어 모델은 정해진 깊이로 추론합니다. 반면 잠재 순환 언어 모델은 동일한 레이어 블록을 숨은 상태에 반복 적용합니다. 루프 횟수를 바꾸면 계산량과 품질 사이의 균형을 요청별로 조절할 수 있습니다. 적은 루프는 지연시간을 줄이고, 많은 루프는 추가 계산을 통해 결과를 다듬는 방식입니다.

그러나 기존 순환 모델에는 뚜렷한 약점이 있었습니다. 한 번만 실행하면 같은 규모의 비순환 모델보다 성능이 크게 떨어지는 이른바 ‘1회 루프 세금’입니다. 지연시간이 중요한 서비스라면 이 차이 때문에 일반 모델을 사용하는 편이 더 합리적일 수 있습니다. 논문 One Model to Loop Them All은 Elastic Latent Recurrence(ELR)라는 학습 레시피로 이 문제를 해결하려 합니다.

ELR의 핵심 구성

ELR은 단순히 같은 블록을 반복하는 대신 세 가지 설계를 적용합니다.

• 게이트형 상태 업데이트와 학습 가능한 스텝 크기: 각 루프가 현재 숨은 상태를 얼마나 바꿀지 모델이 조절하게 합니다. 반복 처리로 상태가 불안정해지는 것을 막고 첫 루프의 기본 성능을 보존하려는 방식입니다.
• 최적화 업데이트마다 여러 루프 깊이 혼합: 학습 중 서로 다른 루프 수를 함께 사용해 낮은 예산과 높은 예산의 추론을 하나의 체크포인트가 모두 처리하도록 합니다.
• 루프 번호와 예산 조건화: 모델에 현재 몇 번째 루프인지, 사용할 수 있는 계산 예산이 얼마인지 알려줍니다. 이후 루프가 무작정 반복되는 대신 명확한 개선 단계로 작동하도록 유도합니다.

논문에 따르면 앞의 두 요소는 주로 1회 루프 성능을 유지하고, 세 번째 요소는 루프를 추가할 때 손실을 낮추는 역할을 합니다. 혼합 깊이 학습을 사전학습 초기부터 적용할 필요도 없습니다. 학습 후반에 조건화 모듈을 추가하고 이를 0으로 초기화해 전환하면, 처음부터 혼합 깊이로 학습한 경우보다 낮은 손실을 얻으면서 추가 학습 비용을 제한할 수 있다는 결과가 제시됐습니다.

실험 결과와 서비스 비용

실험은 4B 밀집 모델과 30B-A3B MoE 하이브리드 모델에서 진행됐습니다. 대응하는 비순환 기준 모델과 비교했을 때 1회 루프의 10개 작업 평균은 각각 0.52점 낮았고 1.04점 높았습니다. 4회 루프로 늘리면 평균 점수가 각각 7.25점과 4.75점 추가로 상승했습니다. 핵심은 모든 요청에 가장 많은 루프를 적용하는 것이 아니라, 하나의 체크포인트로 지연시간과 품질이 다른 여러 서비스 모드를 제공하는 데 있습니다.

MoE 모델에서는 루프마다 전문가 경로를 계산하는 비용도 고려해야 합니다. ELR은 이후 루프에서 첫 루프의 전문가 경로를 재사용해 혼합 깊이 업데이트 시간을 11.7% 줄였으며, 정확도에는 측정 가능한 변화가 없었다고 보고합니다. 추론 단계에서는 마지막 루프의 어텐션 KV 캐시만 유지할 수 있습니다. 이렇게 하면 어텐션 KV 메모리를 1회 루프 수준으로 유지하면서 추가 루프의 이점 대부분을 확보할 수 있습니다.

후처리된 Koi-4B에 대해 저자들은 Artificial Analysis Intelligence Index의 추정 점수를 1회 루프에서 18, 4회 루프에서 29로 제시합니다. 1회 루프 점수는 Qwen3.5-4B와 비교됩니다. 다만 이 수치는 논문에서 보고한 추정 결과이며, 모든 평가에서 보장되는 일반적 성능으로 해석해서는 안 됩니다.

의미와 한계

ELR은 모델 선택의 일부를 ‘추론 예산 선택’으로 바꿉니다. 서비스 운영자는 요청 우선순위, 장치 부하, 허용 지연시간에 따라 루프 수를 조정할 수 있고, 빠른 모델과 고품질 모델을 별도로 관리해야 하는 부담을 줄일 수 있습니다.

물론 추가 루프에는 추가 계산이 필요하며, 루프 증가의 효과가 모든 작업에서 같다고 볼 수는 없습니다. 이번 결과 역시 특정 모델 규모와 학습 설정에 기반하므로 더 큰 모델, 긴 컨텍스트, 다른 후처리 방식에서의 재현성은 추가 검증이 필요합니다. 그럼에도 ELR은 가변 추론 깊이를 사후 기능이 아니라 학습 단계에서 최적화해야 할 배포 능력으로 바라보는 실용적인 방향을 제시합니다.

출처: arXiv