ISO: RLVR 최적화를 ‘스펙트럼 고정, 프레임 학습’으로 재정의하다

도입

검증 가능한 보상을 사용하는 강화학습, 즉 RLVR은 언어모델의 추론 및 코딩 능력을 끌어올리는 주요 방법으로 자리 잡고 있다. 그러나 보상 신호가 실제로 모델의 가중치 공간에서 어떤 업데이트로 이어지는지는 아직 충분히 설명되지 않았다. 논문 “ISO: An RLVR-Native Optimization Stack”은 이 빠진 최적화 계층을 모델 가중치의 특이 구조 관점에서 분석한다.

저자들의 핵심 주장은 명확하다. RLVR은 기반 모델의 특이값 스펙트럼을 거의 다시 쓰지 않으며, 새로운 행동과 능력은 주로 입력 및 출력 특이 프레임, 즉 U와 V의 변화에 담긴다는 것이다.

핵심 내용

• 스펙트럼 상속. 논문은 RLVR이 기반 모델의 가중치 스펙트럼을 재사용하면서도 특이 프레임의 변화를 통해 새로운 능력을 얻는 현상을 spectral inheritance로 정의한다.
• 스펙트럼 교환 실험. 기반 모델의 스펙트럼을 RL checkpoint에 다시 넣어도 벤치마크 성능은 RL 수준을 유지한다. 반대로 RL 이후의 스펙트럼을 RL 이전 프레임에 이식해도 성능 향상은 나타나지 않는다고 보고된다. 이는 능력 변화가 스펙트럼보다 프레임에 더 크게 의존한다는 해석을 뒷받침한다.
• ISO-Merger의 오프라인 병합. 같은 기반 모델을 공유하는 여러 RL 전문가 모델의 프레임 변화를 합성해 하나의 고정 스펙트럼 모델을 만든다. 병합 후 데이터, rollout, 그래디언트 업데이트, on-policy distillation이 필요 없다는 점이 특징이다. 논문 비교에서는 TA, TIES, TSV, RAM, OrthoMerge 등 데이터 없는 병합 방법보다 강한 집계 성능을 보였다.
• ISO-Optimizer의 온라인 학습. AdamW나 Muon 같은 기본 옵티마이저를 프레임 변수에 적용하고 기반 스펙트럼은 고정한다. 1.5B에서 8B 규모의 추론 및 코딩 과제에서, 보고된 실험은 더 적은 학습 스텝으로 비슷한 점수에 도달하거나 더 높은 정확도를 얻을 수 있음을 보여준다.

의미와 영향

ISO의 의미는 단순히 또 하나의 옵티마이저를 제안했다는 데 있지 않다. RLVR 후학습에서는 가중치 전체를 무차별적으로 갱신하기보다, 보상 기반 적응이 실제로 나타나는 구조에 맞춰 최적화를 설계해야 한다는 관점을 제시한다.

구체적으로 Qwen3-8B-Base에서 AdamW는 270 학습 스텝 후 aggregate accuracy 0.495에 도달했다. 반면 ISO-AdamW는 100 스텝 만에 같은 정확도에 도달했고, 210 스텝에서는 0.509까지 향상됐다고 보고된다. 이는 고정 스펙트럼과 프레임 최적화 조합이 일부 RLVR 설정에서 학습 효율을 높일 수 있음을 시사한다.

물론 더 넓은 모델군과 과제에서 독립적인 재현 검증은 필요하다. 그럼에도 ISO는 RLVR이 모델을 어떻게 바꾸는지 이해하는 데 유용한 구조적 가설을 제공하며, 향후 전문가 모델 병합과 후학습 최적화 설계에 영향을 줄 수 있다.

출처: Hugging Face Daily Papers