Muon은 언제 에이전트 강화학습에 도움이 될까? 핵심은 조합이다

도입

Muon은 대규모 사전학습에서 AdamW와 경쟁할 수 있는 옵티마이저로 주목받고 있다. 하지만 강화학습 기반 후학습, 특히 긴 행동 시퀀스와 희소 보상을 다루는 에이전트 RL에서도 같은 장점이 유지되는지는 분명하지 않았다. 논문 “When Does Muon Help Agentic Reinforcement Learning?”은 바로 이 질문을 다룬다.

연구진은 ALFWorld 환경에서 Qwen2.5-0.5B-Instruct를 사용해 vanilla Muon과 AdamW를 비교했다. 핵심은 Muon을 범용 대체재로 주장하지 않는다는 점이다. 논문은 정책 옵티마이저, advantage estimator, learning rate가 함께 맞물릴 때 성능 차이가 나타난다고 본다.

핵심 내용

• GiGPO에서는 뚜렷한 개선이 있었다. Group-in-Group Policy Optimization 설정에서 Muon을 hidden weight matrix에만 적용하자 최종 윈도우 검증 성공률이 AdamW의 0.290에서 0.546으로 올랐다. 상대적으로는 88% 개선이다. 높은 learning rate의 AdamW 대조군은 업데이트 이후 성공을 유지하지 못했기 때문에, 단순히 AdamW의 학습률을 높인다고 같은 효과가 나는 것은 아니다.

• advantage estimator가 결과를 바꾼다. learning rate 3e-5에서 Muon은 GRPO 성공률을 0.161에서 0.268로 개선했다. 반면 GraphGPO에서는 후반 성능이 포화에 가까워지면서 late-window 격차가 좁아졌다. 이는 에이전트 RL에서 옵티마이저 비교가 credit assignment 방식과 분리될 수 없다는 점을 보여준다.

• learning rate도 결정적 변수다. 1e-5 설정에서 GraphGPO와 Muon 조합은 성공률 0.901에 도달했고, normalized validation AUC를 0.399에서 0.556으로 높였다. 또한 성공률 0.5와 0.75 기준에 도달하는 시점이 각각 30회, 60회 업데이트만큼 빨라졌다.

의미와 영향

이 연구의 의미는 에이전트 RL 후학습에서 옵티마이저 선택을 다시 중요한 설계 요소로 끌어올렸다는 데 있다. 최근 논의는 보상 설계, 샘플링, advantage estimation에 집중되는 경우가 많지만, 이 논문은 옵티마이저 역시 긴 horizon과 희소 보상 환경에서 안정성과 학습 효율에 영향을 줄 수 있음을 보여준다.

다만 결과를 과도하게 일반화해서는 안 된다. 실험은 단일 시드 비교이며, ALFWorld와 Qwen2.5-0.5B-Instruct 조합에 집중되어 있다. 저자들도 다중 시드 검증과 태스크 간 검증이 아직 남아 있다고 명시한다.

실무적으로 볼 때 Muon은 “AdamW를 무조건 대체하는 도구”라기보다, 적절한 advantage estimator와 learning rate가 함께 선택될 때 효과를 낼 수 있는 옵션에 가깝다. 에이전트 RL 후학습을 개선하려는 팀이라면 옵티마이저, estimator, learning rate를 별개의 스위치가 아니라 하나의 결합된 시스템으로 조정해야 한다는 메시지가 중요하다.

출처: Hugging Face Daily Papers