MiMo-V2.6이 제시한 모델 자기개선을 위한 대규모 강화학습

들어가며

강화학습은 기반 모델을 단순한 다음 토큰 예측기에서 추론과 도구 사용, 실제 과업 수행이 가능한 시스템으로 발전시키는 핵심 수단으로 주목받고 있다. 하지만 RL을 대규모로 확장하는 일은 가속기를 더 투입하는 것만으로 해결되지 않는다. MiMo-V2.6 기술 보고서는 옴니모달 모델군을 대상으로 학습, 환경, 평가, 운영 인프라를 함께 설계하는 접근을 제시한다.

핵심 내용

• 세 방향의 확장. 첫째는 배치와 처리량이다. 비동기 학습은 한 스텝마다 1568개 샘플과 약 27억~37억 토큰을 처리하며, 최대 약 100만 토큰의 컨텍스트 길이를 지원한다. 둘째는 환경의 다양성과 복잡성이다. 코드, 일반 과업, 시각, 사이버 영역을 여러 에이전트 하네스와 결합한다. 셋째는 평가 연산의 확대다. 그룹 단위 에이전트 평가를 사용해 장기 과업에 더 정확한 보상 신호를 만들고, 더 짧고 토큰 효율적인 해법을 유도한다.
• RL 이전의 멀티모달 중간 학습. 강화학습에 들어가기 전에 폭넓은 멀티모달 코퍼스로 중간 학습을 수행해 이후 탐색에 필요한 능력과 공간을 확보한다. 기반 인프라는 사전 학습된 hybrid-SWA 아키텍처 위에 구축된다.
• 안정성과 보상 해킹 방어. 대규모 학습의 불안정성을 줄이기 위해 MoE 라우터를 고정하고, 모델이 실제 문제를 해결하지 않고 평가 규칙의 허점만 이용하는 보상 해킹을 막기 위한 다층 방어를 마련했다. 장기 궤적에서 보상 신호가 왜곡될 가능성을 다루려는 설계다.
• 혼합 과업을 위한 공통 파이프라인. 통합 궤적 표현, 여러 프레임워크를 활용한 고동시성 롤아웃, 제어 플레인과 데이터 플레인의 분리, 학습과 추론의 일관성을 포함한다. 특정 벤치마크만 최적화하기보다 서로 다른 과업을 하나의 에이전트 RL 시스템에서 처리하려는 방향이다.

의미와 한계

MiMo-V2.6의 중요한 점은 강화학습을 모델 파라미터를 업데이트하는 절차가 아니라, 환경 구성과 샘플링, 채점, 안정화가 결합된 시스템 문제로 본다는 데 있다. 특히 긴 추론이나 다단계 실행이 필요한 과업에서는 모델의 능력뿐 아니라 보상 신호의 품질도 성능을 좌우한다. 평가기에 더 많은 연산을 배정하는 에이전트형 채점은 이 피드백을 개선하려는 한 가지 방법이다.

다만 제공된 자료에는 전체 벤치마크 표나 모든 과업에서의 우위가 제시되어 있지 않다. 따라서 MiMo-V2.6을 전 영역에서 선도하는 모델이라고 단정하기보다는, 대규모 RL을 구축하고 운영하기 위한 공학적 경로를 정리한 보고서로 이해하는 편이 타당하다. 학습 동역학, RL 환경, 프레임워크가 공개되면 연구자들은 이 구성을 재현하고, 강화학습이 실제 자기개선으로 이어지는지 검증할 수 있을 것이다.

출처: Hugging Face Daily Papers