샤오미, MiMo-V2.6 강화학습 공개…에이전트 RL의 확장 전략

강화학습 과정을 공개하다

샤오미가 MiMo-V2.6의 Flash와 Pro 모델을 대상으로 진행 중인 강화학습 과정을 공개했다. 기존 오픈 모델 프로젝트가 가중치, 코드 또는 데이터셋을 공개하는 데 집중했다면, 이번에는 훈련 자체의 일부를 외부에서 관찰할 수 있게 한 점이 다르다.

공개 페이지에서는 훈련 단계와 보상 곡선, 누적 비용, 진행 상황을 확인할 수 있다. 일부 계산 노드에서 발생한 GPU 장애도 표시된다. 공개된 내용에 따르면 Pro 훈련이 시작된 뒤 약 36시간 동안 두 모델에 투입된 비용은 108만 달러를 넘었고, 평균 시간당 비용은 약 3만 달러였다. 이 수치가 이후에도 같은 속도로 유지된다는 뜻은 아니지만, 에이전트 강화학습을 대규모로 운영하는 데 필요한 인프라 비용을 보여주는 사례다.

샤오미가 제시한 세 가지 확장 축

샤오미는 MiMo의 강화학습 확장을 세 방향으로 설명한다.

• 훈련 연산량 확대. 한 훈련 Step에서 약 20억 토큰을 처리하며, 1568개의 프롬프트에 대해 각각 16개의 롤아웃을 생성한다. 같은 문제를 여러 번 시도하게 하면 단일 답변이 아니라 다양한 행동 궤적을 비교해 학습 신호를 만들 수 있다.
• 환경과 실행 하네스 확대. 코드, 일반 작업, 비전, 대화 등 여러 종류의 작업을 하나의 Multi-task Agentic RL 과정에 섞는다. 작업마다 다른 하네스를 사용할 수 있으며, 코드 에이전트는 터미널을 열고 파일을 수정하고 테스트를 실행한 뒤 오류를 확인하며 다시 행동할 수 있다.
• 평가 연산량 확대. 복잡한 에이전트 작업에서는 최종 성공 여부만으로 각 행동의 가치를 설명하기 어렵다. 샤오미는 Agentic In-group Credit Assignment를 언급하며, 같은 프롬프트에서 생성된 여러 궤적을 비교해 어떤 행동이 결과에 기여했는지 더 세밀하게 추정하려 한다. 다만 구체적인 알고리즘은 아직 공개되지 않았다.

전체 시스템은 Fully Async 방식으로 동작한다. 롤아웃 생성, 환경 실행, 보상 계산, 모델 업데이트가 하나의 고정된 순서로 끝날 때까지 기다리는 대신, 각 작업이 서로 다른 속도로 동시에 진행된다. 장시간 실행되는 에이전트 작업이 포함된 대규모 훈련에서 유휴 시간을 줄이기 위한 설계다.

초기 수치는 참고용

공개된 곡선에서 Pro의 dynsam/avg@n은 약 0.565에서 0.614로, Flash는 약 0.514에서 0.603으로 상승했다. 최신 DeepSWE v1.1 오프라인 평가에서는 Pro가 62.24, Flash가 60.77을 기록했으며, 비교 대상인 DeepSeek-Flash v1.1은 74.2%였다. 다만 훈련이 시작된 지 아직 하루 남짓한 초기 단계이므로, 이를 최종 순위나 성능으로 해석해서는 안 된다. Pro는 한 Step을 완료하는 데 더 오래 걸리기 때문에 최신 점수 공개에도 차이가 있다.

이번 공개의 의미는 비용 규모에만 있지 않다. 에이전트의 경험 생성, 환경과의 상호작용, 보상 계산, 하드웨어 자원 사용량이라는 기존의 비공개 영역을 살펴볼 수 있게 했다는 점이 중요하다. 이는 에이전트 강화학습의 Scaling이 단순한 파라미터 증가가 아니라 더 많은 경험과 다양한 환경, 정교한 평가를 함께 요구한다는 점을 보여준다.

반면 보상 곡선이 오른다고 해서 일반적인 문제 해결 능력이 자동으로 향상되는 것은 아니다. 신용 할당 방식도 아직 충분히 설명되지 않았다. 최종적으로는 훈련 환경 밖에서도 능력이 유지되고 확장되는지 독립적인 평가를 통해 확인해야 한다.

출처：量子位