Agon: 경쟁하는 두 모델로 추론 과정을 암묵적으로 평가하다

들어가며

오늘날 추론 모델은 검증 가능한 보상에 기반한 강화학습의 도움을 크게 받고 있다. 수학 문제나 코드 문제처럼 정답을 확인할 수 있는 과제에서는, 최종 답이 맞는지 여부가 명확한 학습 신호가 된다. GRPO 같은 방법이 주목받은 이유도 여기에 있다. 하지만 이 방식에는 중요한 빈틈이 있다. 보상은 대개 최종 답만 평가하며, 그 답에 이르는 추론 과정의 질은 직접 평가하지 않는다.

어려운 문제에서 이런 구조는 모델이 더 잘 생각하도록 만들기보다, 더 길게 쓰도록 유도할 수 있다. Agon은 이 문제를 다른 방식으로 접근한다. 좋은 추론 단계에 대한 사람의 라벨도, 별도의 보상 모델도 만들지 않는다. 대신 두 모델을 같은 문제에서 경쟁시켜 서로가 서로의 암묵적 평가자가 되게 한다.

핵심 내용

• 두 모델이 같은 문제를 푼다: Agon에서는 두 모델이 동일한 문제에 도전한다. 한 모델이 먼저 풀이 초안을 만들고, 다른 모델은 그 초안을 읽은 뒤 문제를 푼다.
• 역할을 번갈아 수행한다: 한쪽만 고정된 평가자가 되는 구조가 아니다. 두 모델은 초안 작성자와 초안을 읽는 해결자 역할을 교대로 맡으며 함께 최적화된다.
• 보상은 상대를 이기는 데서 나온다: 단순히 장황한 추론을 쓰는 것만으로는 충분하지 않다. 상대가 그 추론을 읽고도 쉽게 뛰어넘지 못할 만큼 유용한 사고 과정을 만들어야 한다.
• 과정 감독을 암묵화한다: 어떤 추론이 좋은지 명시적으로 라벨링하지 않아도, 경쟁 결과를 통해 추론의 가치가 학습 신호로 반영된다.
• 추론 시에도 같은 구조를 쓴다: 배포 단계에서는 한 모델이 초안을 만들고, 다른 모델이 이를 읽고 최종 답을 내는 2단계 캐스케이드로 동작한다.

의미와 영향

논문에 따르면 Qwen3를 사용한 DeepMath hard split에서 Agon은 GRPO의 pass@1을 약 두 배로 끌어올렸다. 또한 같은 기반 모델에서 훈련하지 않은 Mixture-of-Agents 방식이 얻은 개선폭보다 약 여덟 배 큰 이득을 보였다고 설명한다. 저자는 이러한 상대적 순서가 경쟁 프로그래밍 코드 과제와 Qwen3.5, Gemma 4 등 다른 모델 계열에서도 재현됐다고 밝혔다.

이 접근의 의미는 과정 감독을 데이터 라벨링 문제가 아니라 경쟁 환경 설계 문제로 바꾼다는 데 있다. 기존에는 고품질 추론 데이터를 모으거나, 과정 보상 모델을 학습시키거나, 정적인 다중 샘플링 기법에 의존하는 경우가 많았다. Agon은 능력이 비슷하지만 행동이 다른 두 모델을 붙여, 상대에게 공개되어도 버틸 수 있는 추론을 학습하게 만든다.

다만 비용과 운영상의 질문도 남는다. 두 모델을 함께 훈련하고 추론에 사용하면 단일 모델보다 연산량과 지연 시간이 늘 수 있다. 또 두 모델이 비슷한 수준이면서도 서로 다른 행동 양식을 가져야 한다는 조건은 모델 조합 선택을 중요하게 만든다. 현재는 모델들이 텍스트로 소통하지만, 논문은 다음 단계로 잠재 공간에서 함께 추론하는 방향을 제시한다.

출처: Hugging Face Daily Papers