후학습과 탐색으로 IOI 금메달 수준에 도달한 코딩 AI

들어가며

경쟁 프로그래밍은 언어 모델의 추론 능력을 평가하기 까다로운 분야다. 실행되는 코드 한 번을 만드는 것만으로는 충분하지 않다. 모델은 문제의 조건을 정확히 해석하고, 제한된 시간 안에 효율적인 알고리즘을 설계하며, 예외 상황을 처리하고, 숨겨진 테스트를 통과하는 구현을 만들어야 한다. IOI 같은 대회에서는 제출 횟수와 시간, 인터넷 이용 조건도 제한된다. 이번 연구는 범용 언어 모델에 체계적인 후학습을 적용하면 이러한 환경에서 금메달 수준의 성능을 낼 수 있는지 살펴본다.

핵심 내용

• 종합적인 전문화 파이프라인. 연구팀은 경쟁 프로그래밍 문제 2만 2,000개를 선별하고, 합성 추론 트레이스와 지도 미세조정(SFT), 강화학습(RL)을 결합했다.
• 모델 규모와 학습 방식 비교. Nemotron-3-Nano-CC는 30B-A3B 모델로 SFT와 RL을 모두 적용했다. Nemotron-3-Ultra-CC는 550B-A55B 모델이며 SFT만 사용했다.
• 추론 중에도 해답을 반복 개선. GenCorrect는 한 번에 하나의 답을 내놓는 대신 다양한 후보를 생성한다. 이후 피드백을 이용해 후보를 평가하고, 선택하고, 다시 수정한다. 생성·검사·수정의 순환을 추론 절차에 포함한 것이다.
• 평가 점수 상승. IOI 2025 평가에서 Nano-CC는 초기 130점에서 후학습 후 291점으로 올랐다. GenCorrect를 적용하자 468점에 도달해 438.3점의 금메달 기준을 넘었다. Ultra-CC는 502점을 기록했다.
• 대회 전용 시스템으로 확장. 연구팀은 이 결과를 바탕으로 특화된 Ultra-CC 시스템을 개발하고 IOI 2026에서 전향적 평가를 진행했다. 인간 참가자와 같은 시간, 인터넷 접근, 제출 제약 아래에서 535.4/600점을 얻었다고 보고했다. 이는 361.12점의 금메달 기준과 최고 인간 참가자의 498.27점을 모두 웃돈다.

의미와 한계

이번 결과의 핵심은 단순히 모델을 크게 만드는 데 있지 않다. 고품질 문제 데이터, 합성된 풀이 과정, SFT, RL, 그리고 추론 시 계산량을 하나의 작업 흐름으로 연결했다는 점이 중요하다. 경쟁 프로그래밍은 코드를 컴파일하고 테스트할 수 있기 때문에, 자유로운 자연어 과제보다 비교적 구체적인 피드백을 제공한다. 여러 후보를 비교하는 방식은 한 번의 잘못된 해석이나 구현 실수가 최종 결과를 좌우할 가능성도 줄일 수 있다.

다만 이 성과의 범위는 신중하게 해석해야 한다. 평가 환경은 자동 채점이 가능하고 규칙이 명확한 대회 문제에 맞춰져 있으며, 전용 데이터와 전용 추론 절차가 사용됐다. IOI에서 높은 점수를 얻었다고 해서 요구사항 조율, 대규모 코드베이스 유지보수, 장기적인 신뢰성 확보 같은 실제 소프트웨어 엔지니어링 역량이 동일하게 입증되는 것은 아니다. 새로운 문제 분포와 비용 제약에서도 같은 성능이 유지되는지도 추가 검증이 필요하다.

그럼에도 연구는 코딩 AI의 성능 향상이 사전학습 규모만이 아니라, 후학습과 추론 시 탐색을 어떻게 결합하느냐에 달려 있을 수 있음을 보여준다. 앞으로는 이런 방법이 대회 문제를 넘어 실제 개발 과제로 얼마나 확장될 수 있는지가 중요한 질문이 될 것이다.

출처: Hugging Face Daily Papers