코드 모델을 ‘정답’에서 ‘더 빠른 정답’으로 학습시키는 강화학습

도입

최근 코드 모델의 강화학습은 주로 “정답 코드를 생성하는가”에 집중해 왔다. 모델이 프로그램을 만들고, 숨겨진 테스트를 통과하면 보상을 주는 방식이다. 하지만 목표를 “정확하면서도 빠른 코드”로 확장하면 난도가 크게 올라간다. 논문 “Reinforcement Learning for Code Optimization”은 실행 시간을 보상에 단순히 추가하는 접근이 실제로는 잘 작동하지 않는다고 지적한다. 작은 측정 노이즈, 희소한 보상, GRPO의 불안정성이 속도 개선 신호를 압도할 수 있기 때문이다.

핵심 내용

• 실행 시간은 안정적인 보상이 아니다. 런타임은 입력 크기, 샌드박스 상태, 계측 방식에 민감하다. 환경이 충분히 통제되지 않으면 모델은 실제 알고리즘 개선이 아니라 우연한 시간 차이를 학습할 수 있다.
• DMC-Optim을 구축했다. 연구진은 큰 규모의 최적화 테스트와 보정된 실행 샌드박스를 포함한 벤치마크를 만들었다. 이는 코드가 정말 더 빨라졌는지를 더 신뢰성 있게 평가하기 위한 장치다.
• 정확성과 속도를 함께 보상화했다. 강화학습 환경에서 두 목표를 조합하고, 오프라인 시뮬레이터로 유망한 설정을 미리 예측해 불필요한 시행착오를 줄였다.
• GRPO도 조정했다. 시간 기반 실행 평가는 일반적인 통과/실패 평가보다 더 희소하고 노이즈가 크다. 논문은 이런 조건에 맞춰 학습과 평가 절차를 수정했다.

결과와 의미

DMC-Optim에서 가장 강력한 최적화 인식 설정은 Qwen 2.5 7B의 엄격한 top-50% pass@1을 18.0%에서 31.3%로, CWM 32B는 30.7%에서 50.4%로 끌어올렸다. 더 엄격한 top-30% 기준에서는 CWM 32B의 상대 개선폭이 125%에 달했으며, 순수 정확도 점수는 유지됐다. 타이밍 샌드박스를 열화한 조건에서도 견고한 최적화 RL은 표준 RLVR 대비 평가 기준에 따라 100%에서 200% 개선을 보였다.

LCB에서는 CWM 32B가 표준 RLVR과의 중앙값 샘플 속도 비교에서 최대 83% 승리했다. 문제별 가장 빠른 정답 인간 제출과 비교하면, 복잡도 등급 개선 비율은 인간의 약 절반인 14% 대 28% 수준에 도달했다.

이 연구의 의미는 코드 생성 AI의 목표를 “실행 가능한 코드”에서 “효율적으로 실행되는 코드”로 넓혔다는 점이다. 향후 코딩 도우미는 단순한 자동완성이나 오류 수정뿐 아니라, 자료구조 선택과 알고리즘 복잡도 개선까지 도울 가능성이 있다. 동시에 논문은 속도 최적화 RL이 매우 민감한 문제임을 보여준다. 신뢰할 수 있는 테스트, 안정적인 계측, 세심한 보상 설계가 없다면 모델은 프로그램이 아니라 측정 노이즈를 최적화할 수 있다.

출처: Hugging Face Daily Papers