ProgramGym, 장기 프로그램 재현 코딩 에이전트를 훈련하다

들어가며

코딩 에이전트의 역할은 기존 저장소의 버그를 고치는 데서 프로그램을 처음부터 만드는 단계로 확장되고 있다. 이 가운데 특히 어려운 과제가 프로그램 재현이다. 에이전트는 참고 프로그램을 직접 살펴보고, 문서에 명시되지 않은 요구사항을 추론하며, 시스템 구조를 선택한 뒤 긴 개발 과정에서 실행 가능한 구현을 완성해야 한다. 이는 일반적인 코드 자동완성보다 실제 소프트웨어 엔지니어링에 가깝지만, 그만큼 훈련 환경과 평가 체계를 만들기도 어렵다.

ProgramGym은 이 문제를 Program-Env와 Program-Agent라는 두 구성요소로 나누어 접근한다. 하나는 반복적으로 검증 가능한 훈련 환경을 만드는 파이프라인이고, 다른 하나는 장기 개발 과정을 안정적으로 수행하도록 설계된 에이전트 워크플로다.

핵심 내용

• 피드백 기반 환경 구축. Program-Env는 저장소에서 실행 샌드박스와 블랙박스 테스트를 만들고, 실행 환경의 빌드 실패와 테스트 품질에 대한 피드백을 이용해 이를 수정한다. 목표는 훈련 중 신뢰할 수 있는 검증 신호를 제공하는 것이다.
• 네 가지 시스템 언어 지원. 이 방식으로 C, C++, Go, Rust를 아우르는 1,648개 훈련 환경을 구축했다. 다양한 컴파일 환경과 시스템 수준 작업을 포함할 수 있다는 점에서 단순한 스크립트 생성 과제와 구별된다.
• 역할을 분리한 개발 흐름. Program-Agent는 분석, 구현, 검토 역할을 분리한다. 먼저 참고 프로그램을 탐색하고 설계를 이해한 뒤 코드를 작성하도록 해, 초기 추측에 의존한 즉시 생성의 한계를 줄이려 한다.
• 수정과 실패 복구. 컴파일 확인, 버전 수정, 실패 복구를 워크플로에 포함해 빌드 오류가 발생했을 때 구현을 다시 고칠 수 있도록 한다. 장기 작업에서 한 번의 실패가 전체 작업 중단으로 이어지지 않게 하는 구조다.
• 보고된 성능 향상. ProgramBench에서 구축된 환경의 작업 궤적으로 Qwen3.8-27B를 미세조정하면 성능이 34.87%에서 42.84%로 높아졌다고 보고했다. Program-Agent를 적용했을 때는 기본 모델이 55.71%, SFT 모델이 56.25%를 기록했으며, 논문 설정에서 일부 플래그십 모델을 넘어섰다.

의미와 남은 과제

ProgramGym의 핵심 의미는 프로그램 재현을 단순한 코드 생성이 아니라 관찰, 추론, 설계, 구현, 컴파일, 테스트, 수정이 이어지는 엔지니어링 과정으로 본 데 있다. 장기 작업에서 에이전트가 발전하려면 실패 뒤에 의미 있는 피드백이 돌아와야 한다. 이를 위해서는 샌드박스가 안정적으로 실행되고, 테스트가 특정 출력뿐 아니라 프로그램의 중요한 동작도 검증해야 한다.

따라서 환경 구축은 에이전트 구조만큼 중요하다. 테스트가 너무 약하면 에이전트가 실제 기능을 재현하는 대신 일부 입력에만 맞춘 해법을 만들 수 있다. 반대로 빌드 환경이 불안정하면 실패 원인을 파악하기 어렵다. Program-Env의 피드백 루프는 이런 문제를 훈련 과정에 들어가기 전에 줄이려는 접근이다.

역할 분리형 워크플로는 오류 분석에도 도움을 줄 수 있다. 연구자는 탐색, 구현, 컴파일, 검토 중 어느 단계에서 문제가 발생했는지 나누어 살펴볼 수 있다. 다만 현재 제공된 소재는 논문 요약 중심이므로, 블랙박스 테스트를 어떻게 생성했는지, 1,648개 환경이 어떤 비율로 구성됐는지, 언어별 성능 차이가 무엇인지는 확인할 수 없다. 따라서 제시된 수치는 논문이 보고한 종합 결과로 이해하는 것이 적절하다.

이 프레임워크가 계속 확장된다면 코딩 에이전트 평가는 저장소의 국소적인 문제를 푸는 능력에서, 불완전한 정보만으로 실행 가능한 소프트웨어를 완성하는 능력으로 이동할 수 있다. 환경 품질, 자동 검증, 장기 계획, 실패 복구가 향후 연구의 핵심 요소가 될 가능성이 크다.

출처: Hugging Face Daily Papers