AutoEnvScaling, 터미널 에이전트가 훈련 환경을 직접 만든다

배경

터미널 에이전트는 명령줄 도구를 사용해 소프트웨어를 다루고, 엔지니어링 작업이나 일부 과학 연구를 수행할 수 있습니다. 하지만 이런 모델을 강화학습으로 꾸준히 개선하려면 프롬프트만으로는 부족합니다. 실행 가능한 환경과 명확한 지시, 참조 해답, 결과를 판정할 테스트가 함께 필요하기 때문입니다.

문제는 이러한 환경을 여전히 연구자가 직접 만드는 경우가 많다는 점입니다. 환경 공급량이 연구팀의 시간과 인력에 묶이는 셈입니다. AutoEnvScaling은 환경 설계 자체를 터미널에서 수행하는 작업으로 정의해 이 병목을 해결하려 합니다.

작동 방식

• proposer가 환경을 생성한다. 학습 중인 solver의 롤아웃을 입력으로 받아 Docker 이미지, 작업 지시, 해답, 테스트를 포함한 완전한 Harbor 작업을 만듭니다.
• 생성물을 직접 실행하고 고친다. proposer는 환경을 실제로 실행하며 오류를 확인하고 수정합니다. 단순히 자연어로 작업 설명만 만드는 방식보다 실행 불가능한 환경을 줄일 수 있는 접근입니다.
• solver의 결과가 다음 라운드를 이끈다. 새 환경에서 solver가 보인 성공과 실패가 다음 환경 생성의 자료가 됩니다. 환경은 고정된 데이터셋이 아니라 모델의 능력에 따라 변하는 학습 자원이 됩니다.
• 한 모델이 두 역할을 맡을 수 있다. 동일한 모델이 환경 제작자와 문제 해결자로 모두 작동하면, 사람이 매번 새 작업과 테스트를 작성하지 않는 재귀적 자기개선 루프를 구성할 수 있습니다.

논문이 보고한 성과

논문 초록에 따르면 AutoEnvScaling은 프롬프트만으로 환경을 생성하는 방식과 비교해 유효 환경 비율을 최대 25배 높였고, 유효 환경 하나를 만드는 비용을 최대 75% 낮췄습니다. GPT-5.6-sol에서 생성한 환경으로 Qwen3.5-35B-A3B를 학습한 실험에서는 매칭된 Tmax 기준선보다 Terminal-Bench 2.1 점수가 4.3포인트 높아졌습니다.

또 다른 실험에서는 Qwen3.6-35B-A3B가 proposer와 solver를 동시에 맡았습니다. 이 설정에서 Terminal-Bench 2.1은 12.2포인트 상승했고, Terminal-Bench 4.0 점수는 1.6에서 3.2로 올랐습니다. 다만 이 수치는 논문에 제시된 실험 조건의 결과이며, 모든 모델이나 벤치마크에 동일하게 적용된다고 볼 수는 없습니다.

의미와 남은 과제

핵심은 작업 설명을 자동으로 쓰는 데 있지 않습니다. 터미널 환경에는 패키지 의존성, 파일 시스템 상태, 도구의 동작, 숨은 조건, 정확한 합격 판정 등 글만으로 표현하기 어려운 요소가 포함됩니다. 생성 에이전트가 환경을 실제로 실행하고 디버깅하게 하면, 사람이 수행하던 환경 검증 절차에 가까운 데이터 생산 루프를 자동화할 수 있습니다.

이 파이프라인은 소프트웨어 엔지니어링뿐 아니라 컴퓨터 사용, 전문 업무, GPU 커널 프로그래밍 환경에도 적용됐다고 소개됩니다. 그러나 자동화가 곧 품질을 보장하는 것은 아닙니다. proposer가 비슷한 작업만 반복하거나, 취약한 테스트를 만들거나, solver의 능력과 맞지 않는 난이도의 환경을 생성할 수 있습니다. 따라서 유효 환경의 수와 벤치마크 점수 외에도 다양성, 테스트의 견고성, 미지 작업으로의 전이, 보상 해킹에 대한 내성을 함께 평가해야 합니다.

AutoEnvScaling은 강화학습의 데이터 병목을 에이전트가 직접 수행할 수 있는 엔지니어링 문제로 다시 정의합니다. 이 피드백 루프가 안정적으로 작동한다면, 수작업으로 문제집을 확장하는 방식에서 벗어나 환경이 계속 진화하는 훈련 체계로 나아갈 가능성이 있습니다.

출처: Hugging Face Daily Papers