터미널 에이전트의 지속 학습을 돕는 환경 진화

배경

터미널 에이전트는 명령 실행, 파일 처리, 소프트웨어 설정처럼 여러 단계가 필요한 작업을 대화형으로 수행해야 한다. 따라서 학습 환경은 단순히 조작 가능한 것에 그치지 않고, 결과를 안정적으로 검증할 수 있어야 한다. 하지만 모델이 강해질수록 처음부터 합성한 단순한 환경은 빠르게 쉬운 과제가 되고, 강화학습에 제공하는 정보도 줄어든다.

핵심 접근법

기존 환경 생성은 새로운 과제를 처음부터 만드는 방식에 가깝다. 강력한 모델에는 충분한 난도를 제공하지 못할 수 있으며, 최근에는 온라인 rollout에서 약점을 찾고 현재 학습 가능한 경계에 가까운 환경을 만드는 공진화 방식도 제안됐다. 그러나 현재 정책에 의존하는 on-policy 데이터는 일반화와 지속적인 학습 신호 공급에 제약을 줄 수 있다.

논문이 제안하는 ‘환경 진화’는 환경 난도를 off-policy 방식으로 점진적으로 높이고, 훈련 과정에서 진화된 환경을 세대별로 투입한다. 연구진은 다중 턴 학습 목표에서 환경 난도에 영향을 주는 세 가지 진화 방향을 도출한 뒤, 반복 구조로 설계한 다중 에이전트 하니스를 이용해 이를 구현했다. 환경을 한 번 생성하고 고정하는 대신, 상호작용 구조와 해결 조건을 유지하면서 다음 세대의 학습 자원으로 갱신하는 방식이다.

이 접근은 최종 답을 맞혔는지만 보지 않는다. 목표에 도달하기까지의 행동 순서, 검증 조건, 전체 해결 과정도 함께 고려한다. 따라서 장기 작업을 위한 커리큘럼 학습으로 볼 수 있다. 검증 가능한 목표는 유지하면서, 목표를 달성하는 데 필요한 추론, 조작, 조정의 부담을 점차 높이는 것이다.

실험 결과

Hy4 preview, Claude Opus 5, GPT-5.6 Sol을 활용한 정량 rollout 실험에서 진화된 환경은 일관되게 더 어려운 과제를 생성했다. 이어 Qwen3.6-27B와 Qwen3.6-35B-A3B를 대상으로 간단한 장기 강화학습을 수행했으며, Terminal-Bench 2.1에서 각각 14.4점과 18.0점의 성능 향상이 보고됐다.

다만 이 결과가 모든 터미널 작업에서 동일한 효과를 보장하는 것은 아니다. 검증 시스템의 신뢰성, 실제 실패 유형을 얼마나 폭넓게 반영하는지, 합성 환경과 실제 사용 장면 사이의 차이는 배포 전에 추가로 점검해야 한다.

의미와 영향

이 연구의 핵심 의의는 단순히 과제 수를 늘리는 데서 벗어나, 모델의 성장에 맞춰 과제 난도를 관리한다는 데 있다. 장기 강화학습에서는 모델이 강해질수록 고정된 환경에서 얻는 신호가 약해진다. 세대별 환경 스케줄링과 다중 에이전트 기반 환경 설계는 확장 가능한 검증형 상호작용 훈련의 한 방향을 제시한다.

앞으로 터미널 에이전트의 성능은 모델 규모나 컨텍스트 길이만으로 결정되지 않을 가능성이 크다. 환경 생성, 결과 검증, 난도 조절, 훈련 일정까지 연결하는 기반 시스템이 실제 경쟁력을 좌우할 수 있다.

출처: Hugging Face Daily Papers