Terminal-Universe: 에이전트 궤적을 재사용 가능한 터미널 환경으로

궤적을 환경으로 바꾸는 접근

터미널을 사용하는 코드 에이전트가 확산되면서 도구 호출, 파일 수정, 명령 실행을 담은 에이전트 궤적도 빠르게 늘고 있습니다. 그러나 궤적은 대개 한 번의 상호작용을 기록한 고정된 시연입니다. 새로운 요청을 다시 입력하거나, 실행 결과를 확인하거나, 사용자의 추가 피드백을 반영하는 데에는 한계가 있습니다. 에이전트의 사후 학습에 필요한 것은 반복적으로 질의하고 실행을 통해 검증할 수 있는 환경입니다.

Qwen 팀이 제안한 Terminal-Universe는 이 문제를 궤적 재활용으로 해결하려 합니다. 프로젝트를 처음부터 새로 만드는 대신, 기존 궤적의 도구 실행 기록을 이용해 에이전트가 작업했던 환경을 복원하고, 복원된 공간에서 새로운 학습 과제를 생성합니다.

핵심 구성

• 파일 작업 재생: 궤적에 기록된 파일 생성과 수정 과정을 되짚어 에이전트가 파일을 변경하기 전의 상태를 복원합니다. 이 단계에서 얻는 것은 완전한 프로젝트가 아니라 부분 작업공간입니다.
• 누락 요소 보완: 궤적에는 수정되지 않은 파일, 패키지 의존성, 설정 정보가 빠질 수 있습니다. 보완 에이전트가 필요한 파일과 의존성을 추가해 실행 가능한 환경에 가깝게 만듭니다.
• 원래 작업과 새 작업 생성: 복원된 공간에서 원래 요청의 의도를 재구성하는 동시에, 코드의 다른 부분을 시험하는 새로운 질의도 만들 수 있습니다.
• 폭 방향 확장: 관련 환경 사이의 방향성 의존관계를 찾고, 여러 코드베이스를 가로지르는 작업을 합성합니다. 이는 실제 개발에서 여러 저장소를 함께 수정하거나 연결하는 상황을 반영합니다.
• 깊이 방향 확장: 단일 요청을 여러 차례의 세션으로 늘립니다. 사용자 에이전트가 피드백과 요구사항 변경을 제공하므로, 코드 에이전트는 구현을 반복적으로 수정해야 합니다.

결과와 의미

공개된 터미널 에이전트 궤적에 적용한 결과, Terminal-Universe는 3.73만 개의 작업 충분 환경을 생성했습니다. 이 데이터로 Qwen3.5-27B를 지도 미세조정한 뒤, Terminal-Bench 2.1의 단일 턴 성능은 11.9포인트, EvoCode-Bench v2 MT@4의 다중 턴 성능은 13.8포인트 향상된 것으로 보고됐습니다. 제공된 자료에는 세부적인 평가 설정과 절제 실험이 없으므로, 이 수치는 논문이 제시한 종합 결과로 이해해야 합니다.

이 연구의 핵심 기여는 궤적의 역할을 다시 정의한 데 있습니다. 궤적은 단순한 정답 시연이 아니라, 환경을 복원하기 위한 설계도 역할도 할 수 있습니다. 파일 변경과 도구 호출이 충분히 남아 있다면 하나의 상호작용 기록에서 여러 검증 가능한 작업을 만들어 기존 데이터의 활용도를 높일 수 있습니다.

다만 자동 보완된 의존성이 원래 프로젝트와 정확히 일치한다는 보장은 없습니다. 새로 합성된 작업이 원래 의도에서 벗어나거나 서로 중복될 가능성도 있습니다. 따라서 실행 검증, 품질 필터링, 중복 제거가 규모 확장만큼 중요합니다. 여러 저장소를 다루는 폭과 요구사항 변화에 대응하는 깊이를 함께 학습시키는 Terminal-Universe의 방향은, 코드 에이전트를 실제 개발 흐름에 더 가깝게 만들기 위한 유망한 데이터 구축 전략으로 볼 수 있습니다.

출처: Hugging Face Daily Papers