TerminalHorizon, 장기 터미널 에이전트용 데이터 구축

들어가며

터미널 에이전트의 역할은 단순한 명령 실행을 넘어, 실제 전문 업무를 지속적으로 완수하는 방향으로 확장되고 있다. 현실의 작업에서는 먼저 낯선 환경을 탐색하고 필요한 증거를 수집해야 한다. 그 결과를 바탕으로 판단한 뒤 구현과 검증을 수행하고, 피드백이 나오면 전략을 수정하며, 중간 결과를 최종 산출물로 정리해야 한다.

하지만 기존의 짧은 학습 궤적은 개별 명령이나 도구 호출을 보여주는 데는 유용해도, 장기적인 문제 해결 과정에서 이러한 행동들이 어떻게 이어지는지는 충분히 표현하지 못한다. 논문에서 알리바바 연구진은 이 문제를 해결하기 위한 자동 데이터 합성 엔진인 TerminalHorizon을 제시했다.

핵심 내용

• 생성 과정에서 누락된 작업을 찾는다. 환경을 합성할 때 탐색, 구현, 검증처럼 에이전트가 직접 수행해야 할 핵심 작업이 미리 끝났거나 지나치게 단순화될 수 있다. TerminalHorizon은 독립 실행을 통해 이런 누락을 확인하고, 실행에서 얻은 증거를 바탕으로 환경을 다시 구성한다.
• 하나의 목표를 단계적으로 확장한다. 서로 무관한 짧은 과제를 나열하는 대신 같은 목표를 유지하면서 뒤 단계에 새로운 요구사항을 추가한다. 이전 단계의 결과가 다음 단계의 기반이 되므로, 에이전트는 계속 탐색하고 기존 접근법을 개선해야 한다.
• 전체 작업 흐름을 보존한다. 데이터는 최종 답변만 기록하는 것이 아니라 증거 수집, 판단, 전략 조정, 구현, 검증, 결과물 제출을 하나의 문제 해결 과정으로 연결하는 것을 목표로 한다.
• 훈련 데이터로 확장한다. 연구진은 1.5K개의 작업 환경을 구축하고, 이를 사용해 Qwen3.5-27B를 지도 미세 조정해 TerminalHorizon-27B를 만들었다.
• 여러 능력을 함께 평가한다. 저자들은 코딩 에이전트 작업, 실제 생산 환경의 에이전트 과제, 일반 추론을 포함한 12개 벤치마크에서 모두 상당한 성능 향상을 보고했다. 각 12시간의 연구 예산이 주어진 여러 RSI 사례 연구에서는 초기 해법 이후에도 실험을 이어가고, 피드백에 따라 방법을 개선하며, 개선 사항을 최종 결과물에 반영할 수 있는지도 살폈다.

의미와 한계

핵심은 궤적을 단순히 길게 만드는 데 있지 않다. 환경이 중요한 구현이나 검증을 이미 처리했다면 상호작용이 길어져도 실제 자율 작업 능력을 제대로 학습하기 어렵다. TerminalHorizon은 독립 실행으로 이런 지름길을 찾아내고, 에이전트가 직접 수행해야 하는 작업을 환경에 되돌리려 한다.

단계적 과제 확장은 전문 업무가 진행되는 방식과도 가깝다. 첫 번째 결과가 새로운 요구를 만들고, 테스트 피드백이 기존 방법의 수정을 요구하며, 중간 산출물이 다음 단계의 입력이 되기 때문이다. 이러한 의존성을 데이터에 남기면 에이전트가 유효한 개선을 기억하고 전략을 수정하며, 부분 결과를 더 나은 최종 산출물로 전환할 수 있는지 평가하기 쉬워진다.

다만 제공된 자료에는 각 벤치마크의 세부 점수, 작업 분포, 다른 데이터 생성 방식과의 구체적인 비교가 포함되어 있지 않다. 따라서 현재 TerminalHorizon은 장기 자율 작업을 학습시키기 위한 데이터 엔지니어링 접근법으로 이해하는 것이 적절하다. 세부적인 효과의 크기는 전체 논문과 실험 결과를 통해 추가로 확인할 필요가 있다.

출처: Hugging Face Daily Papers