T1: 장기 터미널 작업을 학습하는 강화학습 에이전트

장기 터미널 작업이 어려운 이유

AI 에이전트가 짧은 답변을 넘어 코딩과 과학적 발견 같은 장기 작업을 수행하려면, 한 번의 그럴듯한 출력만으로는 충분하지 않습니다. 에이전트는 코드베이스를 조사하고, 의존성을 설치하고, 여러 파일을 수정하고, 테스트를 실행한 뒤 실패 원인을 찾아 다시 시도해야 합니다. 이 과정이 수십 또는 수백 턴 이어지는 동안 목표를 유지하고 이전 행동의 결과에 맞춰 계획을 고쳐야 합니다.

Tencent Hunyuan 연구진이 제안한 T1은 이런 터미널 중심 작업을 겨냥한 모델입니다. 총 1,220억 개 파라미터를 가진 혼합 전문가(MoE) 모델이며, 정적인 텍스트 데이터만 처리하는 대신 클라우드 샌드박스에서 실제 셸을 사용합니다. 작업 하나에서 300회가 넘는 도구 호출을 수행할 수 있어, 반복적인 소프트웨어 작업에 가까운 학습 환경을 제공합니다.

검증기와 과정 보상

T1은 강화학습으로 훈련됩니다. 각 작업에는 고유한 검증기가 있고, 에이전트가 실행한 결과가 작업 완료 여부를 판단하는 기준이 됩니다. 연구진은 최종 성공 여부만 보상하는 대신, 궤적에서 통과한 검증기의 절대 개수를 점수로 사용하는 조밀한 과정 보상도 도입했습니다. 작업을 완전히 끝내지 못했더라도 일부 검증을 통과했다면 학습에 활용할 수 있다는 의미입니다.

하지만 장기 궤적에서는 보상 설계만큼 학습 과정의 재현성도 중요합니다. 롤아웃 단계에서 행동을 샘플링할 때와 이후 파라미터를 업데이트할 때 토큰이나 전문가 선택이 달라지면, 모델이 실제로 수행한 행동과 다른 궤적을 바탕으로 학습하게 됩니다. MoE 모델에서는 레이어별 전문가 라우팅의 작은 차이도 이후 토큰 확률에 영향을 줄 수 있습니다.

T1의 안정화 방법

T1의 학습 레시피는 다음 세 가지 요소를 중심으로 구성됩니다.

• 강한 워밍업: actor-critic 학습 초기에 발생하는 불안정을 줄이고 장기 강화학습의 출발점을 안정화합니다.
• TITO 구성: 롤아웃에서 실제로 샘플링된 토큰 식별자를 사용하고, 턴 경계에서 발생하는 드리프트를 보정합니다.
• R3 라우팅 재생: 모든 토큰과 MoE 레이어에서 선택된 전문가를 기록한 뒤, 학습 때 동일한 라우팅을 재생합니다.

논문에 따르면 TITO와 R3를 함께 적용하면 학습 시점과 추론 시점의 로그 확률 차이가 0.021에서 0.013으로 감소합니다. 손실을 계산하는 영역에서는 토큰 드리프트가 정확히 0이 되었다고 보고했습니다. 이는 도구를 사용하는 에이전트의 성능이 보상 함수뿐 아니라, 샘플링된 행동을 학습 과정에서 얼마나 충실하게 재현하느냐에도 좌우될 수 있음을 보여줍니다.

성능과 시사점

연구진은 Terminal-Bench 2.1과 겹치지 않는 분리된 시드와 합성 작업을 학습 데이터로 사용했습니다. 이를 통해 특정 벤치마크의 작업을 외워 얻은 성능 향상 가능성을 낮추려 했습니다. 공개된 결과에 따르면 후학습 파이프라인은 Terminal-Bench 2.1에서 기본 모델의 해결률을 43.8%에서 64.0%로 높였습니다. Long-Horizon Terminal Bench에서는 T1이 27.9%를 기록했으며, 논문에 비교 대상으로 제시된 GPT-5.4와 GLM-5.1을 앞섰다고 설명합니다.

T1의 핵심 기여는 모델 규모 자체보다 장기 터미널 에이전트를 훈련하는 방법론에 있습니다. 실제 실행 환경은 행동을 외부 결과와 연결하고, 검증기는 작업 성과를 측정하며, 토큰과 라우팅 재생은 최적화 과정이 실제 롤아웃과 어긋나는 문제를 줄입니다. 장기 에이전트 문제가 해결됐다는 뜻은 아니지만, 소프트웨어 개발과 복잡한 워크플로를 자동화하려면 더 큰 모델뿐 아니라 신뢰할 수 있는 상호작용 및 학습 인프라도 필요하다는 점을 보여줍니다.

출처: Hugging Face Daily Papers