PILOT, 장기 에이전트에 실행 중 실시간 교정과 자기 진화를 도입

들어가며

장기 작업을 수행하는 에이전트는 특정 단계를 전혀 수행하지 못해서만 실패하지 않는다. 초기에 내린 작은 판단 오류가 이후의 여러 단계에 누적되면서, 잘못된 전제 위에서 실행을 계속하는 경우가 많다. 기존 자기 개선 방식은 대체로 실행이 끝난 뒤 전체 궤적을 분석하고, 그 결과를 다음 실행에 반영한다. 경험을 축적할 수는 있지만, 그 경험이 만들어진 현재 작업을 되돌리지는 못한다.

PILOT은 자기 개선이 실행 중에도 일어나야 한다고 주장한다. 이 시스템은 감독자(supervisor)와 작업자(worker)를 분리한 하니스를 사용한다. 작업자가 실제 과제를 수행하는 동안 독립된 감독자가 진행 상황을 관찰하고, 필요하면 작업이 끝나기 전에 개입한다. 또한 실행 과정에서 드러난 절차와 실패 원인을 재사용 가능한 기술과 지속적 메모리로 정리한다.

핵심 메커니즘

• 실시간 조종: 작업자가 목표에서 벗어나거나 비효율적인 경로에 빠졌다고 판단되면 감독자가 실행 중인 작업자를 다른 방향으로 유도할 수 있다. 계속할 가치가 낮은 경우에는 실행을 중단할 수도 있다.
• 실시간 자기 진화: 최종 결과만 사후 분석하는 것이 아니라, 실행 중 발견된 절차적 지식과 실패 패턴을 추출해 이후 작업에 활용할 수 있는 능력으로 저장한다.
• 감독과 실행의 분리: 하나의 컨텍스트 안에서 실행과 자기 평가를 동시에 처리하는 방식과 달리, PILOT은 두 역할을 분리한다. 일반적인 하위 에이전트 위임과도 다르게, 이미 실행 중인 작업자에게 영향을 주는 것을 목표로 한다.

보고된 실험 결과

PILOT은 GLM-5.1과 Kimi-K2.6이라는 두 개의 동결 백본을 사용해 세 개의 벤치마크에서 평가됐다. 총 여섯 구성 중 다섯 구성에서 1위를 차지했으며, Terminal-Bench 2.0에서는 비교 대상 하니스보다 최대 9.8%포인트 높은 결과를 보였다.

자기 개선 설정에서는 GLM-5.1을 사용할 때 14.6포인트, Kimi-K2.6에서는 12.4포인트의 향상이 보고됐다. 평균 출력 토큰은 각각 42.9%와 47.4% 감소했고, 100만 출력 토큰당 성공 평가 수는 각각 110.3%와 134.0% 증가했다. 이는 실시간 개입이 성공률을 높이는 동시에 잘못된 경로에서 불필요하게 긴 탐색을 줄일 가능성을 보여준다.

의미와 남은 과제

PILOT은 에이전트 하니스를 단순한 실행 보조 계층이 아니라, 현재의 실행 경로를 제어하고 미래의 능력까지 갱신하는 폐쇄 루프로 바라보게 한다. 특히 터미널 작업처럼 초반 실수가 후반 단계에 큰 비용을 만드는 장기 워크플로에 의미가 있다. 감독자는 사후 채점자에 머무르지 않고 현재 작업을 바꾸는 시스템 구성 요소가 된다.

그러나 실시간 자기 개선은 새로운 위험도 만든다. 감독자는 일시적인 실패와 근본적인 전략 오류를 구분해야 하며, 잘못된 개입은 원래 성공할 수 있었던 경로를 망칠 수 있다. 제공된 소재만으로는 롤백 방식, 개입에 따른 지연, 감독 자체의 처리 비용이 구체적으로 확인되지 않는다. 따라서 실제 환경에서 안정적으로 작동하는지 판단하려면 이런 지표에 대한 추가 평가가 필요하다. 논문은 코드를 GitHub에 공개할 예정이라고 밝혔다.

출처: Hugging Face Daily Papers