Prime Agent: 장기 실행 AI 에이전트를 위한 지속형 런타임

들어가며

장시간 작동하는 AI 에이전트의 실패가 항상 모델의 추론 부족을 의미하는 것은 아닙니다. 컨텍스트가 지나치게 커지거나, 중간 계산 결과가 사라지거나, 도구 실행 뒤 환경 상태가 불분명해질 수 있습니다. 복구 스크립트가 실패하면 모델이 할 수 있는 일도 함께 중단됩니다. 이런 상황에서는 평가 점수가 모델 능력과 실행 하네스의 취약성을 동시에 반영하게 됩니다. Prime Agent는 이 문제를 해결하기 위해 더 지속적이고 관찰 가능하며 복구하기 쉬운 실행 계층을 제안합니다.

핵심 구성

• 지속형 IPython REPL: Prime Agent는 Recursive Language Model, 즉 RLM 추상화를 따릅니다. 모델은 컨텍스트를 프로그램 방식으로 처리하고 테스트 시점의 추가 계산을 활용할 수 있습니다. REPL이 유지되므로 변수, 출력, 중간 결과를 매 상호작용마다 다시 구성할 필요가 없습니다.
• 궤적을 넘는 상태 보존: Continual Harness는 기록, 메모리, 기술, 프롬프트, 하위 에이전트 사양을 저장합니다. 에이전트가 매번 빈 상태에서 시작하는 대신 이전 실행에서 재사용 가능한 경험을 가져올 수 있게 합니다.
• 하위 에이전트 간 통신: 재귀적 하위 에이전트가 직접 통신하며 탐색, 구현, 검증과 같은 역할을 나눌 수 있습니다. 복잡한 작업을 병렬로 진행한 뒤 결과를 통합하고 개선하는 구조입니다.
• 실행과 복구의 표준화: Prime Agent는 실행, 오류 복구, 결과 검증, 자원 산정을 공통 계층으로 제공합니다. Agents View에서는 데몬이 관리하는 세션을 사람이 확인하고 운영할 수 있습니다.

보고된 평가 결과

논문에 따르면 Prime Agent는 ARC-AGI-3 RHAE의 Best@1을 30%에서 95.5%로 높였습니다. 또한 장문맥 코딩, GPU 커널 생성, 에뮬레이터 구축, 자율 nanoGPT 속도 도전에서 기본 구성 및 널리 사용되는 하네스와 같거나 더 나은 결과를 보였다고 보고합니다. Factorio 실험에서는 반복적인 refinement가 기술 발전을 계속 이어가는 데 도움이 되었고, 전용 하위 에이전트는 작업 병렬화를 가능하게 했습니다.

이 결과가 주는 큰 시사점은 에이전트 벤치마크가 런타임 벤치마크이기도 하다는 점입니다. 상태를 저장하고, 추가 계산을 호출하고, 오류에서 회복하며, 결과를 검증할 수 있는 환경은 단순한 대화 루프에서 드러나지 않던 능력을 끌어낼 수 있습니다. 다만 제공된 요약만으로는 각 실험의 세부 설정, 비용 분석, 제거 실험을 확인할 수 없습니다. 따라서 수치는 전체 에이전트-하네스 시스템의 성능으로 해석해야 하며, 기반 모델 자체의 능력이 같은 폭으로 향상됐다고 단정해서는 안 됩니다.

의미와 영향

Prime Agent는 모델에 하나의 고정된 전략을 강제하기보다 모델이 스스로 작업 흐름을 만들고 개선할 수 있는 환경을 제공하는 데 초점을 둡니다. 연구자에게는 불안정한 스크립트의 영향을 줄이고 견고한 런타임에서 모델의 실용적 상한을 측정할 수 있는 기반이 됩니다. 개발자에게는 지속 세션, 메모리, 검증, 자원 관리가 장기 실행 코딩 에이전트를 만들 때 활용할 수 있는 구성 요소가 됩니다.

앞으로 에이전트 경쟁력은 더 큰 모델뿐 아니라 런타임, 메모리 정책, 협업 프로토콜, 복구 능력에 의해서도 결정될 가능성이 큽니다. Prime Agent는 이 방향을 실험할 수 있는 공개 구현을 제시하지만, 다양한 모델과 비용 조건에서의 일반화 여부는 독립적인 재현 연구가 더 필요합니다.

출처: Hugging Face Daily Papers