JIT-Agent, 작업에 맞춰 에이전트 실행 프레임워크를 즉시 생성

들어가며

에이전트의 능력을 평가할 때 보통은 기반 대규모 언어 모델의 크기와 추론 성능에 초점을 맞춘다. 그러나 같은 모델이라도 메모리를 관리하는 방식, 목표를 세부 단계로 나누는 방식, 행동을 실행하고 검증하는 절차, 외부 도구와 기술을 조합하는 방법에 따라 결과는 크게 달라질 수 있다. JIT-Agent는 바로 이 모델 주변의 실행 계층을 독립적인 지능의 원천으로 바라본다.

논문은 이 계층을 ‘agent harness’라고 부른다. 이는 대규모 모델을 실제 에이전트로 작동시키는 런타임 또는 제어 프레임워크에 해당한다. 기존 harness는 대체로 엔지니어가 특정 작업에 맞춰 수동으로 설계하기 때문에, 다른 작업이나 모델에 적용하려면 다시 조정해야 했다. JIT-Agent는 작업이 주어졌을 때 적합한 harness를 즉석에서 만들어내는 ‘harness intelligence model’로 제안됐다.

핵심 내용

• 생성 가능한 실행 구조. 연구진은 harness를 메모리 관리, 계획, 행동 프로토콜, 도구·스킬 오케스트레이션이라는 네 개 모듈로 정리했다. 이 구조는 임의의 프롬프트 묶음이 아니라 기계가 생성하고 조합하며 수정할 수 있는 산출물로 취급된다.
• 작업별 적응. 모든 문제에 동일한 에이전트 워크플로를 적용하는 대신, 현재 작업의 요구에 맞춰 실행 방식을 구성한다. 논문은 이 방식이 다양한 기존 에이전트형 LLM을 지원할 수 있다고 설명한다.
• 수정과 자기 진화. 실행이 불안정하거나 실패할 경우 harness를 수리할 수 있다. 또한 이전 harness 설정과 그 성능에서 얻은 신호를 축적해, 이후 생성 과정에 성공 패턴을 반영한다.
• 여러 모델에서의 성능 향상 주장. 초록에 따르면 JIT-Agent를 사용한 DeepSeek-V4-Flash는 DeepSearchQA에서 9.1점, OdysseyBench에서 4.3점 차이로 GPT-5.6을 앞섰다. GLM-5.2에서는 최대 20.2점의 향상이 보고됐다. 생성된 harness가 OpenCode와 Claude Code 같은 성숙한 에이전트 런타임과 경쟁력 있는 결과를 냈고, DeepSeek V4, Mimo-V2.5, Qwen3.6의 여러 규모에서도 개선됐다는 설명도 포함돼 있다.

의미와 한계

JIT-Agent가 제시하는 가장 중요한 관점은 에이전트 확장이 더 강한 기반 모델을 선택하는 일에만 달려 있지 않다는 것이다. 검색, 코딩, 장기 작업에서는 모델의 원래 능력뿐 아니라 계획 재수립, 메모리 사용, 도구 호출 순서와 검증 절차가 결과를 좌우할 수 있다. harness 설정이 모델 사이에서 재사용되고, 과거 성공 사례가 계속 축적된다면 에이전트 개발에는 누적형 최적화 경로가 생길 수 있다.

다만 현재 제공된 소재는 논문 초록과 페이지 일부에 한정돼 있다. 네 모듈의 구체적 구현, 학습 데이터, 실행 비용, 실패 사례, 비교 실험의 예산과 조건은 충분히 공개되지 않았다. 따라서 제시된 점수 차이를 모든 환경에서의 일반적 우위로 해석하기보다는 논문이 보고한 결과로 받아들이는 것이 안전하다. 그럼에도 JIT-Agent는 에이전트 런타임 자체를 학습 가능하고 이전 가능하며 지속적으로 진화하는 능력 계층으로 보려는 방향을 분명히 제시한다.

출처: Hugging Face Daily Papers