호출에서 활용으로: AI 에이전트의 마지막 단계를 채우는 Agent-Native Primitives

들어가며

AI 에이전트가 터미널, 브라우저, 코드 저장소, 외부 도구에 접근할 수 있다는 사실만으로 실제 업무를 끝까지 수행할 수 있는 것은 아니다. 실패는 대개 리소스를 찾은 뒤 발생한다. 에이전트는 현재 맥락을 이해하고, 적절한 작업을 선택하며, 결과를 다음 단계에 올바르게 연결해야 한다.

기존 하네스는 이 능력을 프롬프트, 스크립트, 일회성 오케스트레이션으로 매번 다시 구현하는 경우가 많다. Hugging Face Daily Papers에 소개된 이번 연구는 이 문제를 Agent-Native Primitives라는 재사용 가능한 구성 단위로 해결하려 한다.

핵심 내용

• 리소스에 활용 능력을 결합: 프리미티브는 단순한 API가 아니다. 도구, 코드, 지식 같은 리소스에 상주형 LLM 전문가를 결합한다. 전문가는 작업 맥락을 해석하고 리소스를 적용하며 다른 프리미티브와 소통한다.
• 작업별 하네스를 동적으로 구성: HEELO는 “Harness Engineering around Evolving Agent-Native Primitives for the Last Mile to Real-World Tasks”의 약자로, 각 작업에 필요한 프리미티브를 골라 전용 그래프를 만든다.
• 검증을 개선 과정에 포함: 환경에서 얻은 증거로 결과를 확인하고, 실패와 관련된 프리미티브를 수정한다. 개선된 구성 요소는 검증을 거친 뒤 라이브러리에 추가된다.
• 여러 작업 유형을 평가: 연구팀은 개발, 도구 사용, 내비게이션 등을 포함한 8개 프리미티브 계열을 구현하고 20개가 넘는 벤치마크에서 평가했다.

결과와 의미

논문이 보고한 결과에 따르면 Dev-Primitives는 동일한 Codex 계열 백본에서 Terminal-Bench 4.0 해결률을 37.3%에서 55.5%로 높였다. 작업별로 조합한 Harness Primitives는 Terminal-Bench 2.0 Pass@1을 60.0%에서 72.2%로, Tool Primitives는 ToolBench 통과율을 55.8%에서 75.1%로 끌어올렸다. Navigation Primitives를 적용한 GAIA-Text-103 정확도는 45.6%에서 58.3%로 상승했다.

heelo.dev의 실제 작업 46개에서도 비교가 이뤄졌다. Claude Code와 Codex는 단독으로 각각 9개를 완료했지만, MCP 서버를 통해 HEELO에 연결한 뒤 완료 수가 각각 39개와 35개로 늘었다. 완료 작업당 시간과 비용도 줄었다고 보고됐지만, 이 수치는 연구팀의 평가 조건에서 나온 결과이며 모든 환경에 동일하게 적용된다고 단정할 수는 없다.

이 연구의 핵심 의미는 에이전트 시스템의 재사용 단위를 바꾸려는 데 있다. 기존에는 API, 도구, 프롬프트를 재사용했다면, Agent-Native Primitives는 리소스를 맥락 속에서 적용하는 능력 자체를 공유하려 한다. 이 접근이 독립적인 작업과 다양한 모델에서도 유지된다면, 에이전트 개발은 도구를 계속 추가하는 방식에서 검증 가능하고 진화하는 전문가 프리미티브 생태계를 관리하는 방식으로 이동할 수 있다. 다만 프리미티브 간 협업 비용, 환경 증거의 신뢰성, 도메인 간 전이 가능성은 앞으로 검토해야 할 과제다.

출처: Hugging Face Daily Papers