AI 에이전트의 병목은 모델이 아니라 인터페이스일 수 있다

서론: 더 강한 모델보다 더 나은 도구가 필요할 때

대규모 언어 모델 에이전트가 데스크톱 애플리케이션을 사용할 때, 에이전트가 접하는 것은 기계용으로 설계된 API가 아니라 사람을 위한 메뉴, 버튼, 대화상자, 화면 흐름인 경우가 많다. 에이전트는 기능의 위치를 찾고, 여러 개의 낮은 수준 조작을 조합하며, 명령이 실제로 성공했는지 확인해야 한다. 따라서 모델의 추론 능력이 충분해도 인터페이스의 복잡성이 실패 원인이 될 수 있다.

논문 A Decade in a Day는 에이전트 성능 문제를 모델 능력만으로 설명하지 않는다. 소프트웨어 인터페이스 자체가 중요한 병목일 수 있다는 관점에서, 데스크톱 애플리케이션의 버전 변화를 활용해 어떤 설계가 에이전트에게 유리한지 조사했다.

소프트웨어 버전으로 인터페이스 효과 측정

연구진은 6개 데스크톱 애플리케이션에서 수행하는 255개 산출물 검증 작업으로 DeskIF-Bench를 만들었다. 비교 과정에서는 작업, 에이전트, 검증기를 고정하고 소프트웨어 릴리스만 바꿨다. 이 방식은 모델이나 평가 절차의 차이를 배제하고 인터페이스 변화의 영향을 살펴보는 데 초점을 둔다.

두 개 모델과 여섯 개 애플리케이션을 대상으로 한 결과에서 최신 릴리스는 가장 오래된 릴리스보다 일관되게 좋은 성능을 보였다. 에이전트의 작업 경로를 분석한 결과, 다음 세 가지 속성이 중요한 것으로 정리됐다.

• 발견 가능성: 사용 가능한 기능과 매개변수, 올바른 실행 경로를 에이전트가 쉽게 찾을 수 있는가.
• 조작 단위: 기능이 지나치게 낮은 수준으로 쪼개지지 않으면서도 필요한 유연성을 제공하는가.
• 관측 가능성: 실행 뒤 상태 변화, 오류, 완료 결과를 에이전트가 분명하게 확인할 수 있는가.

이 속성들이 부족하면 에이전트는 화면을 추측하거나, 같은 도구를 반복 호출하거나, 긴 작업 순서를 생성해야 한다.

ANIS가 제안하는 에이전트용 인터페이스

이러한 관찰을 바탕으로 연구진은 ANIS를 제안했다. ANIS는 설치된 애플리케이션이 이미 제공하는 기능을 에이전트가 찾고 호출하고 검증하기 쉬운 형태로 재구성한다. 에이전트가 모든 인간 중심 GUI에 적응하도록 요구하는 대신, 기존 기능의 노출 방식 자체를 에이전트에 맞게 바꾸는 접근이다.

8개 애플리케이션의 368개 작업으로 확장한 평가에서 원자적 인터페이스는 네이티브 SDK 사용과 비교해 DeepSeek V4 Flash의 성공률을 3.8%포인트, Claude Haiku 4.5의 성공률을 3.5%포인트 높였다. 온라인 토큰 사용량은 약 73% 감소했다. 목표 수준 명령까지 추가하면 두 모델의 성공률은 각각 74.5%와 67.4%에 도달했다.

의미와 남은 과제

이 연구의 핵심 메시지는 에이전트 시스템을 개선할 때 모델 규모, 프롬프트, 계획 모듈만 볼 필요가 없다는 것이다. 기능을 명확히 드러내고, 적절한 조작 단위를 제공하며, 결과 상태를 명시적으로 반환하는 도구는 추론 부담과 실패 가능성을 함께 줄일 수 있다.

다만 현재 평가는 데스크톱 애플리케이션과 정해진 작업 모음에 집중되어 있다. 더 복잡한 소프트웨어 생태계로의 일반화, 권한 관리, 부분 실패 복구, 원자적 도구와 목표 수준 명령 사이의 균형은 앞으로 검증해야 한다. 그럼에도 ANIS는 더 강한 사용자를 훈련하는 것뿐 아니라, 에이전트가 잘 사용할 수 있는 도구를 설계해야 한다는 실용적인 방향을 제시한다.

출처: Hugging Face Daily Papers