같은 능력, 다른 행동: MCP와 CLI 인터페이스 비교

도입: 언어 에이전트에게 도구 인터페이스는 모델과 프로그램을 잇는 단순한 통신 계층이 아니다. 도구 설명, 명령 형식, 실행 결과로 돌아오는 피드백은 모델이 다음 행동을 선택할 때 직접 사용하는 정보다. 그렇다면 MCP와 CLI가 같은 작업 능력을 제공하더라도, 표현 방식만 달라지면 에이전트의 행동도 달라질까? 이번 통제 연구는 이 질문을 정면으로 검증했다.

핵심 내용

• 연구진은 MICA（Matched Interface Comparison and Analysis）를 제안했다. 하나의 의미적 액션 계약에서 MCP와 CLI를 각각 생성하고, 디코딩된 액션을 동일한 런타임으로 보내 실행 기반의 차이를 줄였다.
• 실험은 6개 모델과 3개 인터랙티브 환경에서 진행됐다. 실행 가능한 능력을 맞췄음에도 두 인터페이스는 과제 성능과 상호작용 비용에서 뚜렷한 차이를 보였다.
• 차이는 호출 문법이 유효한지 여부에만 머물지 않았다. 능력을 제시하는 방식, 액션을 실제 호출로 구현하는 방식, 환경의 피드백이 의미적 행동 선택과 실패 경로, 복구 과정에 영향을 줬다.
• 자연스러운 궤적을 짝지어 비교한 결과, 2,004개 에피소드의 94.3%에서 구조적인 분기가 나타났다. 초기의 작은 선택 차이가 이후 상호작용으로 이어지는 경향도 확인됐다.
• 연구진은 DART（Decoupled Action Realization and Targeted Repair）도 제시했다. 이미 검증된 의미적 결정을 유지한 채 인터페이스에 특화된 구현만 복구하는 방식으로, 6개 평가 설정 모두에서 벤치마크 점수를 높였고 최대 9.0포인트의 개선을 보였다. MCP에서는 과제당 토큰 비용을 최대 27.1k 토큰 줄였다.

의미와 영향

MICA의 핵심 기여는 도구의 실행 능력과 모델에게 보이는 표현을 분리해 측정했다는 데 있다. 에이전트의 실패는 모델, 도구, 실행 환경 중 하나의 문제로 설명되는 경우가 많다. 그러나 인터페이스 자체가 의사결정 과정에 개입한다면 최종 성공률만으로는 원인을 판단하기 어렵다. 의미적 계약과 런타임을 맞추는 설계는 인터페이스 효과를 더 엄밀하게 측정할 수 있는 기준을 제공한다.

개발자에게는 프로토콜 선택을 연동 편의성만으로 결정해서는 안 된다는 시사점이 있다. 인터페이스는 에이전트가 행동 공간을 탐색하고, 오류를 해석하고, 피드백을 활용하는 방식을 바꿀 수 있다. 따라서 평가에서도 과제 점수뿐 아니라 상호작용 비용과 실패 복구 행동을 함께 살펴볼 필요가 있다. 이 연구가 MCP와 CLI 중 하나가 항상 우수하다고 주장하는 것은 아니다. 대신 인터페이스 구현 자체가 에이전트 행동을 바꾸는 직접적인 개입 지점임을 보여준다.

출처: Hugging Face Daily Papers