에이전트가 수십 개에서 수백 개의 도구에 연결되면 매 요청마다 모든 매개변수 스키마를 보내는 데 입력 토큰이 들고 지연도 늘어날 수 있다. 후보가 많아질수록 적절한 도구를 고르기 어려워질 수도 있다. Google이 Gemini Interactions API에서 미리보기로 선보인 Tool Retrieval은 도구를 사용할 수 있는 상태로 두되, 자세한 스키마는 작업에 필요할 때만 컨텍스트에 불러오는 기능이다.
작동 방식과 주요 내용
- 필요한 스키마만 로드: 요청에
tool_search를 추가하고, 나중에 불러올 함수에는defer_loading: true를 설정한다. 지연 로딩 대상이라도 도구 이름과 설명은 모델이 볼 수 있다. 모델이 도구를 이름으로 요청하면 API가 전체 스키마를 제공하고 함수 호출로 이어진다. 검색 요청, 결과 스키마, 함수 호출은 같은 요청의 단계별 기록에서 확인할 수 있다. - 자주 쓰는 도구는 미리 로드: 빈번하게 쓰는 도구는 처음부터 제공하고, 사용 빈도가 낮은 도구만 지연할 수 있다. Google은 지연된 스키마가 프롬프트 앞부분에 들어가지 않으므로 대화 턴마다 캐시되는 접두부를 유지하는 데도 도움이 된다고 설명한다.
- MCP와 자체 검색 지원: 원격 MCP 서버의 도구도 필요할 때 불러올 수 있다. 자체 도구 레지스트리, 임베딩 인덱스, 사용자별 권한 필터가 있다면 앱에서 직접 검색하는 클라이언트 방식도 선택할 수 있다. 검색마다 추가 왕복이 생기지만 모든 도구를 미리 선언할 필요가 없고, 대화 도중 새로운 연동을 추가할 수도 있다.
비용과 의미
Tool Retrieval에 별도 요금은 붙지 않으며, 입출력 토큰은 호출한 모델의 표준 요율로 계산된다. tool_search를 켜면 적은 양의 고정 입력 토큰이 추가되고, 모델이 실제로 불러온 스키마도 이후 대화의 입력 토큰으로 과금된다. 따라서 사용하지 않은 스키마를 생략해 얻는 절감분이 검색 오버헤드보다 클 때 순절감이 발생한다. Google은 실제 트래픽에서 효과를 측정할 것을 권한다.
이 기능은 현재 Interactions API 미리보기로 제공되며 Gemini 3.6 이후 모델과 Gemini 4 모델을 지원한다. 핵심은 첫 요청을 짧게 만드는 데 그치지 않는다. 도구 전체의 세부 정보를 매 대화 턴에 넣지 않고도 에이전트의 도구 목록을 확장하면서 기존 함수 호출 흐름을 유지할 수 있다는 점이다. 도구가 많아지는 에이전트에서는 컨텍스트 사용량, 지연 시간, 도구 선택 품질을 함께 관리하는 일이 중요해진다. Tool Retrieval은 이를 조절할 수 있는 API 차원의 선택지지만, 실제 효용은 도구 사용 패턴과 작업 부하에 따라 달라질 수 있다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…