Gemini Decisions API, 저지연 멀티모달 판단을 API로 제공

생성형 AI의 모든 작업에 긴 답변이 필요한 것은 아니다. 모델 라우팅, 정책 위반 확인, 도구 선택, 콘텐츠 등급 분류에서는 확률이나 선택지, 점수만 있으면 되는 경우가 많다. Google의 Gemini Decisions API는 이런 제한된 선택지 기반의 판단을 빠르게 처리하도록 설계된 API다.

핵심 기능

• 하나의 입력에 최대 1,000개 질문: 동일한 컨텍스트에 여러 독립 질문을 연결할 수 있어, 같은 멀티모달 자료를 반복 전송하는 비용을 줄인다.
• 네이티브 멀티모달 처리: 텍스트, 이미지, 오디오, 비디오, PDF를 직접 입력으로 받을 수 있다. 통화 녹음과 계정 정보, 보험 청구 PDF와 손상 사진을 함께 평가하는 방식도 가능하다.
• 세 가지 판단 유형: 예·아니오 유형은 조건이 성립할 확률을 추정한다. choice 유형은 2~255개 선택지 중 하나를 고르고 각 후보의 정규화 확률을 반환한다. score 유형은 순서형 기준에 따라 가중 점수와 단계별 확률을 제공한다. 원문 예제에서는 예·아니오 유형을 “noul”로 표기하고 있으므로, 실제 구현에서는 공식 문서의 필드 정의를 확인해야 한다.
• 저지연 처리: Google은 모델 계산 중간값을 50100밀리초, 엔드투엔드 지연을 150250밀리초로 설명한다. 최대 256K 토큰 컨텍스트를 지원하지만, 지연 성능에 대한 설명은 주로 16K 토큰 이하 조건을 대상으로 한다.
• 입력 토큰 중심 과금: 입력 100만 토큰당 0.10달러이며 출력 토큰에는 요금이 붙지 않는다. 한 요청에서 공유되는 입력은 한 번만 과금되고, 프로토타이핑을 위한 무료 사용량도 제공된다고 Google은 밝혔다.

Gemini Decision 1은 답변을 토큰 단위로 생성하는 대신 후보 결과를 직접 점수화한다. 반환된 신뢰도를 활용하면 불확실한 사례만 더 강력한 모델이나 규칙 엔진, 사람 검토로 넘길 수 있다. 따라서 일정한 응답 시간과 비용 관리가 중요한 에이전트 파이프라인에서 기존 생성 API와 다른 역할을 할 수 있다.

의미와 한계

Google이 공개한 성능과 가격이 실제 운영에서도 유지된다면, Decisions API는 생성형 애플리케이션의 가벼운 제어 계층이 될 수 있다. 단순한 요청은 저렴한 모델로 보내고 복잡한 요청만 고성능 모델로 승격하는 구조를 별도 분류기 학습 없이 구성할 수 있다. Google은 Gemini Notebook의 모델 라우팅, Stitch의 빠른 디자인 편집, CC의 이모지 선택, Search의 도구 안전 검사를 내부 활용 사례로 소개했다.

다만 신뢰도는 정답을 보장하는 지표가 아니며, 닫힌 선택지 구조는 예외적인 상황을 충분히 표현하지 못할 수 있다. 도입 조직은 자체 데이터로 임계값, 보정 성능, 오판 비용, 재처리와 사람 검토 절차를 검증해야 한다. 금융·의료·안전처럼 위험이 큰 영역에서는 공개 벤치마크와 가격 정보만으로 운영 판단을 내려서는 안 된다.

개발자는 Google AI Studio에서 API 키를 얻고 Python, JavaScript, REST 가이드로 시작할 수 있다. OpenRouter, LangChain, Vercel, LiteLLM 등과의 생태계 통합도 안내됐다. 이 API의 핵심은 범용 모델을 대체하는 데 있지 않다. “무엇을 고를 것인가”, “통과시킬 것인가”, “어느 등급인가”라는 반복 판단을 생성 과정에서 분리해 더 빠르고 저렴한 계층으로 만드는 데 있다.

출처: Google AI Blog