Gemini 3.8 Live 공개, 대화하면서 작업하는 실시간 음성 AI

들어가며

음성 AI의 경쟁은 이제 음성을 인식할 수 있는지를 넘어, 대화를 끊지 않고 실제 작업까지 처리할 수 있는지로 이동하고 있습니다. Google DeepMind가 공개한 Gemini 3.8 Live와 Gemini 3.8 Live Extended Thinking은 이러한 흐름을 겨냥한 실시간 오디오 모델입니다. 전자는 대규모 배포와 빠르고 효율적인 대화를, 후자는 복잡한 추론과 다단계 업무 처리를 목표로 합니다.

핵심 내용

• 더 자연스러운 대화: Gemini 3.8 Live는 거의 실시간으로 시각 입력을 처리해 사용자가 보여주는 장면을 대화 맥락으로 활용합니다. 또한 대화 중 97개 지원 언어를 자동으로 감지하고 전환할 수 있습니다.
• 대화와 작업의 병렬 처리: 모델은 도구와 API를 백그라운드에서 호출하면서 사용자와 계속 대화할 수 있습니다. 요청을 확인하고 추가 질문을 하면서 예약이나 조회 같은 비동기 작업을 진행하는 방식입니다.
• 복잡한 작업을 위한 추론: Extended Thinking은 여러 단계가 필요한 워크플로를 겨냥합니다. “확인해 볼게요”와 같은 초기 응답이나 진행 상황 설명을 제공해 작업 중 긴 침묵을 줄일 수 있습니다.
• 다양한 실시간 활용 사례: Google은 직원 온보딩 지원, Search를 통한 문제 해결, 체스 분석, 스케치를 React 컴포넌트로 변환하기, 음성으로 사업계획과 마케팅 도구를 만드는 사례를 소개했습니다.
• 개발자 생태계 확대: Gemini Live API는 Agora, Fishjam, LangChain, LiveKit, Pipecat, Vercel, Vision Agents 등의 플랫폼과 연계되어 실시간 미디어 스트리밍 인프라 구축을 지원합니다.

성능과 제공 현황

Google에 따르면 Gemini 3.8 Live Extended Thinking은 Artificial Analysis의 Speech to Speech Quality Index에서 82.6점을 기록했습니다. τ-Voice에서는 68.6%, Sierra의 τ-Voice-banking 벤치마크에서는 35.1%, BigBench Audio에서는 97.7%를 기록했다고 발표했습니다. Gemini 3.8 Live는 Speech Agent Arena에서 높은 사용자 선호를 얻었다고 설명됩니다. 이 수치는 Google이 공개한 결과이며, 실제 성능은 작업 유형, 지연시간, 도구 연동, 배포 환경에 따라 달라질 수 있습니다.

두 모델은 Gemini API와 Google AI Studio를 통해 개발자에게 제공되기 시작했습니다. 기업용 서비스는 프라이빗 프리뷰로 확대되며, Search Live와 Gemini Live, 일부 Workspace 기능에도 순차 적용됩니다. Google은 자사 AI 제품이 생성하는 오디오에 AI 생성 여부를 확인하는 데 도움을 주는 비가시성 SynthID 워터마크를 삽입한다고 밝혔습니다.

의미와 영향

이번 발표의 핵심은 음성 AI를 질문에 답하는 인터페이스에서 협업형 작업 창구로 확장했다는 점입니다. 시각적 맥락 이해, 백그라운드 실행, 병렬 추론이 결합되면 사용자는 대화를 중단하지 않고 작업을 계속 진행할 수 있습니다.

이 기능은 고객지원, 직원 교육, 현장 지원, 기업 협업, 실시간 문제 해결 등에 활용될 여지가 있습니다. 다만 실제 도입을 결정하는 요소는 벤치마크 점수만이 아닙니다. 답변 정확도, 도구 호출의 통제력, 개인정보 보호, 모니터링, 지연시간, 비용이 안정적인 음성 에이전트 운영을 좌우할 것입니다. Gemini 3.8 Live는 모델 업데이트이면서 동시에 실시간 음성 에이전트 인프라의 성숙도를 시험하는 발표라고 볼 수 있습니다.

출처: Google DeepMind