Gander: 연속 멀티모달 상호작용과 에이전트 추론을 하나로 묶다

들어가며

오늘날의 음성 비서는 대체로 사용자가 말을 끝낸 뒤 시스템이 처리하고 답하는 턴 기반 방식을 따릅니다. 반면 복잡한 에이전트 시스템은 인식, 계획, 도구 사용, 출력 생성을 여러 모듈로 나누는 경우가 많습니다. 《Omni Interaction Agent Technical Report》에서 소개된 Gander는 이 두 문제를 하나의 엔드투엔드 구조 안에서 해결하려는 접근입니다.

Gander는 영상, 음성, 텍스트를 스트리밍 입력으로 계속 받아들입니다. 사용자는 모델의 응답을 언제든 중단할 수 있고, 모델은 작업이 끝나기 전에도 중간 진행 상황을 알리거나 추가 질문을 할 수 있습니다. 완성된 발화를 주고받는 방식에서 벗어나, 더 자연스러운 전이중 상호작용을 구현하려는 설계입니다.

핵심 내용

• 지속적인 멀티모달 입력: 입력이 하나의 완결된 턴이 될 때까지 기다리지 않고 영상·음성·텍스트의 흐름을 처리합니다.
• Cerebellum-Brain 협업: Cerebellum은 저지연 응답과 옴니 대화를 담당하고, Brain은 복잡한 추론과 상위 수준의 에이전트 작업을 맡습니다. 두 구성 요소는 도구 호출과 에이전트 오케스트레이션 런타임을 통해 연결됩니다.
• 스트리밍 Thinker-Talker: Cerebellum에서는 사용자 입력과 모델 출력을 청크 단위의 순서 있는 토큰 스트림으로 평탄화합니다. 입력과 응답을 하나의 연속된 표현으로 다뤄 지연을 줄이려는 목적입니다.
• 네 가지 평가 축: 대화 능력, 옴니 이해, 상호작용 능력, 에이전트 지능을 평가합니다. 자료는 내부 사람 평가를 언급하지만, 구체적인 데이터셋과 점수, 비교 기준은 공개하지 않습니다.

의미와 한계

Gander의 핵심은 음성이나 비전을 언어 모델에 단순히 추가하는 데 있지 않습니다. 상호작용이 진행되는 시간을 다시 설계하려는 점이 중요합니다. 기존 파이프라인에서는 음성 인식, 추론, 도구 실행, 음성 출력이 순차적으로 진행됩니다. 이 때문에 사용자가 중간에 끼어들거나 추가 설명을 요청하면 지연이 발생하고, 모듈 사이에서 상태를 전달해야 합니다.

Gander는 이 문제를 역할 분담으로 다룹니다. Cerebellum은 대화의 흐름과 즉각적인 응답을 유지하고, Brain은 계획·추론·도구 사용을 진행합니다. 이론적으로는 긴 워크플로를 처리하는 동안에도 사용자에게 진행 상황을 알려줄 수 있습니다. 실시간 협업, 화면 및 환경 이해, 여러 차례 확인이 필요한 업무 자동화에 적합할 가능성이 있습니다.

동시에 해결해야 할 과제도 분명합니다. 두 구성 요소가 상태를 어떻게 동기화하는지, 모델이 언제 먼저 말해야 하는지, 사용자의 중단이 도구 실행에 어떤 영향을 주는지, 지연 시간과 계산 비용이 어느 정도인지는 제공된 정보만으로 알 수 없습니다. 따라서 Gander는 전이중 에이전트를 위한 의미 있는 아키텍처 제안으로 볼 수 있지만, 성능 우위가 충분한 수치로 입증된 최종 해법으로 단정하기는 어렵습니다.

출처: Hugging Face Daily Papers