Duo v1, 의도와 행동을 통합하는 상호적 세계 모델 제안

개요

기존 세계 모델은 대체로 외부의 물리적 현실을 시뮬레이션하는 데 초점을 맞춰 왔다. 모델이 환경을 관찰하고 변화를 예측하면, 추론과 의사결정은 별도의 제어기가 담당하는 방식이다. Duo v1 연구진은 이런 구성이 상호작용 세계의 중요한 일부를 놓친다고 본다. 특히 언제 대화에 참여할지, 어떤 방식으로 반응할지와 같은 지능의 작동도 세계를 구성하는 요소로 모델링해야 한다는 주장이다.

이 관점이 Reciprocal World Model, 즉 상호적 세계 모델이다. 첫 구현인 Duo v1은 오디오, 비디오, 텍스트 입력을 지속적으로 인식하면서 실시간으로 사용자에게 응답하도록 설계된 전이중 세계 모델이다. 전이중 상호작용은 입력과 출력을 동시에 처리한다는 뜻에 그치지 않는다. 응답하는 동안에도 사용자의 말을 듣고 주변을 관찰하며, 지금 참여해야 하는지 판단하고, 자연스럽게 발생하는 끼어들기까지 다루는 것을 포함한다.

핵심 설계

• 의도와 실현을 분리해 협력시킨다. Intent는 상호작용의 인지를 담당한다. 다음 행동과 대화 참여 여부를 추론하는 부분이다. Realization은 그 판단을 일관된 음성·영상 행동으로 바꾼다. 하나가 ‘무엇을 할지’를 다룬다면, 다른 하나는 ‘어떻게 표현할지’를 다룬다.
• 지속적인 상호작용 추론에 자회귀 모델을 사용한다. Duo v1은 자회귀 모델을 확산 모델의 지시 이해용 구성요소로만 제한하지 않는다. 대화 과정에서의 추론과 참여 결정을 자회귀적으로 생성해, 순차적으로 들어오는 실시간 입력에 대응하도록 한다.
• 하나의 시간축에서 두 모듈을 동기화한다. 시스템은 각 청크에 맞는 조건을 만들고 동기화 토큰을 사용해 Intent와 Realization을 동일한 타임라인에서 연결한다. 모듈 내부와 모듈 간 어텐션 마스크는 인과관계를 강제해 생성 중 미래 입력을 참조하지 못하게 한다.
• 이중 rollout 증류로 분포 이동을 줄인다. Intent는 자회귀적으로 생성된 의도 토큰을, Realization은 합성된 음성·영상 이력을 사용해 학습한다. 추론 시 모델이 실제로 만들어낼 중간 결과와 과거 상태에 더 잘 적응하도록 하는 설계다.

의미와 남은 과제

Duo v1의 의미는 음성, 영상, 언어를 함께 처리한다는 데만 있지 않다. 세계 모델이 표현해야 하는 대상을 외부 사건에서 관찰자의 인지, 참여 시점, 외부 행동까지 확장했다는 점이 더 중요하다. 이 방향이 발전한다면 상호작용 시스템은 ‘듣고, 생각하고, 답하는’ 고정된 순서를 넘어, 계속 연결된 협력자처럼 참여 시점과 표현 방식을 스스로 조절할 수 있다.

자료는 실제 물체 공유, 가상 장면 재구성, 어시스턴트 유도, 마우스나 키보드 없이 진행하는 오디오·비주얼 게임 등을 가능한 활용 사례로 제시한다. 다만 제공된 정보만으로 Duo v1이 지연 시간, 안정성, 복잡한 환경에서의 일반화를 해결했다고 결론내리기는 어렵다. 현재 단계에서 이 프로젝트는 의도 추론과 행동 생성을 하나의 연속적인 상호작용 루프로 되돌린 아키텍처적 출발점으로 보는 편이 적절하다. 이후 가치는 공개 모델과 평가, 실제 사용 환경에서의 성능에 달려 있다.

Hugging Face Daily Papers