Ex-Omni-2D: 시각적 존재감을 갖춘 멀티모달 대화 모델

서론

멀티모달 대화 모델은 이미지, 음성, 텍스트를 이해하고 자연스러운 음성 응답까지 생성할 수 있게 됐다. 하지만 많은 시스템은 여전히 ‘목소리만 있는 존재’처럼 느껴진다. Ex-Omni-2D는 이런 한계를 넘어서, 대화가 텍스트와 음성뿐 아니라 시각적 형태까지 함께 드러나도록 설계된 프레임워크다.

핵심 포인트

• 하나의 응답에서 세 가지를 생성: 텍스트, 개인화된 음성, 참조 조건 비디오를 함께 만든다.
• 생성 전 계획 수립: 멀티모달 질의, 참조 이미지, 참조 오디오를 입력받아 먼저 Visual Thought Plan(VTP) 을 예측하고, 장면·감정·동작을 구조화한다.
• 공유 acoustic-temporal 인터페이스: 멀티 코드북 음성 단위가 음성 복원과 비디오 프레임 정렬을 동시에 가능하게 하는 공통 인터페이스 역할을 한다.
• 대규모 4중 슈퍼비전 의존 감소: 대화, 음성, 아바타 비디오 같은 이질적 데이터를 활용해 학습하므로, 거대한 query-text-speech-video 정답쌍이 필수는 아니다.
• 스트리밍 생성용 증류: 전체 시퀀스 Video Generator를 교사로 사용한 뒤, 몇 단계만으로 동작하는 block-causal Streaming Student로 증류한다. Prefix Streaming은 청크 간 잠재표현을 더 깨끗하게 이어 받아 후반 품질 저하를 줄인다.

의미와 영향

이 연구의 핵심은 단순히 비디오를 덧붙인 것이 아니라, 대화 모델을 더 ‘체화된 존재’에 가깝게 만들었다는 점이다. 사용자는 더 이상 말만 듣는 것이 아니라, 표정과 움직임이 동반된 응답을 받을 수 있다. 이는 가상 휴먼, 인터랙티브 비서, 동반형 에이전트 같은 응용에 특히 중요하다.

또한 논문은 네 단계 추론과 네 GPU 파이프라인에서의 실시간 동작 지점을 제시해, 개념 증명에서 끝나지 않도록 했다. 즉, 품질과 효율 사이의 실제 배치 가능성을 함께 보여준다. 이런 접근이 더 발전하면, 멀티모달 대화 시스템은 ‘응답하는 AI’에서 ‘보이는 AI’로 한 단계 진화할 수 있다.

출처: Hugging Face Daily Papers