Vivix A1 공개: 실시간으로 듣고 움직이는 가상 캐릭터 모델

도입

Vivix가 실시간 상호작용 멀티모달 모델 A1을 발표했다. 함께 언급된 W1은 사용자가 이야기 전개와 세계 변화에 개입하는 방향을 겨냥한다. A1의 차별점은 짧은 영상을 한 번 생성하는 데 있지 않다. 사용자가 말하거나 새로운 입력을 주면, 화면 속 캐릭터가 계속 듣고, 말하고, 몸을 움직이며, 이후 장면을 실시간으로 바꾸는 경험을 목표로 한다.

핵심 포인트

• 통합 스트리밍 아키텍처: A1은 이미지, 비디오, 음성, 과거 프레임, 상호작용 기록을 지속 상태로 유지한다. 이를 통해 생성이 길어져도 캐릭터 정체성, 장면, 사물 관계가 유지되도록 설계됐다.
• 텍스트를 넘어선 멀티모달 입력: ASR 결과 텍스트만 중간 표현으로 쓰지 않고, 언어 의미, 음향 특징, 비언어적 소리, 환경 이벤트, 제스처, 시각적 움직임을 직접 모델링한다. 사용자의 말투 변화나 갑작스러운 소리도 아직 생성되지 않은 콘텐츠에 영향을 줄 수 있다.
• 빠른 반응과 장기 제어: 자료에 따르면 A1은 약 300ms의 최소 시간 단위에서 최신 응답 토큰을 추론한다. 상위의 Director Agent는 추론, 도구 사용, 장기 행동 제어를 비동기적으로 담당한다.
• MJD로 샘플링 단계 축소: Vivix는 Multidimensional Joint Distillation을 통해 8-Step 품질 기준을 2-Step 추론 모델로 압축한다고 설명한다. 목표는 짧은 구간의 화질, 움직임, 장기 일관성을 함께 보존하는 것이다.
• VMI 추론 인프라: Encoder와 Decoder 분리, prefill/decode 분리, KV Cache 전송 최적화, NVFP4 학습·추론 정렬, 계산·통신·메모리 공동 스케줄링이 포함된다. 공식 자료 기준 단일 카드 처리량은 10000 video tokens/s 이상, 새 입력에 대한 최단 응답은 약 300ms, 가시적 반응 평균 지연은 0.6초 미만이다.

의미와 영향

A1이 가리키는 방향은 디지털 휴먼을 “입 모양을 맞추는 영상”에서 “몸을 가진 실시간 캐릭터”로 확장하는 것이다. 이를 위해서는 정체성 유지, 동작 생성, 음성 및 이벤트 이해, 중간 개입, 행동 재지정, 저지연 추론이 동시에 필요하다.

이 기능이 실제 서비스에서 안정적으로 구현된다면 인터랙티브 엔터테인먼트, AI 동반자, 가상 상담원, 게임 NPC, 실시간 콘텐츠 제작에 영향을 줄 수 있다. 비디오 AI의 경쟁 기준도 한 장면의 품질을 넘어, 얼마나 오래 일관되게 움직이는지와 얼마나 즉시 반응하는지로 이동할 가능성이 크다.

다만 현재 정보는 주로 회사 기술 블로그와 보도에 기반한다. 장시간 사용에서의 안정성, 품질 유지, 실제 지연은 공개 체험과 제3자 평가를 통해 더 확인될 필요가 있다.

출처: 量子位