JoyAI-Echo-1.5, 지속형 스토리와 인터랙티브 월드를 위한 장기 오디오·비주얼 생성

들어가며

영상 생성 모델은 짧은 클립을 한 번 출력하는 단계를 넘어, 계속 이어지는 이야기를 만들고 사용자가 탐색할 수 있는 세계를 구성하는 방향으로 발전하고 있습니다. 장기 생성에서는 한 장면의 화질만으로 충분하지 않습니다. 샷이 바뀌어도 인물의 얼굴과 의상이 유지되어야 하고, 같은 인물의 목소리도 이어져야 합니다. 또한 카메라는 사용자의 조작을 따라야 하며, 롤아웃이 길어질수록 장면과 의미가 무너지지 않아야 합니다. JoyAI-Echo-1.5는 이러한 문제를 오디오와 비주얼을 함께 생성하는 하나의 시스템으로 다룹니다.

두 가지 변형

논문은 서로 다른 사용 목적을 위한 두 가지 변형을 제시합니다.

• 장편 영상 변형: 여러 과거 샷에서 얻은 시각적 증거를 모으는 조합형 크로스샷 메모리를 도입합니다. 가장 최근 프레임이나 하나의 참조 이미지에만 의존하지 않고, 이전 이야기의 여러 장면에 분산된 정보를 재사용합니다. 이를 통해 텍스트, 이미지, 메모리를 다양한 방식으로 결합한 조건에서도 인물의 외모를 지속시키는 것을 목표로 합니다.
• 월드 모델 변형: 서로 다른 형태의 내비게이션 입력을 보정된 미터 단위 6-DoF 카메라 궤적으로 변환합니다. 변환된 궤적은 기하 정보를 고려한 조건 경로를 통해 생성 과정에 주입됩니다. 따라서 특정 컨트롤러 하나에 묶이지 않고, 다양한 시점과 상호작용 방식을 지원할 수 있습니다.

오디오 처리도 핵심 요소입니다. 화자 단서는 음성이 분리된 전체 샷 오디오에서 추출됩니다. 이는 음성을 단순한 배경 사운드가 아니라 장면을 가로질러 화자 정체성을 유지하기 위한 조건으로 활용한다는 뜻입니다. 시각적 외모와 목소리를 별개의 문제로 처리하기보다, 시간과 모달리티를 함께 가로지르는 정체성 보존 문제로 바라본 점이 특징입니다.

긴 롤아웃을 위한 학습

장기 생성에는 학습과 실제 추론 사이의 차이도 문제가 됩니다. 학습 중에는 정답에 가까운 과거 기록을 사용할 수 있지만, 추론 시점에는 모델이 방금 생성한 불완전한 결과가 다음 입력이 됩니다. JoyAI-Echo-1.5는 양방향 오디오·비주얼 백본을 인과적 소수 단계 생성기로 바꾸고, 점진적 교사 강제를 적용합니다. 여기에 모델이 직접 만든 롤아웃을 대상으로 단기 및 장기 Self-Gradient Forcing을 수행해 실제 배포 환경과 가까운 기록에서 학습하도록 합니다.

결과와 의미

초록에 따르면 장편 영상 변형은 기존 장편 영상 기준선보다 샷 간 일관성, 시각 품질, 텍스트 정렬, 음성 충실도에서 개선을 보였습니다. 월드 모델 변형은 WBench에서 평균 81.7점을 기록했으며, SANA-WM-Bench에서도 시각 품질과 장기 지속성 측면에서 선도적인 결과를 보고했습니다. 다만 제공된 자료에는 전체 평가 설정과 비교표가 포함되어 있지 않으므로, 세부적인 우위는 논문 전문을 통해 확인해야 합니다.

이 연구의 의미는 장편 영상과 월드 모델이 공유하는 문제를 기억, 제어, 안정성의 결합으로 다룬 데 있습니다. 기술이 더 발전한다면 생성 AI는 일회성 클립을 만드는 도구를 넘어, 계속 전개되는 이야기 공간이나 탐험 가능한 시각 환경을 유지하는 시스템으로 확장될 수 있습니다. 반면 더 긴 롤아웃에서 언제 드리프트가 발생하는지, 복잡한 조작에서 카메라 기하가 얼마나 정확한지, 시점과 화자가 크게 바뀔 때 기억이 얼마나 안정적인지는 여전히 검증이 필요한 과제입니다.

출처: Hugging Face Daily Papers