WorldSonus, 월드 모델에 실시간 공간 음향을 더하다

들어가며

월드 모델은 점점 더 사실적인 시각 환경을 만들어 내고 있습니다. 하지만 그 환경은 여전히 무성 영상처럼 느껴질 때가 많습니다. 화면 속 차량이 움직여도 엔진 소리가 없고, 카메라가 방향을 바꿔도 음장의 위치가 변하지 않는다면 시각적으로는 그럴듯해도 상호작용 가능한 세계로서는 부족합니다. 게임, 가상 훈련, 체화형 시스템, 인터랙티브 스토리텔링에서 소리는 분위기뿐 아니라 사건의 발생, 거리, 방향을 알려주는 중요한 단서입니다.

WorldSonus는 이 공백을 메우기 위한 월드 모델용 비디오-오디오 프레임워크입니다. 완성된 영상에 음향을 사후적으로 붙이는 대신, 계속 변화하는 영상 스트림의 일부로 소리를 지속적이고 조작 가능한 방식으로 생성하려고 합니다.

핵심 내용

• 스트리밍 생성. WorldSonus는 스트리밍 인과 자기회귀 확산 구조를 사용해 오디오를 연속적인 청크로 나누어 생성합니다. 전체 영상이 끝날 때까지 기다리는 대신 인터랙티브한 영상 흐름에 맞춰 소리를 생산하는 방식입니다. 논문은 실시간 계수(RTF) 0.41을 제시하지만, 제공된 자료에는 하드웨어와 측정 조건이 포함되어 있지 않습니다. 따라서 이 수치를 모든 장치에서 동일하게 보장되는 지연 시간으로 해석해서는 안 됩니다.
• 생성 중간의 제어. 오디오 중심 캡셔닝 파이프라인과 청크 인덱스 기반 프롬프트 스케줄링을 결합했습니다. 이 구조는 생성 도중 특정 구간의 환경음이나 사건음을 바꾸거나 새로운 소리를 지시할 수 있는 가능성을 제공합니다. 전체 영상을 처음부터 다시 처리하지 않고도 음향 조건을 수정하는 것이 핵심입니다.
• 공간적으로 정렬된 스테레오. 다양한 스테레오 및 앰비소닉 데이터에서 고품질 스테레오 감독 신호를 구성했습니다. 단순히 좌우 채널을 만드는 데 그치지 않고, 장면의 기하와 카메라 움직임에 따라 음장도 일관되게 변하도록 하는 것이 목표입니다.
• 월드 모델 밖에서도 평가. WorldSonus는 월드 모델을 위해 설계됐지만 오픈 도메인 비디오-오디오 벤치마크에서도 평가됐습니다. 논문에 따르면 음향 품질과 공간 정렬 모두에서 일부 최신 양방향 모델과 맞먹거나 더 나은 결과를 보였습니다.

의미와 한계

WorldSonus는 월드 모델의 범위를 ‘보이는 환경’에서 ‘들을 수 있는 환경’으로 넓히는 기술 방향을 제시합니다. 인과적 스트리밍 생성은 실시간성을, 청크 단위 프롬프트는 생성 중 개입을, 스테레오 감독은 시각 정보와 음향 공간의 일관성을 겨냥합니다. 게임, 시뮬레이션, 인터랙티브 영상처럼 시청각 정보를 함께 유지해야 하는 응용 분야와 연결될 수 있습니다.

다만 제공된 소재에는 상세한 지연 시간, 필요한 연산 자원, 데이터 규모, 음향 사건별 성능 분석이 공개되어 있지 않습니다. 따라서 WorldSonus를 모든 상황을 해결한 범용 시스템이라기보다 실시간 공간 음향 생성을 위한 유망한 접근으로 보는 편이 타당합니다. 장시간 생성의 안정성, 복잡한 음원 분리, 사용자의 지시와 실제 음향 변화 사이의 정밀한 대응은 앞으로 더 검증해야 할 과제입니다.

출처: Hugging Face Daily Papers