VibeVoice-ASR-Streaming, 실시간으로 ‘누가 무엇을 말했는지’ 인식

들어가며

회의, 고객 상담, 음성 에이전트에서는 음성을 텍스트로 바꾸는 것만으로 충분하지 않다. 각 발언의 주체까지 표시되어야 회의록, 실시간 요약, 통화 분석을 제대로 활용할 수 있다. 기존 화자 귀속 자동 음성 인식 시스템은 일반적으로 ASR과 화자 다이어리제이션을 별도 작업으로 나눴다. 이 방식은 오프라인 처리에서는 유효하지만, 결과를 기다리는 추가 단계 때문에 실시간 응답과 낮은 지연 시간을 동시에 달성하기 어렵다.

VibeVoice-ASR-Streaming은 이 두 작업을 하나의 엔드투엔드 스트리밍 모델로 통합하려는 접근이다. 대화가 끝난 뒤 후처리하는 대신, 음성이 들어오는 시점부터 ‘누가 무엇을 말했는지’를 계속 출력하는 것을 목표로 한다.

핵심 내용

• 고정 크기 오디오 청크 사용. 입력을 일정한 크기의 구간으로 나누고 소량의 lookahead 오디오를 더해 즉시성과 미래 문맥 사이의 균형을 잡는다.
• 이전 텍스트를 문맥으로 활용. 앞선 청크에서 생성한 텍스트를 함께 참조해 구간 사이의 전사 흐름과 화자 정보를 이어간다.
• 인식과 화자 귀속을 통합. 제안된 파이프라인에서는 ASR 이후 별도의 다이어리제이션 단계를 거치지 않고 한 모델이 두 작업을 수행한다.
• 두 가지 모델 크기 공개. 1.5B와 7B 가중치, 추론 코드가 제공되어 연구와 응용 시스템에서 직접 검증할 수 있다.
• 보고된 평가 성능. 논문에 따르면 7B 모델은 5개 평가 세트에서 평균 WER/CER 최저치를 기록했으며, 화자 귀속 평가 13개 설정 중 12개에서 최고 또는 공동 최고 성능을 보였다.

의미와 과제

가장 직접적인 활용처는 실시간 음성 비서와 에이전트다. 대화가 끝나기 전 화자별 텍스트를 얻을 수 있다면 라이브 회의록, 실시간 요약, 상담 품질 분석, 다자간 협업 시스템에 더 빠르게 정보를 전달할 수 있다. 또한 인식, 구간 분할, 화자 클러스터링, 결과 정렬을 여러 모듈로 연결하던 구조를 단순화할 가능성도 있다.

물론 실제 배포에는 여러 절충이 남아 있다. Lookahead 오디오는 인식에 도움이 되지만 그만큼 지연을 추가한다. 긴 대화에서는 문맥을 안정적으로 유지해야 하며, 배경 소음, 동시 발화, 언어별 특성, 기기 연산 능력도 결과에 영향을 준다. 보고서의 종합 평가 결과는 긍정적이지만, 실제 도입 전에는 목표 환경에서 정확도와 지연 시간을 별도로 검증해야 한다.

VibeVoice-ASR-Streaming의 핵심 의미는 화자 정보를 전사 이후에 붙이는 라벨로 보지 않고, 음성 내용과 함께 예측하려 했다는 데 있다. 공개된 모델 가중치와 추론 코드는 저지연 다화자 음성 에이전트와 스트리밍 ASR 연구를 시작할 수 있는 기반을 제공한다.

출처: Hugging Face Daily Papers