Confucius4-R2T2, 이전 텍스트를 수정하지 않는 스트리밍 음성 인식

배경

스트리밍 자동 음성 인식에서 중요한 것은 단순히 빠르게 텍스트를 내보내는 일이 아닙니다. 추가 음성이 들어올 때마다 이미 출력한 단어와 문장을 수정한다면, 음성 에이전트나 번역 시스템은 어떤 결과를 신뢰해야 할지 다시 판단해야 합니다. 화면에 표시되는 자막이라면 이런 변화가 큰 문제가 아닐 수 있지만, 인식 토큰을 즉시 실행하는 시스템에서는 불필요한 계산과 잘못된 동작으로 이어질 수 있습니다.

NetEase Youdao의 Confucius4-R2T2는 이 문제를 ‘안정성’의 관점에서 다룹니다. 현재까지 들어온 음성에서 나중에도 바뀌지 않을 내용만 먼저 출력하고, 이미 내보낸 텍스트는 유지한 채 인식을 계속하는 것이 목표입니다.

핵심 개념: Longest Stable Prefix

R2T2의 중심에는 Longest Stable Prefix, 즉 LSP가 있습니다. LSP는 현재 오디오 문맥에서 완전한 오디오를 처리했을 때의 결과와 일치하면서, 이후 음성이 추가되어도 뒤집히지 않을 가장 긴 텍스트 접두사입니다. 입력이 계속 늘어나면 이 안정적인 구간은 그대로 유지되거나 길어질 수 있지만, 과거로 돌아가 짧아지거나 이미 출력한 내용을 수정하지는 않습니다.

이 접근법의 주요 특징은 다음과 같습니다.

• 추가 전용 출력: 한 번 출력된 텍스트를 수정하지 않아 안정적인 기록을 만듭니다.
• 다운스트림 처리에 적합: 음성 에이전트와 번역 시스템이 최종 인식 결과를 기다리지 않고 처리할 수 있습니다.
• 아키텍처 변경 불필요: LSP를 추가 학습의 정답 신호로 활용해 기존 모델 구조에 스트리밍 동작을 학습시킵니다.
• 청크 크기 조정 가능: 구현에서 오디오 chunk 크기를 설정할 수 있어 반응 속도와 음향 문맥 사이의 균형을 조절할 수 있습니다.

학습 방식과 보고된 결과

R2T2는 Qwen3-ASR-1.7B를 기반으로 중국어와 영어 음성 1,500시간을 사용해 추가 학습되었습니다. 이 과정에서 사전 학습된 음성 인코더와 프로젝터는 동결됩니다. 따라서 음향 프런트엔드를 새로 만드는 대신, 부분적인 음성 입력에서 어느 구간까지 안전하게 확정할 수 있는지를 모델이 배우는 방식입니다.

제공된 논문 요약에 따르면 R2T2는 스트리밍 인식에서 기본 모델의 전체 문맥 성능에 가까운 결과를 보이면서도 낮은 출력 지연을 제공합니다. 추가 학습에 사용한 언어를 넘어선 일반화 가능성도 관찰되었다고 설명합니다. 다만 현재 소재에는 구체적인 오류율, 지연 시간 수치, 환경별 비교표가 포함되어 있지 않으므로, 실제 성능은 논문 본문과 독립적인 테스트를 통해 확인해야 합니다.

의미와 영향

R2T2의 실용적인 의미는 오프라인 중심 ASR을 안정적인 스트리밍 ASR로 바꾸는 경로를 제시했다는 데 있습니다. 새로운 네트워크를 설계하거나 낮은 지연을 위해 잦은 수정 출력을 감수하는 대신, 모델이 언제 결과를 확정해야 하는지를 나타내는 학습 목표를 바꿉니다. 불확실한 내용은 잠시 보류하고, 이미 신뢰할 수 있는 부분만 다운스트림 시스템으로 전달하는 방식입니다.

이 특성은 단순한 자막 표시보다 인식 결과를 곧바로 행동의 입력으로 사용하는 애플리케이션에서 특히 중요합니다. 롤백 처리와 상태 관리를 단순화하고, 실시간 연동의 예측 가능성을 높일 수 있기 때문입니다. 모델 가중치와 코드, 라이브 데모는 공개되어 있어 다양한 언어와 소음 환경에서 추가 검증이 가능합니다.

출처: Hugging Face Daily Papers