듣기 전에 디코딩한다: 추측 청취로 양방향 음성 모델 가속

들어가며

실시간 음성 대화의 속도는 음성 인식 정확도만으로 결정되지 않습니다. 모델이 언제 응답 생성을 시작할 수 있는지도 중요합니다. 많은 전이중 음성 언어 모델은 대화를 일정한 시간 길이의 청크로 나누어 처리합니다. 이 구조에서는 부하가 고르지 않습니다. 다음 오디오를 기다리는 청취 단계에서는 계산 자원이 놀고, 발화나 도구 호출 단계에서는 토큰을 순차적으로 생성해야 하므로 응답이 실시간 흐름을 따라가지 못할 수 있습니다.

홍콩중문대학교(선전) 연구팀은 이 대기 시간을 활용하는 Speculative Listening(추측 청취) 을 제안했습니다. 다음 오디오 청크가 도착하기 전에 입력을 무음으로 가정해 가능한 출력을 미리 만들고, 실제 오디오가 들어오면 그 결과를 검증하는 방식입니다.

핵심 관찰

연구진은 4개 모델에서 무음 가정과 실제 오디오가 출력에 미치는 차이를 비교했습니다. 그 결과 다음 오디오 청크가 출력 결과를 바꾸지 않는 경우가 95.3%였습니다. 출력이 달라진 사례에서도 88%는 첫 번째 출력 토큰부터 변화가 시작됐습니다.

이 관찰을 바탕으로 모델은 청취 중 다음 청크의 초안을 생성합니다. 첫 토큰에서 변화 가능성이 나타나면, 확률 순위가 두 번째인 토큰을 출발점으로 별도의 분기도 만듭니다. 생성된 초안은 청크를 넘나드는 가설 풀에 저장되고, 실제 오디오가 도착한 뒤 한꺼번에 검증됩니다. 일치하는 부분은 재사용하고, 맞지 않는 부분만 다시 생성합니다.

이 방법은 추가 학습이 필요하지 않습니다. 미리 만든 후보를 무조건 정답으로 채택하는 것이 아니라 실제 입력으로 검증하므로, 최종 출력의 정확성을 유지하면서 계산 시점만 앞당깁니다.

성능과 영향

8개 작업으로 구성된 TickTock-Bench에서 추측 청취는 발화 청크를 2.62.8배 빠르게 처리했고, 도구 호출 청크는 최대 23.4배 가속했습니다. 응답이 시작되기 전 디코딩 지연은 평균 73% 줄어 74241밀리초가 됐습니다. 이는 인간 대화에서 언급되는 약 200밀리초의 발화 전환 간격에 가까운 수준입니다. 실시간 진행을 따라가지 못하는 최대 지연도 94.4% 감소했습니다.

이 연구의 의미는 지연 시간을 줄이는 방법이 더 큰 모델이나 더 많은 하드웨어에만 있는 것은 아니라는 점입니다. 모델의 입력 타임라인에 맞춰 계산을 재배치하면, 청취 중 남는 자원을 응답이나 도구 작업의 준비에 사용할 수 있습니다. 음성 비서, 실시간 번역, 외부 도구를 사용하는 음성 에이전트에서 특히 유용할 가능성이 있습니다.

다만 실제 효과는 청크 길이, 모델의 출력 안정성, 여러 가설을 보관하고 검증하는 비용에 따라 달라질 수 있습니다. 그럼에도 이 방식은 “다 들은 뒤 생각하는” 음성 시스템에서 벗어나, 듣는 동안 응답을 준비하는 전이중 상호작용의 실용적인 방향을 제시합니다.

출처: Hugging Face Daily Papers