ASR 환각은 어디서 시작되는가: 인코더 마지막 단계의 역할

들어가며

자동 음성인식의 오류가 항상 단순한 오청인 것은 아니다. 시스템이 실제 입력 음성에 없는 내용을 문법적으로 자연스럽고 유창한 문장으로 출력하는 경우도 있다. 이런 현상은 ASR 환각으로 불린다. 출력이 매끄러울수록 사용자는 명백한 잡음이나 깨진 문장보다 이를 더 쉽게 신뢰할 수 있다는 점이 문제다.

arXiv에 공개된 이번 연구는 특정 환각 문장이 어떻게 만들어졌는지를 바로 추적하지 않았다. 대신 더 근본적인 질문을 던졌다. 인코더의 어느 지점에서 음성이 출력에 제공하는 제약이 약해질 수 있는지, 그리고 추상적인 음향 표현이 디코더가 읽을 수 있는 텍스트 정보로 정리되는 지점이 어디인지 살펴본 것이다.

핵심 결과

• 두 가지 인식 구조를 검증했다. 연구진은 독립적으로 학습한 두 개의 Conformer-Large 인식기를 분석했다. 하나는 CTC 디코더를, 다른 하나는 RNN-T 디코더를 사용했다. 환경 열화와 화자 및 배경 변화가 있는 조건에서도 모델을 평가했다.
• 인코더 마지막 단계가 중요한 경계로 나타났다. 마지막 인코더 블록을 건너뛰자 거의 모든 발화에서 출력이 크게 어긋났다. 반면 중간 블록을 우회했을 때의 영향은 상대적으로 작았다. 이는 인코더의 각 깊이가 동일한 기능을 수행하지 않으며, 마지막 단계가 음향 표현을 텍스트 관련 구조로 정리하는 역할을 할 수 있음을 시사한다.
• 표현이 더 압축되고 문자 정보가 분명해졌다. 마지막 단계에 이르면 표현이 더욱 압축되고, 학습된 디코더가 그 안에서 텍스트 정보를 읽을 수 있었다. 문자소와 관련된 정보도 이 지점에서 명시적으로 드러났다.
• 단계 손상이 곧 유창한 환각은 아니었다. 개입 이후의 출력은 주로 깨진 문자열이나 반복이었다. 음성과 무관하면서도 자연스러운 문장을 생성하는 일반적인 환각이 직접 나타난 것은 아니다.

의미와 한계

이 논문의 핵심은 인코더 마지막 단계의 실패를 환각의 완전한 원인으로 단정하지 않는 데 있다. 더 정확히 말하면, 인코더가 음성에 충분히 근거한 출력을 만들지 못하는 상태는 환각이 일어나기 위한 기계적 전제조건이다. 그러나 이러한 접지 약화가 유창한 허구 텍스트로 이어지려면 디코더의 선호, 언어적 사전지식, 입력 품질, 추론 과정의 특성 등 추가 요인이 필요할 수 있다.

이 관점은 모델 진단에 실질적인 방향을 제공한다. 노이즈나 분포 변화에서 발생하는 이상을 시스템 전체의 문제로만 보지 않고, 인코더 각 단계에서 음성의 증거가 유지되는지 점검할 수 있기 때문이다. 특히 마지막 단계의 안정성을 별도로 관찰하면 출력이 실제 음성에서 얼마나 벗어날 수 있는지 분석하는 데 도움이 된다. CTC와 RNN-T 모두에서 유사한 마지막 단계 의존성이 관찰된 점은 이 현상이 특정 디코딩 방식에만 한정되지 않을 가능성도 보여준다.

다만 마지막 블록을 고친다고 실제 환경의 모든 환각이 사라진다는 뜻은 아니다. 음성에 대한 접지가 약해진 뒤 어떤 경로를 거쳐 유창한 가상 문장이 만들어지는지도 아직 완전히 밝혀지지 않았다. 현재로서는 인코더 마지막 단계를 신뢰할 수 있는 음성인식을 지탱하는 관문으로 이해하는 것이 가장 타당하다.

출처: arXiv