전사 스타일을 제어하는 ASR: 축어 전사와 단어 단위 타임스탬프 개선

도입

자동 음성 인식(ASR)은 보통 음성을 텍스트로 바꾸는 기술로 설명된다. 하지만 실제 서비스에서는 “무엇을 말했는가”만큼이나 “어떤 방식으로 적을 것인가”가 중요하다. 같은 발화도 말더듬, 반복, 수정, filler를 그대로 남기는 축어 전사로 쓸 수 있고, 읽기 좋게 다듬은 의도 전사로 쓸 수도 있다. nyra labs의 이번 논문은 현대 ASR 모델이 이 차이를 명시적으로 제어하지 못해 디코딩과 평가, 단어 단위 타임스탬프가 불안정해진다고 주장한다.

핵심 내용

• 오류의 원인은 인식 능력만이 아니다: 서로 다른 주석 규칙으로 만든 데이터가 섞여 있으면 모델은 축어적으로 출력해야 할지, 정리된 문장으로 출력해야 할지 학습 중에 혼란을 겪는다. 이 전사 정책의 차이가 출력 변동의 원인이 된다.
• WER 평가가 전사 스타일에 오염될 수 있다: 초록에 따르면 보고된 WER의 최대 60%가 전사 스타일 불일치에서 비롯될 수 있다. 즉, 일부 오류는 모델이 음성을 못 알아들은 것이 아니라 참조 전사와 다른 규칙을 따른 결과일 수 있다.
• 모델은 이미 두 스타일을 담고 있을 수 있다: 저자들은 ASR 모델이 축어 전사와 의도 전사를 모두 어느 정도 내재하고 있으며, 핵심은 이를 원하는 방식으로 안정적으로 활성화하는 것이라고 본다.
• 태스크 토큰으로 전사 정책을 지정: 연구진은 축어/의도 전사 병렬 쌍을 활용해 coverage-aware 디코더 태스크 토큰을 학습했다. 영어 데이터만으로 학습했음에도 독일어 비유창성 F1을 10%에서 79%로 끌어올렸다고 보고했다.
• 타임스탬프 품질도 개선: 비유창한 음성에서는 단어 단위 시간 정렬이 특히 어렵다. 논문은 지도 방식의 cross-attention 미세조정을 도입해 강제 정렬 기반 방법보다 나은 단어 타임스탬프를 얻었다고 설명한다.
• verbatimize라는 새 과제 제안: 고품질의 표준 축어 전사 코퍼스를 대규모로 만들고 보강하기 위한 과제로 verbatimize도 제시했다.

의미와 영향

이 연구는 자막, 회의록, 의료 기록, 음성 데이터 주석, TTS 데이터 파이프라인에 직접적인 의미가 있다. 어떤 제품은 읽기 쉬운 의도 전사를 원하지만, 감사, 임상 기록, 언어 연구, 학습 데이터 구축에서는 원 발화를 충실히 남긴 축어 전사가 필요하다. ASR이 두 모드를 안정적으로 전환할 수 있다면 하나의 모델을 더 다양한 업무 흐름에 적용할 수 있다.

또한 이 논문은 ASR 평가 방식에도 질문을 던진다. 벤치마크 참조문이 여러 전사 규칙을 섞고 있다면, 단일 WER 점수는 모델 성능과 주석 정책 차이를 구분하지 못한다. 전사 정책을 명시적인 제어 변수로 다루는 접근은 향후 음성 인식 데이터셋, 평가 보고, 제품 설계에서 중요한 기준이 될 수 있다.

출처: Hugging Face Daily Papers