AuK, 음성 생성과 편집을 통합한 오픈소스 기반 모델

들어가며

음성 AI의 역할은 텍스트를 읽어주는 합성을 넘어 기존 오디오를 지시대로 수정하는 방향으로 확장되고 있습니다. 특정 문장을 바꾸고, 말투나 감정을 조정하며, 잡음을 줄이거나 음향 특성을 변경하는 작업을 하나의 흐름으로 처리하려면 생성과 편집을 분리된 도구로만 다루기 어렵습니다. AuK Technical Report는 자연어 지시와 오디오 컨텍스트를 공통 입력으로 사용하는 오픈소스 기반 모델을 제안합니다.

핵심 내용

• 다섯 가지 작업군을 통합. AuK가 다루는 영역은 음성 생성, 콘텐츠 편집, 향상 및 분리, 준언어적 표현 편집, 음향 편집입니다. 단순한 텍스트 음성 변환을 넘어 입력 오디오의 일부 특성을 유지하면서 원하는 요소를 바꾸는 것이 목표입니다.
• 대규모 지시-오디오 학습. 보고서는 약 30억 3천만 개의 지시-오디오 인스턴스와 195만 시간의 유효 감독 신호를 구축했다고 설명합니다. 다만 제공된 자료에는 데이터 구성과 사용 허가의 세부 내용이 없으므로, 이 수치는 전체 학습 규모로 이해해야 하며 개별 작업의 성능을 직접 보장하지는 않습니다.
• 의미와 음향을 분리해 조건화. 멀티모달 대규모 언어 모델은 의미적 조건을 만들고, 음성·일반 오디오·음악으로 공동 학습한 VAE는 음향 정보를 표현합니다. 생성기는 혼합형 Rectified Flow Transformer이며, 이중 스트림 MMDiT 블록을 거친 뒤 통합 단일 스트림 DiT 블록으로 생성 과정을 이어갑니다.
• 단계적인 최적화. 학습은 생성 전용 워밍업으로 시작해 생성과 편집을 함께 학습하는 단계로 진행됩니다. 이후 개방형 편집에는 인간 피드백 기반 선호 최적화, 음성 생성에는 보상 기반 강화학습을 적용해 서로 다른 목표를 다룹니다.
• 빠른 추론 버전. 일관성 초기화와 작업 라우팅형 Decoupled DMD를 사용해 모델을 증류한 AuK-Flash도 제시했습니다. AuK-Flash는 분류기 없는 가이던스 없이 4단계 추론을 지원하며, 보고서의 동일 조건에서는 전체 모델 대비 벽시계 기준 속도가 4.5배 향상됐다고 합니다.

의미와 한계

AuK의 핵심 의미는 음성 생성과 편집을 같은 언어 기반 인터페이스로 묶었다는 데 있습니다. 제작자는 하나의 작업에서 화자 특성을 유지하면서 대사나 표현을 바꾸고, 배경 음향을 조정하는 과정을 자연어로 설명할 수 있습니다. 연구자에게는 언어가 지정한 의도와 음성 신호의 연속적인 음향 정보를 하나의 생성 시스템에서 결합하는 설계 사례가 됩니다.

다만 현재 제공된 요약만으로 성능을 단정해서는 안 됩니다. 전체 벤치마크 표, 지원 언어, 모델 규모, 데이터 라이선스, 경쟁 모델과의 세부 비교가 포함되어 있지 않기 때문입니다. 보고서의 선도적 또는 경쟁력 있다는 평가는 구체적인 평가 조건과 함께 해석해야 합니다. 실제 편집에서는 화자 음색의 변화, 의도하지 않은 내용 수정, 음성 아티팩트가 발생하는지, 그리고 AuK-Flash가 속도와 품질 사이에서 어떤 절충을 보이는지를 확인해야 합니다.

AuK는 단일 목적의 음성 합성기에서 지시 기반 오디오 생성·편집 기반 모델로 이동하는 흐름을 보여줍니다. 앞으로는 공개 구성 요소가 얼마나 재현 가능한지, 다양한 작업에서 품질을 안정적으로 유지하는지가 실제 활용 가능성을 결정할 전망입니다.

출처: Hugging Face Daily Papers