Fish Audio Drama 3, 음성 생성을 ‘연출 가능한 연기’로 확장

들어가며

기존 텍스트 음성 변환 시스템은 대체로 텍스트를 선택한 목소리로 읽어 주는 일회성 변환에 가까웠습니다. Fish Audio의 Drama 3는 이 범위를 넓히려는 모델입니다. 기술 보고서에 따르면 이 오픈소스 모델은 문장을 단순히 읽는 것이 아니라, 연출된 음성 퍼포먼스로 바꾸는 것을 목표로 합니다. 화자의 정체성뿐 아니라 자연어로 전달된 연기 지시, 대화의 맥락, 여러 인물의 역할, 생성 후 수정까지 하나의 모델에서 처리하려는 접근입니다.

핵심 기능

• 다중 참조 음성 복제: 하나의 샘플이 아니라 여러 참조 음성을 사용해 목표 목소리의 특성을 구성합니다.
• 자연어 연출: 사용자가 일반적인 언어로 연기 방향을 설명하면 이를 생성 과정에 반영합니다. 제공된 자료에는 구체적인 지시 사례나 제어 범위가 포함되지 않았으므로, 실제 성능은 공개 데모와 별도 검증이 필요합니다.
• 멀티턴 수정: 첫 번째 테이크를 만든 뒤 다음 대화에서 수정 의견을 전달할 수 있습니다. 녹음 현장에서 “조금 더 차분하게” 또는 “다른 방식으로 다시”라고 요청하는 흐름에 가깝습니다.
• 다중 캐릭터 장면 더빙: 단일 화자 내레이션뿐 아니라 대화와 극적인 장면을 대상으로 합니다.
• 부분 편집과 스트리밍: 기존 음성의 특정 구간을 인필링 방식으로 바꾸고, 긴 오디오와 스트리밍 텍스트 입력도 지원합니다.

구조와 추론 성능

Drama 3는 총 350억 개 파라미터의 Mixture-of-Experts 백본을 사용하지만, 토큰마다 약 30억 개의 파라미터만 활성화합니다. 전체 모델 용량을 확보하면서 각 단계의 계산량을 줄이려는 설계입니다. 백본에는 하이브리드 선형 어텐션이 적용됐고, 오디오 생성부에는 코드북 멀티토큰 예측 디코더가 새롭게 결합됐습니다. 전용 계층이 각 프레임의 음향 코드북을 예측하며 전체 시퀀스를 참조하도록 구성됐습니다.

보고서 요약은 H200 한 장에서 단일 스트림을 초당 271프레임으로 디코딩한다고 설명합니다. 비교 대상인 Fish Audio S2의 수치는 초당 177프레임이며, Drama 3는 S2보다 7배 넘게 많은 파라미터를 갖습니다. 따라서 모델 규모가 커지면 반드시 추론이 느려지는 것은 아니라는 점을 보여주는 비교입니다. 다만 프레임 처리량은 최종 지연 시간이나 항상 동일한 실시간 배율을 의미하지 않습니다. 오디오 표현 방식, 문맥 길이, 배치 설정, 실제 서비스 구성에 따라 체감 성능은 달라질 수 있습니다.

또한 제공된 소재에는 전체 평가 방식, 학습 데이터 규모, 언어별 결과, 상세한 청취 평가가 담겨 있지 않습니다. 따라서 파라미터 수나 단일 속도 지표만으로 음질과 범용성을 단정하는 것은 적절하지 않습니다.

의미와 과제

Drama 3의 핵심 변화는 음성 생성을 한 번의 결과물이 아니라 수정 가능한 연기 작업으로 바라본다는 데 있습니다. 오디오북, 게임 대사, 단편 드라마, 더빙, 대화형 캐릭터 제작에서 음색과 캐릭터, 연출, 부분 수정이 한 시스템에 통합되면 여러 도구 사이를 오가는 작업을 줄일 수 있습니다. 반면 음성 복제와 다중 캐릭터 생성은 무단 사용, 사칭, 동의, 합성 음성 표시와 같은 문제도 함께 제기합니다.

모델 가중치는 GitHub와 Hugging Face에서 제공되며 SGLang-Omni를 통한 추론도 지원됩니다. 완전한 기술 보고서와 독립적인 평가가 더 필요하지만, 공개된 요약만으로도 오픈소스 음성 모델의 경쟁 기준이 “목소리를 만들 수 있는가”에서 “지시를 이해하고 수정하며 하나의 연기를 완성할 수 있는가”로 이동하고 있음을 보여줍니다.

출처: Hugging Face Daily Papers