Fish Audio Drama 3：让语音模型从“朗读”走向“导演式表演”

导语

传统文本转语音系统通常把任务理解为“把文字读出来”：用户提供文本和音色，模型生成一段相对固定的语音。Fish Audio 发布的 Drama 3 则试图把问题推进到更接近配音导演的层面。根据技术报告，这个开源模型不仅能模仿声音，还能理解自然语言中的表演要求，在多角色场景中保持不同人物的声音，并根据后续反馈重新处理上一段台词。

核心能力

• 多参考音色克隆：模型可以使用多个参考音频，而不是依赖单一示例来建立声音特征。
• 自然语言导演：用户可以用文字描述表演方向，让模型控制语气、情绪和演绎方式。素材没有给出具体指令案例，因此其实际控制边界仍需通过公开演示和测试确认。
• 多轮修改：在生成一轮语音后，用户可以继续提出修改意见，模型据此调整上一段表演。这使交互方式更接近录音棚中的“试一遍—给反馈—重录”。
• 多角色场景配音：Drama 3 面向对话和戏剧化内容，而不只是单人播报。
• 音频局部编辑与流式生成：模型支持通过 infilling 修改已有语音的一部分，也支持长内容生成和流式文本输入，适合连续播放或实时交互场景。

技术路线与速度表现

Drama 3 使用 350 亿参数的混合专家骨干网络，每个 token 激活约 30 亿参数，在模型容量和单次计算成本之间取得折中。其架构结合了混合线性注意力，并配套新的 codebook 多 token 预测音频解码器：不同声学码本在专门层中预测，同时能够关注整个序列。这样的设计重点在于提高语音生成的连贯性和解码效率，但报告摘要并未提供完整的主观听感评测、数据规模或不同语言的细分结果，因此不宜仅凭参数量判断最终音质。

在一台 H200 上，Drama 3 的单流推理速度为每秒 271 帧，报告中作为对照的 Fish Audio S2 为每秒 177 帧。这个比较显示，新模型虽然参数规模更大，但推理引擎并未简单地以模型规模换取速度。不过，帧速率与最终实时倍速、延迟和部署成本并不完全等价，实际体验还取决于音频码率、上下文长度和服务配置。

意义与影响

Drama 3 的重要变化，是把语音生成从一次性合成转向可编辑、可反馈的表演流程。对于有声内容、游戏对白、短剧配音和交互式角色，统一处理音色、角色关系、表演指令与后期修改，可能减少在多个工具之间反复导出和拼接的工作。与此同时，声音克隆和多角色生成也意味着授权、冒用和内容标注问题仍然需要部署方认真处理。

目前模型权重已发布在 GitHub 和 Hugging Face，并可通过 SGLang-Omni 进行推理。更完整的判断仍应等待技术报告全文、评测细节和真实应用测试；但从公开摘要看，Drama 3 正在把开源语音模型的竞争重点，从“能不能生成声音”推向“能不能完成一场可修改的表演”。

来源：Hugging Face Daily Papers