Fish Audio Drama 3:让语音模型从“朗读”走向“导演式表演”
Fish Audio 发布开源语音生成模型 Drama 3,将声音克隆、自然语言导演、多角色配音、语音修改和流式合成整合到同一套系统中。其核心并非只追求更像真人,而是让模型能够理解一段表演应如何完成、修改和衔接。
阅读全文Fish Audio 发布开源语音生成模型 Drama 3,将声音克隆、自然语言导演、多角色配音、语音修改和流式合成整合到同一套系统中。其核心并非只追求更像真人,而是让模型能够理解一段表演应如何完成、修改和衔接。
阅读全文苹果向欧盟委员会披露,已与个性化音频初创公司 Huxe 达成协议,将向部分员工发出聘用邀请,并获得其知识产权的非独家许可。该交易可能为苹果探索 AI 生成或个性化播客功能铺路,但公司尚未公开具体计划。
阅读全文传统级联式语音助手通常要等用户说完、模型完成判断后,才开始调用外部工具。新研究让系统根据流式语音识别的中间结果提前猜测工具请求,并在后台执行,以减少最终回答的等待时间。
阅读全文在肖恩·帕克和新管理层推动下,Stability AI正把业务重心转向音乐。公司获得索尼、华纳和环球等唱片公司的资金与版权支持,并推出新的音频模型及音乐编辑工具。
阅读全文YuE2尝试把符号化作曲与音频生成合并到同一套模型中:先规划旋律和和弦,再将其渲染为包含人声与伴奏的完整歌曲。报告显示,加入符号规划后,专家对作品整体质量和音乐性的偏好明显提升。
阅读全文StepAudio 3 Realtime围绕“持续聆听—对话—思考—行动”构建,试图同时解决语音交互中的理解深度、响应延迟与自然打断问题。其核心机制包括深度感知、无缝全双工和边说边想。
阅读全文Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,重点提升实时语音交互、视觉理解、并行推理与后台工具调用能力。两款模型面向不同复杂度的语音代理任务,并已通过 API、Workspace、Search 和 Gemini 应用逐步开放。
阅读全文Google正在把多语言AI的目标从“翻译文本”推进到理解语气、情绪、方言和真实对话场景。其方案覆盖语音模型、社区数据、离线设备与无障碍沟通。
阅读全文X-AuT提出一套面向语音大模型的音频编码器渐进式压缩方案,在减少编码器层数的同时,尽量避免嵌入扰动带来的漏字和提前结束问题。实验显示,Qwen3-ASR-0.6B从18层压缩至14层后,音频塔参数减少20.7%,平均错误率为5.75%。
阅读全文小米开源工业级目标说话人语音识别大模型 CocktailASR-1,尝试解决多人同时讲话时的语音识别难题。它不只依赖降噪,而是先指定要听的对象,再输出目标说话人的内容。
阅读全文一项新研究提出 Brain2Semantics2Text,将句子级 MEG 信号映射到语义嵌入空间,再由语义表示生成文本。它不再执着于恢复每个音素或单词,而是优先解码大脑活动中的整体意义。
阅读全文印度音频故事平台Pocket FM称,其年化收入运行率在一年内翻倍至5亿美元,93%的内容目录已由AI参与生产。AI还让内容制作成本下降约80倍,但人类仍负责核心创意与故事开发。
阅读全文AuK试图把语音生成、内容修改、音频增强和声学编辑整合到同一个自然语言驱动的框架中。其技术路线结合多模态语义建模、音频潜变量表示与混合式扩散生成,并推出面向低成本推理的AuK-Flash。
阅读全文OpenAI在GPT-Live工程报告中介绍了面向连续语音交互的系统设计:将媒体与推理置于实时路径,把工具调用、任务委派和持久化等操作移至异步边界之后。该架构还通过有状态会话迁移、WebRTC优化和生产流量静默测试,解决扩展与上线验证问题。
阅读全文一项研究考察了语音识别系统为何会生成与输入语音无关、却看似流畅的文本。结果显示,编码器最后阶段是语音信息完成落地、并交给解码器读取的关键位置,但绕过该阶段本身并不会直接产生自然流畅的幻觉。
阅读全文微软团队发布 VibeVoice-ASR-Streaming,将说话人识别与语音转写统一到一个流式模型中。该模型通过固定音频块、少量前瞻音频和历史文本,在语音到达时持续输出带说话人归属的转写结果。
阅读全文生成式音乐工具降低了创作门槛,也让电子乐场景陷入“哪些作品是真人创作”的信任危机。越来越多音乐人开始根据声音瑕疵、视觉异常和平台特征,公开质疑疑似AI作品。
阅读全文LibriBrain100提供超过100小时的自然语音MEG记录,并同时覆盖单个受试者的深度数据与多受试者的广度数据。研究结果显示,规模化的被试内采集和跨被试迁移都能为神经语音解码带来价值。
阅读全文阿里巴巴推出 CosyVoice Studio,试图把语音识别、语音合成、音频创作与实时语音智能体整合到同一平台。其核心看点不只是“听得清、说得像”,而是把语义理解嵌入语音工作流。
阅读全文面对流媒体平台上激增的AI音乐以及版权诉讼压力,Suno计划为模型生成的音频加入不可见水印,并限制部分下载行为。此举既是行业标签化趋势的一部分,也是一场关于AI音乐能否被平台、版权方和用户接受的合规实验。
阅读全文SwanTale 试图把多说话人语音、环境音效与零样本音色复用放进同一个生成框架。它的重点不只是“像谁说话”,而是让创作者用自然语言同时描述角色、情绪、场景与声音内容。
阅读全文