返回文章列表
语音与音频

讯飞发布新一代语音与端云模型,AI交互从“听见”走向“理解现场”

阅读约 2 分钟

导语

大模型进入汽车、机器人、智能家居和公共服务设备后,语音交互面对的已不再是安静环境中的单人问答,而是多人同时说话、背景噪声、跨设备任务和连续上下文。10月22日,科大讯飞集中披露了新一代语音、端云模型及具身交互进展,试图回答一个关键问题:AI如何真正听懂并参与现实空间中的交流。

核心要点

  • 从语音转写走向声音理解。 SparkAudio 1.0除语音识别、同传和语音交互外,还支持复杂音频理解、情绪识别、实时说话人分离及环境声理解。与传统“降噪—识别—大模型—合成”的级联系统相比,这一路线更重视语气、声源和环境等容易在文本化过程中丢失的信息。
  • 端侧模型承担更多任务。 Spark-X2.6-4B约41亿参数,最长上下文约100万Token,并强化长文本理解、工具调用和智能体任务能力。讯飞称,部分端侧方案已达到约70%的云端能力,简单、高频或敏感任务可在本地完成,复杂任务则交由云端或端云共同处理。
  • 交互开始理解空间。 结合全景摄像头和环形麦克风阵列,系统可在360度范围内处理多人声音。讯飞披露,在多人同时聊天场景中串扰率可降至1.7%以下,最多5人同时交互时实时分辨率达到87%。具身交互技术还尝试把声源定位、人的意图、视觉信息与动作规划结合起来。
  • 设备从孤立终端变成协作网络。 讯飞提出由云端Agent统一管理上下文和任务状态,让电视、手机、音箱等设备支持换端继续对话和任务协同。开放平台还支持40种以上语言,其中30种可实现免切换语音交互。

意义与影响

这次发布的价值不只在于新增几个模型,而在于重新定义语音助手的工作边界:模型既要理解“说了什么”,也要判断“谁在说、从哪里说、处于什么环境,以及下一步该由哪台设备执行”。如果端侧能力继续提升,隐私、时延和网络依赖有望得到改善;但多人场景的稳定性、跨设备上下文管理和复杂任务的责任边界,仍需要在真实部署中持续验证。

总体看,讯飞正在把语音模型、端侧推理、空间感知与Agent调度组合成一套面向真实场景的交互基础设施。语音大模型的竞争,也由单纯比拼识别准确率,转向比拼对环境、上下文和设备协作的整体理解能力。

来源:InfoQ 中文

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
Fish Audio Drama 3:让语音模型从“朗读”走向“导演式表演”
语音与音频
cctest.ai
语音与音频

Fish Audio Drama 3:让语音模型从“朗读”走向“导演式表演”

Fish Audio 发布开源语音生成模型 Drama 3,将声音克隆、自然语言导演、多角色配音、语音修改和流式合成整合到同一套系统中。其核心并非只追求更像真人,而是让模型能够理解一段表演应如何完成、修改和衔接。

阅读全文
CCTest · Blog
苹果拟吸纳 Huxe 团队并授权其技术,或布局个性化 AI 播客
语音与音频
cctest.ai
语音与音频

苹果拟吸纳 Huxe 团队并授权其技术,或布局个性化 AI 播客

苹果向欧盟委员会披露,已与个性化音频初创公司 Huxe 达成协议,将向部分员工发出聘用邀请,并获得其知识产权的非独家许可。该交易可能为苹果探索 AI 生成或个性化播客功能铺路,但公司尚未公开具体计划。

阅读全文