알리바바 CosyVoice Studio, AI 음성을 생산성 플랫폼으로 확장

도입

알리바바가 원스톱 AI 음성 생산성 플랫폼인 CosyVoice Studio를 발표했다. 이 플랫폼은 음성 인식, 음성 합성, 오디오 콘텐츠 생성, 실시간 음성 에이전트를 하나의 제품 체계 안에 묶는다. 기존의 “녹음을 텍스트로 바꾸는 도구”나 “문장을 읽어주는 도구”와 다른 점은 의미 이해를 전면에 내세운다는 것이다. 사용자가 말한 내용은 단순히 기록되는 데 그치지 않고 정리, 재작성, 구조화 과정을 거쳐 업무 문서나 콘텐츠, 비즈니스 대화로 이어질 수 있다.

핵심 내용

• Qwen-Audio 기반: 원문에 따르면 CosyVoice Studio는 알리바바의 자체 음성 모델 Qwen-Audio를 기반으로 구축됐다. 해당 모델은 Artificial Analysis의 음성 인식, 실시간 상호작용, 음성 합성 부문에서 높은 성과를 거둔 것으로 소개됐다.
• 전사 이상의 음성 키보드: CosyVoice는 “음”, “그”와 같은 구어체 filler를 제거하고 산발적인 말을 더 명확한 문장으로 바꾼다. 말하는 중간의 수정이나 번복도 처리해 최종 의도를 남기는 방식이다.
• 업무 형식으로 구조화: 사용자가 말로 내용을 입력하면 이메일, 업무 보고, 회의록 같은 형식으로 변환할 수 있다. 숫자나 비율처럼 전문 문맥에서 중요한 표현도 읽고 활용하기 쉬운 형태로 전사하는 기능을 제공한다.
• 장시간 기록과 정리: ‘수기’ 모드는 회의, 인터뷰, 강의처럼 긴 시간 기록이 필요한 상황을 겨냥한다. 실시간 전사, 성문 기반 화자 구분, 녹음 후 장별 구조화를 지원하며, 기존 녹음 파일도 업로드할 수 있다. 단일 녹음은 최대 6시간까지 지원된다고 소개됐다.
• 음성 에이전트와 콘텐츠 제작: CosyAgent는 기업 지식과 도구 호출 능력을 갖춘 실시간 음성 에이전트를 자연어로 만들 수 있게 해 주며, 고객센터나 전화 영업 같은 장면을 겨냥한다. CosyCreative는 팟캐스트와 오디오북 제작을 지원하고 다양한 음색과 음성 복제 기능을 제공한다.

의미와 영향

이번 발표는 AI 음성 제품의 방향이 바뀌고 있음을 보여준다. 과거에는 ASR, TTS, 번역, 잡음 제거처럼 개별 기능이 따로 제공되는 경우가 많았다. CosyVoice Studio는 듣기, 이해하기, 정리하기, 말하기, 대화하기를 하나의 연속된 워크플로로 연결하려는 시도다. 개인 사용자에게 음성 입력은 받아쓰기 도구를 넘어 글쓰기와 기록 정리의 보조 수단이 될 수 있다. 기업에는 고객 응대, 영업 지원, 내부 업무 자동화의 새로운 인터페이스가 될 가능성이 있다.

다만 실제 확산 여부는 복잡한 환경에서의 인식 안정성, 기업 지식 연결 품질, 음성 복제의 규정 준수, 실시간 대화의 지연과 제어 가능성에 달려 있다. CosyVoice Studio의 의미는 단일 기능의 성능보다 이러한 기능을 얼마나 쓰기 쉽고 안정적이며 통합 가능한 제품으로 만들 수 있는지에 있다.

출처: 量子位