음성·오디오

Fish Audio의 오픈소스 모델 Drama 3는 음성 복제에 그치지 않고 자연어 연출, 다중 캐릭터 더빙, 반복 수정, 음성 부분 편집, 스트리밍 생성을 하나의 시스템에 결합합니다.

애플이 개인화 오디오 스타트업 Huxe의 일부 직원에게 고용을 제안하고 지식재산의 비독점 라이선스를 받는 계약을 유럽연합 집행위원회에 공개했다. AI 팟캐스트 진출 가능성을 보여주는 움직임이지만 구체적인 제품 계획은 확인되지 않았다.

새로운 온디바이스 음성 에이전트 방식은 사용자가 말을 끝내기 전에 부분 음성 인식 결과를 바탕으로 필요한 도구 호출을 예측하고 실행한다. 실행 결과를 캐시해 최종 응답까지의 대기 시간을 줄이는 접근이다.

Stability AI가 이미지 생성 중심의 사업에서 음악 전문가용 AI 도구로 무게중심을 옮기고 있다. 소니, 워너, 유니버설로부터 투자와 학습용 카탈로그 라이선스를 확보했다.

YuE2는 멜로디와 코드를 담은 읽을 수 있는 악보를 먼저 만든 다음, 이를 보컬과 반주가 포함된 완성곡 오디오로 변환한다. 기호 기반 작곡과 오디오 생성을 하나의 모델 안에서 연결하려는 접근이다.

StepAudio 3 Realtime은 ‘듣기·대화·사고·행동’의 연속 루프를 중심으로 설계된 오디오 언어 기반 모델입니다. 풍부한 음향 인식, 풀 듀플렉스 대화, 발화 중 병렬 추론, 비동기 도구 실행을 하나의 시스템으로 묶습니다.

Google DeepMind가 실시간 음성 대화, 시각적 맥락 이해, 병렬 추론, 백그라운드 도구 실행을 강화한 Gemini 3.8 Live와 Extended Thinking을 공개했습니다. 두 모델은 개발자 API와 Workspace, Search, Gemini 서비스에 순차적으로 제공됩니다.

Google이 다국어 AI의 목표를 문자 번역에서 말투, 감정, 코드 스위칭과 지역별 표현을 이해하는 단계로 확장하고 있다. 오디오 기반 모델과 지역 커뮤니티 데이터, 온디바이스 기술을 함께 활용하는 전략이다.

X-AuT는 음성 대규모 언어 모델의 오디오 인코더 깊이를 줄이면서, 프루닝 이후 발생할 수 있는 삭제 오류와 조기 종료를 완화하는 프레임워크를 제안합니다. 행동 프로브, 표현 정렬, 교차 스케일 증류와 LoRA 미세 조정을 함께 사용합니다.

샤오미가 여러 사람이 동시에 말하는 환경을 겨냥한 산업용 목표 화자 음성 인식 대형 모델 CocktailASR-1을 오픈소스로 공개했습니다. 단순히 소음을 줄이는 대신 먼저 들을 화자를 지정하고, 해당 인물의 발화만 인식하는 접근입니다.

Brain2Semantics2Text는 문장 수준의 MEG 반응을 먼저 의미 임베딩 공간으로 매핑한 뒤 자연어를 생성한다. 음소와 단어를 하나씩 복원하기보다 문장 전체의 의미를 우선하는 접근이다.

인도의 오디오 스토리 플랫폼 Pocket FM이 1년 만에 연환산 매출 런레이트를 5억 달러로 두 배 늘렸다고 밝혔습니다. 전체 카탈로그의 93%, 신규 콘텐츠의 99%에 AI를 활용하지만 핵심 아이디어와 스토리 개발은 여전히 사람이 담당합니다.

AuK는 자연어 지시와 오디오 컨텍스트를 공통 인터페이스로 삼아 음성 생성, 내용 편집, 음성 향상과 분리, 표현 편집, 음향 편집을 처리하는 오픈소스 모델입니다. 증류 버전인 AuK-Flash는 적은 추론 단계로 비용 절감을 노립니다.

OpenAI의 GPT-Live는 지연에 민감한 미디어 처리와 추론을 도구 사용, 작업 위임, 데이터 저장 같은 애플리케이션 로직과 분리합니다. 상태ful 세션 마이그레이션, WebRTC 개선, 실제 트래픽 기반 사일런트 테스트를 통해 대화의 연속성과 확장성을 함께 확보하려는 접근입니다.

음성과 무관하지만 유창한 문장을 생성하는 음성인식 시스템의 ‘환각’을 새로운 연구가 분석했다. 인코더 마지막 단계는 음성 정보를 디코더가 읽을 수 있는 텍스트 표현으로 정리하는 핵심 지점이지만, 이 단계만 손상한다고 자연스러운 환각이 바로 발생하는 것은 아니다.

Microsoft 연구팀이 음성 인식과 화자 귀속을 하나의 스트리밍 모델로 통합한 VibeVoice-ASR-Streaming을 공개했다. 음성이 입력되는 동안 화자 정보가 포함된 전사 결과를 지속적으로 생성한다.

생성형 음악 도구가 전자댄스음악 제작의 문턱을 낮추는 동시에, 누가 실제로 곡을 만들었는지를 둘러싼 불신도 키우고 있다. 일부 뮤지션은 음향 결함과 영상의 이상 징후를 바탕으로 의심스러운 곡을 추적하기 시작했다.

LibriBrain100은 32명이 자연스러운 연속 음성을 듣는 동안 수집한 100시간 이상의 MEG 데이터를 제공한다. 한 참가자의 깊은 데이터와 다수 참가자의 폭넓은 데이터를 함께 구성해 재현 가능한 신경 음성 디코딩 평가를 지원한다.

알리바바가 음성 인식, 음성 합성, 오디오 콘텐츠 제작, 실시간 음성 에이전트를 통합한 CosyVoice Studio를 공개했다. 핵심은 단순 전사나 합성이 아니라 음성 흐름 전반에 의미 이해를 결합했다는 점이다.

AI 생성 음악이 스트리밍 플랫폼에 대량 유입되고 저작권 소송이 이어지는 가운데, Suno가 생성 음원에 보이지 않는 워터마크를 넣고 다운로드 제한을 강화하겠다고 밝혔다. 이는 AI 음악 서비스가 출처 표시와 남용 방지라는 새로운 기준에 맞춰 재정비되는 흐름을 보여준다.

SwanTale은 단일 화자의 TTS를 넘어 여러 인물의 말투, 감정, 환경음, 효과음을 함께 생성하려는 연구다. 지시문 기반 생성과 참조 음성을 활용한 제로샷 생성을 하나의 프레임워크에서 다룬다.