音声・オーディオ

nyra labs の論文は、現代のASRが逐語転写と意図転写を混在したまま学習し、出力や評価、単語レベルの時刻情報を不安定にしていると指摘する。タスクトークンと cross-attention 微調整により、転写スタイルを明示的に制御する方法を提案している。

長い録音で「何が起きたか」だけでなく「いつ起きたか」まで答えることを目指した音声LLMです。最大120分の入力に対して、明示的なタイムスタンプ付きで応答できます。 周期的な時間マーカーを音声トークンと交互に入れ、合成データで学習させる設計が特徴です。

多言語ASRは語数を増やすだけでは十分ではありません。GigaAM Multilingual は、資源の少ない中央アジア言語に焦点を当て、データの偏りを抑える設計で性能向上を狙った研究です。

Qwen の技術報告は、歌声を含む高品質な楽曲生成モデル Qwen-Music を紹介している。特徴は、旋律トークンによる計画を先に行い、その後に楽曲全体を生成・レンダリングする点だ。

OSChina の要約によると、生成 AI 音楽プラットフォーム Suno で内部ソースコードとデータ収集関連情報が流出し、音楽・歌詞・音声素材を学習に使うため大規模に取得していた可能性が示された。

404 Mediaの報道によると、ハッキングで取得されたSunoの資料には、YouTube Music、Deezer、Geniusなどから音源や歌詞を収集する指示が含まれていた。AI音楽モデルの学習データをめぐる著作権論争は、さらに具体的な局面に入った。

MetaPerch は、動物の鳴き声そのものだけでなく、録音に付随する場所や時刻などのメタデータを学習に使う生物音響向け基盤モデルだ。現実の受動的音響モニタリングで問題になる分布変化への対応を狙っている。

arXiv の新論文は、WavLM 表現と動的時間伸縮法を用いた、テキスト不要の第二言語音声評価を検証している。音素レベルの採点で高い性能を示し、リズムやイントネーション評価にも応用可能性を示した。