文字翻訳から実世界の言語理解へ、Googleの多言語AI戦略

導入

多言語AIの課題は、ある言語の単語を別の言語へ置き換えることだけではない。実際の会話には、ためらい、笑い、割り込み、訛り、複数言語の切り替えが含まれる。声の高さや話す速度も意味を左右する。Googleは今回、文字起こしを中心にした従来の処理から、音声そのものと発話の意図を扱うモデルへ進む方針を示した。

主なポイント

• 音声を直接理解するモデル。 従来は音声を文字に変換し、その文字を処理してから音声に戻す流れが一般的だった。この方法では感情、間、抑揚、文脈が失われやすい。GoogleはGeminiに音声を直接処理させ、未完成の文や雑音、SpanglishやHinglishのような言語混在にも対応しようとしている。
• リアルタイム対話への展開。 Googleによると、Gemini 3.5 Live Translateは70言語、2000以上の言語ペアで音声翻訳を提供する。Gemini 3.5 Transcribeは騒音環境や専門用語を含む音声の文字起こしを想定し、Android版GboardのRamblerはフィラーの削除、句読点の修正、音声による書き換えを支援する。
• 言語間転移で対応範囲を拡大。 「1000言語イニシアチブ」は、世界で多く話される1000言語を対象にする計画だ。1200万時間の音声で訓練したUniversal Speech Modelは、データの多い言語から得たパターンを、学習データが少ない言語の理解に活用する。
• 地域コミュニティをデータの中心に置く。 WAXALはサハラ以南アフリカの27言語を対象とする。Project Vaaniはインドの109言語について、15万5000人以上の話者から3万時間超の音声を収集した。Amplify Initiativeも、4大陸の専門家や大学とともに地域固有の表現を記録している。
• 通信や端末の制約にも対応。 TranslateGemmaは55言語で訓練された軽量翻訳モデルで、端末上で動作することを目指す。ViamoのAsk Viamo Anythingは、インタラクティブ音声応答を通じて、通常のフィーチャーフォンにもGeminiベースの音声アシスタントを届ける取り組みだ。
• アクセシビリティを設計段階から考える。 Googleは50以上の手話を対象とするSign Language-to-Textにも取り組んでいる。GboardやPixel 11のLive Transcribeで、まずアメリカ手話から英語への変換を実現する計画が示されている。

意義と影響

この取り組みが示すのは、言語包摂が対応言語数だけでは測れないということだ。方言、混合言語、非標準的な発話を認識できなければ、製品上で言語を選べても、利用者は自然に話せない。音声を直接扱うモデルと地域で集めたデータは、こうしたずれを減らす可能性がある。

一方で、課題は残る。データ収集には同意と地域の優先事項への配慮が必要であり、評価も単純な単語認識率だけでは不十分だ。モデルが文化的な文脈を尊重できるか、低性能な端末でも実用的な品質を保てるかも検証しなければならない。多言語AIの評価軸は、メニューに何言語を並べられるかから、人々が自分の話し方のまま理解されるかへ移りつつある。

出典：Google AI Blog