Apertus 1.5、オープンなテキストモデルからマルチモーダル推論へ

概要

Apertus 1.5は、完全にオープンなApertusファミリーをテキスト専用モデルからマルチモーダル推論モデルへ広げるリリースです。Swiss AI Initiativeに関連するチームは、134ページの技術報告で、データ構成、学習設定、アブレーションを説明しています。公共機関が主導し、記録されたデータを用い、研究可能な形で公開するモデルが、商用プロバイダーへの依存に代わる選択肢になり得るという問題意識も、このリリースの重要な背景です。

主なポイント

• Apertus 1.0からの継続学習。 8Bモデルでは4兆トークン、70Bモデルでは2兆トークンを追加して継続事前学習を行いました。これにより画像と音声の理解を加え、コンテキスト長を従来の4倍となる262,144トークンまで拡張しています。
• 本体構造を変えないマルチモーダル化。 新しいモダリティはトークナイザーを通じて入力され、独立したビジョンタワーは使われません。言語モデルのヘッドはテキスト出力に限定されるため、画像や音声を理解してテキストで回答するモデルと位置づけられます。
• 推論はチャットテンプレートの設定。 「thinking」は別モデルへ切り替える仕組みではなく、チャットテンプレートのフラグとして実装されています。報告では、8Bモデルの数学推論が最大20ポイント向上したとされていますが、これは報告された評価条件に基づく結果です。
• 複数段階の事後学習。 教師ありファインチューニング、長文脈ファインチューニング、検証可能な報酬を使う強化学習、選好アラインメントを組み合わせています。指示追従、長い入力、検証可能な解答、対話品質をそれぞれ改善する構成です。
• 得意分野と限界。 画像・音声理解では完全公開のマルチモーダルモデルと競争力を示し、文書理解、長文入力、低リソース音声認識で強みが報告されています。一方、細かな視覚認識や文字起こしでは、専門の視覚・音声モデルがなお優位です。

意義と影響

Apertus 1.5の意義は、重みを公開するだけでなく、訓練データの構成や実験条件、アブレーションまで説明しようとしている点にあります。研究者は結果の再検証や追加学習を行いやすくなり、公共部門や教育機関にとっても、モデルの由来と設計を確認する手がかりになります。

技術面では、言語モデル本体を作り直さず、トークナイザーと継続学習で画像・音声を加える方針が注目されます。既存のテキスト能力を再利用でき、長文脈、マルチモーダル入力、推論訓練を同じモデル系列で検討できるからです。

ただし、オープンなマルチモーダルモデルが、すべての専門モデルを置き換えるわけではありません。視覚の細部認識、精度重視の文字起こし、リアルタイム処理などでは個別の評価が必要です。ベンチマークの向上だけでなく、データの文書化、ライセンス、バイアス、実運用時の信頼性も確認しなければなりません。Apertus 1.5が示すのは、オープンモデルが訓練可能性の実証から、透明性を保ったマルチモーダル拡張へ進みつつあることです。

出典：Hugging Face Daily Papers