Llama-Mobile、2.7ビット量子化で視覚言語モデルのモバイル展開を目指す

導入

視覚言語モデルは画像とテキストを同時に扱える一方、モデル本体の大きさに加え、画像エンコーダーや言語生成に伴う計算、アクティベーションの保存も必要になります。スマートフォンやタブレットのようにメモリと演算能力が限られた環境では、単にモデルを小さくするだけでなく、実際の端末で処理しやすい形式にすることが重要です。Llama-Mobileは、このモバイル推論の課題に焦点を当てています。

主なポイント

• モデル自身がデータを生成：量子化に使うデータを、圧縮対象のモデル自身から作ります。元の学習データやコード、完全な学習設定にアクセスする必要がないため、公開済みモデルを後から展開する場面に適しています。
• 2.7ビット形式を設計：平均でパラメーターあたり約2.7ビットとなる表現を提案しています。圧縮率だけでなく、Arm CPU上で効率よく実行できることも設計の目標に含まれています。
• 視覚言語モデルで検証：Llama 3.2 11B Vision Instructを対象に適用し、8ビットのアクティベーションを用いる設定で容量を3.7 GBまで削減しました。標準的な複数の視覚質問応答タスクでも、強い性能を維持したと報告しています。
• 学習環境への依存を抑制：従来の量子化では校正データや学習時の情報が必要になる場合があります。本手法は、利用できる情報がモデル本体に限られる状況を意識しています。

意義と今後の課題

この研究の意義は、低ビット化、データへのアクセス制約、そしてモバイル向けハードウェアでの実行を一つの設計課題として扱っている点にあります。小さなモデルファイルを作れても、対象プロセッサーで効率よく処理できなければ、端末上の実用性には直結しません。Arm CPUを意識した形式は、圧縮後の実行経路まで考慮した取り組みだといえます。

他の視覚言語モデルやモバイルチップでも同様の結果が得られれば、オフライン画像質問応答、端末内アシスタント、プライバシーを重視するマルチモーダルアプリケーションの選択肢が広がる可能性があります。ただし、提示された情報から確認できるのは、代表的なモデルの圧縮容量と標準的な視覚質問応答の結果です。端末ごとの遅延、消費電力、互換性、他方式との総合比較については、完全な論文と実機評価が必要です。

出典：Hugging Face Daily Papers