Llama-Mobile：用2.7比特量化把视觉语言模型带到移动端

导语

视觉语言模型能够同时处理图像与文本，但它们通常拥有较大的参数规模，运行时还需要承担视觉编码、语言生成和激活存储等开销。对手机、平板等内存和算力有限的设备而言，如何在不明显损失能力的情况下缩小模型，是实现本地多模态推理的关键问题。

Llama-Mobile针对这一问题提出量化框架，目标不是重新训练一个更小的模型，而是在缺少原始训练环境的前提下，把现有视觉语言模型转化为更适合移动端执行的形式。

核心要点

• 模型自生成量化数据：量化流程利用待压缩模型自身生成训练数据，因此不要求访问模型原有的训练数据、训练代码或完整训练配置。这种设计降低了对模型开发方内部资源的依赖，也更适合处理已经发布的模型。
• 2.7比特参数格式：论文提出一种平均每个参数约2.7比特的表示方式，重点考虑在Arm CPU上的高效执行。相比只追求压缩率，这一设计同时关注移动处理器上的实际推理效率。
• 面向视觉语言模型验证：作者以Llama 3.2 11B Vision Instruct为对象进行压缩。在使用8比特激活的设置下，模型体积降至3.7 GB，并在一组标准视觉问答任务中保持较强表现。
• 无需训练设置访问：这条限制很重要。许多量化方案需要校准数据或训练阶段信息，而Llama-Mobile试图把流程适配到只有模型本身可用的现实场景。

意义与影响

这项工作的价值在于把“低比特量化”与“移动端执行”放在同一个设计目标下考察。参数压缩可以直接降低模型存储和内存压力，但低比特格式是否能被目标硬件高效处理，同样决定了实际体验。针对Arm CPU设计表示形式，说明论文关注的不只是文件大小，也包括部署路径。

如果这一思路能够在更多视觉语言模型和更多移动芯片上复现，它可能为离线图像问答、端侧辅助工具以及隐私敏感场景提供更现实的模型部署选项。不过，当前素材只给出了代表性模型、压缩规模和标准视觉问答结果，尚不足以判断不同设备上的端到端延迟、能耗、兼容性，以及与其他量化方法的全面差异。这些仍需要结合完整论文和实际硬件测试进一步确认。

来源：Hugging Face Daily Papers