开源项目 Strata 让消费级显卡运行 1250 亿参数模型

导语

大型语言模型长期被视为云端基础设施的专属能力，但开源推理项目 Strata 正在降低这道门槛。该项目面向 Windows 和 Linux 电脑，尝试在配备 12GB 以上显存的消费级显卡上运行 Qwen3.8-Flash-Next，一个拥有约 1250 亿参数、通常需要服务器资源的模型。模型文件和推理过程可以留在本地，用户无需把对话、代码或图片上传到远程服务。

需要注意的是，项目标题中的“100T/s”并不是统一适用于所有设备的实测结果。公开说明显示，速度会随显卡、内存、量化方式和上下文长度显著变化。

核心要点

• 消费级硬件也能运行：项目支持部分 NVIDIA RTX 20 至 50 系列，以及多款 AMD Radeon 显卡，最低建议为 12GB 显存和 32GB 系统内存。64GB 内存可以覆盖安装器提供的全部常用模型规格。
• 速度取决于量化版本：在 RTX 5070、64GB 内存的平台上，Q2_0 版本的生成速度约为每秒 94 个 token，IQ3_S 约为每秒 53 个 token；RX 9070 XT 平台对应速度约为每秒 60 和 44 个 token。更高压缩通常更快，但可能牺牲部分能力。
• 不只是聊天：Strata 提供浏览器聊天界面、运行监控和图片输入，也能通过 OpenAI 兼容接口接入代码助手、代理和其他应用。默认一次处理一个请求，并支持通过配置增加并行请求数。
• 大部分负载会落在系统内存：首次启动需要加载约 35GB 至 55GB 数据，模型下载约 70GB，并可能让电脑暂时变慢一到三分钟。固态硬盘有助于缩短启动时间。
• 不同内存对应不同选择：32GB 内存更适合面向代码的 Coder 版本；48GB 可考虑 IQ2_XS；64GB 可以尝试 IQ3_XXS 或 IQ3_S。更高质量的模型则需要更多内存，或依赖 SSD 读取，速度会明显下降。

意义与限制

Strata 的价值不在于让所有用户都获得云端服务器级性能，而在于展示大型模型本地化的另一条路径：通过低比特量化，把模型拆分到显存、系统内存，必要时再使用 SSD。对于代码代理、离线知识处理和隐私敏感场景，这种架构可以减少对 API 服务的依赖，也让用户更容易控制数据流向。

但本地运行并不等于“无需成本”。模型下载体积大，首次加载会占用大量内存；长上下文的首次读取也可能需要较长时间。低端配置需要选择更激进的量化版本，AMD 图片理解在 Windows 上还有功能限制，多 GPU 和旧显卡支持也仍带有实验性质。因此，部署前应先核对显存、内存、驱动和磁盘空间，并把项目给出的速度看作特定环境下的参考，而不是普遍承诺。

总体来看，Strata 更像一个面向个人开发者的本地推理整合方案：它把模型、运行引擎、安装脚本和兼容接口包装在一起，降低了部署门槛。随着显存容量增加和量化技术成熟，1250 亿参数模型逐步进入个人工作站，可能会推动更多代码代理和离线 AI 工具从云端走向本地。

Hacker News