IQuest-Q1：面向 CLI 智能体的 320B 稀疏 MoE 基础模型

导语

面向命令行环境的 AI 智能体，不只是“会写代码”的语言模型。它们还需要理解项目结构、调用工具、处理连续反馈，并在较长任务中保持目标一致。Hugging Face Daily Papers 收录的 IQuest-Q1，正是围绕这类 Agentic CLI 系统设计的一款稀疏混合专家（MoE）基础模型。

IQuest-Q1 的总参数量为 320B，但单次推理激活约 15B 参数。这样的设计意图，是在保留大规模模型容量的同时，控制每一步计算所需的参数规模。不过，摘要并未给出具体推理吞吐、硬件成本或部署限制，因此不能仅凭参数配置判断其实际效率。

核心训练路线

• 稳定预训练。 项目将 Stable SplitNorm、Muon 与 muP 结合使用，并设计两阶段课程学习。第二阶段提高代码数据在混合语料中的比例，同时在安全学习率与最优学习率之间保留较宽的稳定区间。其重点不是简单增加代码数据，而是降低大规模训练对超参数的敏感性。
• 细粒度中期训练。 训练继续扩展数据的领域覆盖和格式类型，并逐步拉长上下文。对于 CLI 智能体而言，较长上下文有助于处理代码库、终端输出、工具调用记录和任务状态，但上下文扩展本身并不等同于稳定的长程规划能力。
• 多支架、多版本后训练。 团队在不同 scaffold 和模型版本上组合 SFT、领域专门强化学习与 MOPD，让不同训练信号共同作用于编码智能体能力。这里的“支架”可以理解为承载任务交互和训练反馈的不同流程框架。
• 模型合并。 项目还合并不同阶段的专家与检查点，并针对参数更新之间的冲突进行缓解。该做法试图把不同训练阶段形成的互补能力集中到一个模型中，但合并效果仍需要公开实验与消融结果验证。

意义与待观察问题

IQuest-Q1 的价值在于，它把 CLI 智能体视为一个完整训练系统，而不是在通用模型上附加一个简单工具调用层。数据配比、上下文扩展、强化学习支架以及检查点整合，均被纳入同一条能力建设路线。这种思路符合编码智能体从“生成代码”走向“完成工程任务”的发展方向。

同时，当前素材只明确说明模型在编码和通用任务上展现能力，并未提供具体评测分数、对比模型、任务成功率或资源消耗。因此，外界仍需结合论文全文、评测协议和开源模型进行判断。若发布内容包含完整权重与训练细节，IQuest-Q1 可能为社区研究 Agentic CLI 训练、MoE 路由和多阶段模型合并提供一个可复现的观察对象。

来源：Hugging Face Daily Papers