Drex：把大模型推理改造成一次前向的决策模型

导语

当大语言模型被用于审核、路由、排序或智能体决策时，生成一段完整文本并不总是最优方案。应用通常只需要知道几个候选选项的相对概率，却不得不等待模型逐 token 输出，再从自然语言中解析结果。这会带来额外延迟、格式错误和结果不稳定等问题。Nace.AI 发布的 Drex，尝试将这类任务重新定义为“决策模型”问题。

核心思路：直接预测选项分布

Drex 的输入由两部分组成：一个状态，可以是文档、记录、智能体上下文，也可以包含图像；以及围绕该状态提出的问题。问题可以要求模型从用户提供的选项中做选择，给出是或否判断，或者在有序尺度上输出评分。模型不进行自回归解码，而是在一次前向计算中返回各选项的概率分布。

这类接口更适合生产系统。调用方能够直接消费结构化概率，不必依赖正则表达式解析回答，也可以根据置信度设置人工复核、级联模型或自动执行阈值。

模型与训练

Drex 家族包含四个版本：8B 参数的 DLM、9B 的 v1.5、采用 35B 总参数但仅激活约 3B 参数的 v2.0，以及 27B 的 Max。训练流程结合监督微调和“基于调整反馈的强化学习”（RLAF），后者将经过验证的结果与推理评审信号结合，并通过 KL 约束限制模型偏离原有能力。Max 还加入了视觉调优，因此能够处理带图像的状态。

论文消融实验显示，RLAF 能提升准确率；一致性损失则改善了选项交换后的稳定性。相关测试中，选项顺序导致答案翻转的比例从 6.3% 降至 4.2%。这项设计很重要，因为一个可靠的决策接口不应仅仅因为用户改变了选项排列顺序，就改变对同一问题的判断。

基准表现与效率

在 Decision Index 0.4.1 的公开套件上，Drex Max 得分 67.52，高于对比的 Jev 1.14.0 的 60.70；在维护方的私有测试中仍保持 66.60 分。Decision Bench v4 的结果显示，Max 与 d3-turbo 和 GPT-6 Sol 在统计上接近，落后 Claude Opus 5.5 约 1.6 分；在 DecideBench 上，它在决策模型中取得最高准确率。典型请求的响应时间约为 183 毫秒，而对比系统约为 2.0 秒和 3.5 秒。

意义与限制

Drex 的价值不只是“更快的分类器”，而是提供了一种不同于通用聊天模型的应用接口：当任务目标明确、候选空间由调用方定义时，概率分布往往比长篇解释更容易被系统使用。它可用于文档审核、风险分流、检索结果排序、智能体工具选择和多模态记录判断等场景。

不过，决策模型并不能替代所有需要开放式推理的任务。它的质量依赖于状态表示、问题设计和选项集合；概率输出也不等同于真实世界风险概率。基准成绩还需要结合具体业务数据、校准效果和错误成本评估。Drex 的权重与推理代码已开放，开发者可以进一步验证其在自身工作流中的延迟、稳定性和可控性。

来源：Hugging Face Daily Papers