OR-License：让LLM代理直面真实世界运筹优化交付

导语

许多运筹优化基准会直接给出形式清晰的数学问题，模型只需建模、写代码并求解。但真实咨询项目往往从客户的原始材料开始：需求可能分散在文档、数据表和沟通记录中，交付格式也不一定标准，关键业务约束还需要通过提问逐步确认。OR-License正是针对这一“从业务材料到可用方案”的最后一公里而设计的评测。

核心要点

• 素材来自真实项目。 基准包含31个实例，覆盖10个工业场景，来源于总额368万美元的付费运筹优化项目。研究者在去标识化后保留了原始需求、输入数据、交付格式和信息边界。
• 考察完整工作流。 代理需要理解客户问题、获取缺失信息、建立优化模型、生成结果，并按要求完成交付，而不是只解决一道预先整理好的题目。
• 引入客户模拟器。 ORSim会披露业务事实，但不会直接提供运筹学知识，用于观察代理如何提问、澄清并推进方案开发与验证。
• 评价不只看最优值。 隐藏评测首先检查交付是否满足约束与格式要求，再将目标质量与原始专家方案比较。研究提出Deployment-Adjusted Quality（DAQ）：一旦交付不可行，该实例得分为零。
• 结果存在明显落差。 在11个前沿LLM及其编码代理配置中，部分系统在“可行交付条件下”的目标质量超过专家参考解；但综合考虑失败案例后，没有模型达到专家的DAQ水平。表现最强的主要Claude Code配置严格可行率为88.39%，DAQ为0.87，而专家参考值为1。

意义与影响

这项工作提醒我们，优化代理的能力不能只用“能否找到更低成本或更高收益的解”衡量。一个数值更优但违反业务约束、遗漏必要字段或无法按客户要求交付的方案，在生产环境中仍然不可用。OR-License把这些经常被标准基准忽略的环节纳入统一测试，因此更接近企业采用AI代理时真正面对的风险。

同时，研究也改变了对“信息获取”的理解。代理提问并非单纯的需求澄清，而可能持续影响建模、方案开发和结果验证。对于未来的企业级系统，除了提升代码生成和求解器调用能力，还需要强化约束追踪、交付检查、失败恢复以及与客户协作的机制。OR-License及其开放的数据和代码，为评估这类端到端能力提供了一个更贴近现实的起点。

来源：Hugging Face Daily Papers