OR-License、実務の業務資料から運用可能な最適化を作れるかLLMエージェントを評価

導入

従来の運用研究ベンチマークでは、問題文やデータ、制約がすでに整理されていることが多く、モデルは定式化と求解に集中できます。しかし実際のコンサルティング案件では、顧客の要望は文書や表計算ファイル、会話の中に分散しています。重要な条件が最初から明示されるとも限らず、最終成果物にも顧客固有の形式が求められます。OR-Licenseは、こうした生の業務情報から利用可能な最適化成果物を作る一連の工程を測定します。

主なポイント

• 実案件に基づくデータ。 31インスタンスは10の産業シナリオをカバーし、総額368万ドルの有償運用研究案件から作られています。匿名化後も、元の要件、入力データ、納品形式、情報の境界が保持されています。
• 問題を解くだけではない。 エージェントは顧客の課題を理解し、不足情報を集め、最適化モデルを構築・実行し、要求された形式で結果を納品しなければなりません。
• 顧客との情報取得を再現。 ORSimは運用研究の専門知識を与えず、業務上の事実だけを開示する制御された顧客シミュレーターです。これにより、質問、確認、解決策の開発、検証の進め方を調べられます。
• 実行可能性を重視。 非公開の評価では、制約を満たすか、必要な成果物になっているかを確認し、顧客に受け入れられた専門家解と目的品質を比較します。DAQは専門家に対する品質を平均しますが、実行不能な納品にはゼロを割り当てます。
• 能力と信頼性は別。 11の先端LLMとコーディングエージェント構成の中には、実行可能な出力だけを比較すると専門家解を上回るものがありました。一方、DAQで専門家基準に達したモデルはありません。最良の主要Claude Code構成は、厳密実行可能率88.39%、DAQ0.87でした。専門家基準は1です。

意義と影響

この結果は、目的関数の値だけで最適化エージェントを評価する危険性を示します。数値上は優れた解でも、業務制約に違反したり、必要な項目を欠いたり、指定された形式で納品できなければ、現場では使えません。実行不能な成果をゼロとして扱うOR-Licenseは、単発の求解能力ではなく、実務で使える信頼性に焦点を当てています。

また、質問は単なる要件確認ではありません。対話の後半で得られる情報が、モデル化、解の作成、検証そのものを左右する場合があります。企業向けエージェントには、コード生成やソルバー呼び出しに加えて、制約の追跡、仮定の管理、納品物の検査、失敗からの復旧が必要です。公開されたコードとデータセットを含むOR-Licenseは、実際の導入に近い条件でこれらの能力を測るための有用な出発点になります。

出典：Hugging Face Daily Papers