OR-License, 실제 업무 자료로 LLM 에이전트의 운영연구 능력 평가

들어가며

많은 운영연구 벤치마크는 이미 정리된 문제 설명과 데이터에서 출발합니다. 변수와 제약조건, 목적함수가 명확하기 때문에 모델은 수식화와 풀이에 집중할 수 있습니다. 그러나 실제 컨설팅 업무에서는 고객의 요구가 문서, 스프레드시트, 대화 기록에 흩어져 있고, 중요한 업무 제약이 처음부터 명시되지 않을 수 있습니다. 결과물 역시 고객이 요구한 형식으로 제출해야 합니다. OR-License는 이러한 현실을 반영해 원본 업무 자료에서 사용 가능한 최적화 결과물을 만드는 전 과정을 측정합니다.

핵심 내용

• 실제 산업 프로젝트 기반. 31개 인스턴스는 10개 산업 시나리오를 다루며, 총 368만 달러 규모의 유료 운영연구 프로젝트에서 구성되었습니다. 비식별화 과정에서도 원래의 요구사항, 입력 데이터, 산출물 형식, 정보 경계가 보존되었습니다.
• 전체 업무 흐름 평가. 에이전트는 고객의 문제를 이해하고, 부족한 정보를 확보하며, 최적화 모델을 만들고 실행한 뒤, 요청된 결과물을 납품해야 합니다. 이미 정식화된 수학 문제를 푸는 것만으로는 충분하지 않습니다.
• 고객 정보 획득을 시뮬레이션. ORSim은 운영연구 전문지식을 직접 제공하지 않고 업무상 사실만 공개하는 통제된 고객 시뮬레이터입니다. 이를 통해 에이전트의 질문, 확인, 해법 개발, 검증 과정을 살펴볼 수 있습니다.
• 실행 가능성을 우선 평가. 비공개 평가에서는 결과가 제약조건과 납품 요구를 만족하는지 확인하고, 고객이 수용했던 전문가 해법과 목적 품질을 비교합니다. Deployment-Adjusted Quality, 즉 DAQ는 전문가 대비 품질을 평균내되 실행 불가능한 납품에는 0점을 부여합니다.
• 최적화 능력과 실무 신뢰성의 차이. 11개 최전선 LLM과 코딩 에이전트 구성 중 일부는 실행 가능한 결과만 놓고 보면 전문가 기준보다 높은 목적 품질을 냈습니다. 하지만 DAQ에서 전문가 수준에 도달한 모델은 없었습니다. 가장 강한 주요 Claude Code 구성은 엄격 실행 가능률 88.39%, DAQ 0.87을 기록했으며 전문가 기준은 1이었습니다.

의미와 영향

OR-License가 보여주는 핵심은 더 나은 목적함수 값이 곧 더 나은 업무 결과를 뜻하지 않는다는 점입니다. 업무 제약을 위반하거나 필요한 항목을 빠뜨리거나, 고객이 요구한 형식으로 제출하지 못하는 해법은 실제 환경에서 사용할 수 없습니다. 실행 불가능한 결과를 0점으로 처리하는 DAQ는 단순한 풀이 성능이 아니라 배포 가능한 신뢰성을 측정합니다.

이 연구는 정보 수집의 역할도 새롭게 조명합니다. 에이전트의 질문은 모호함을 해소하는 데 그치지 않고, 이후의 모델링과 해법 개발, 결과 검증에 영향을 줄 수 있습니다. 따라서 기업용 운영연구 에이전트에는 코드 생성과 솔버 호출뿐 아니라 제약조건 추적, 가정 관리, 결과물 검사, 실패 복구 기능이 필요합니다. 공개된 코드와 데이터셋을 제공하는 OR-License는 이런 엔드투엔드 역량을 실제 도입에 가까운 조건에서 평가할 수 있는 출발점입니다.

출처: Hugging Face Daily Papers