AutoVend, LLM 에이전트의 180일 자판기 사업 운영 능력을 평가하다

들어가며

상품을 찾거나 주문을 제출하는 단일 작업은 한 번의 성공 여부로 평가할 수 있습니다. 하지만 사업 운영은 훨씬 더 긴 시간의 의사결정을 요구합니다. 오늘의 발주량은 며칠 뒤 재고에 영향을 주고, 현재의 가격은 수요와 현금 흐름을 바꾸며, 당장 합리적으로 보이는 선택도 배송 지연이나 상품 폐기로 이어질 수 있습니다.

AutoVend는 이런 장기 운영 능력을 측정하기 위해 만들어진 벤치마크입니다. 하나의 LLM 에이전트가 웹 기반 운영 인터페이스를 통해 5개 유형의 장소에 설치된 자판기 20대를 180일 동안 관리합니다. 핵심은 한 번의 거래를 성공시키는 것이 아니라, 반복되는 판단을 지속적인 경제적 성과로 연결하는 데 있습니다.

무엇을 시험하는가

• 상품과 가격 결정: 장소별로 다른 수요를 고려해 상품 구성과 가격을 설정합니다.
• 조달과 보충 계획: 조달 리드타임과 유료 현장 보충을 감안해 재고를 적절한 시점에 이동시켜야 합니다.
• 공유 자원 조정: 여러 자판기가 하나의 창고와 자금에 의존하므로, 각 기기를 따로 최적화하는 것만으로는 충분하지 않습니다.
• 장기 피드백 활용: 판매량, 재고, 비용의 변화를 바탕으로 이후 운영 정책을 수정해야 합니다.

시뮬레이터에는 상품의 유통기한과 반복적으로 발생하는 운영비도 들어갑니다. 창고에 상품이 남아 있다고 해서 곧바로 고객 수요를 충족할 수 있는 것은 아닙니다. 실제로 자판기 선반에 보충되기 전까지는 판매 가능한 재고가 아니기 때문입니다. 이 구조는 디지털 의사결정과 물리적 실행 사이의 차이를 드러냅니다.

주요 결과

연구진은 5개의 LLM 에이전트를 규칙 기반 재고 관리 기준과 비교했습니다. 그 결과 5개 중 4개가 기준보다 낮은 성과를 보였습니다. 이는 언어적으로 설득력 있는 계획이 안정적인 운영 통제로 자동 연결되지는 않는다는 점을 보여줍니다. 에이전트는 실행 가능한 행동을 제대로 확인하지 못하거나, 도착 시점을 고려하지 않은 재고를 약속하거나, 여러 장소 사이의 상호작용을 놓칠 수 있습니다.

또한 개별 지표의 개선이 곧바로 더 높은 수익을 의미하지는 않았습니다. 품절을 줄이려고 재고와 보충을 늘리면 보관, 폐기, 운송, 자금 점유 비용이 함께 커질 수 있습니다. 여기에 추론 비용까지 반영해 투자된 1달러당 수익을 계산하면 모델 순위도 달라졌습니다. 에이전트는 총수익뿐 아니라 그 수익을 만들어내는 계산 비용까지 고려해 평가해야 한다는 뜻입니다.

의미와 영향

AutoVend는 에이전트 평가의 질문을 “한 가지 작업을 완료할 수 있는가”에서 “장기간 수익성 있는 운영을 유지할 수 있는가”로 확장합니다. 온라인에서 내려진 결정이 오프라인 실행으로 이어지는 소매와 공급망 분야에서는 특히 중요한 관점입니다.

물론 이 벤치마크의 결과를 실제 자판기 네트워크의 성과와 동일시할 수는 없습니다. 그러나 실행 가능성 판단, 재고 약속, 장소 간 조정, 피드백을 통한 정책 수정이라는 현재 에이전트의 취약점을 구체적으로 보여줍니다. 미래의 업무형 에이전트에는 유창한 추론뿐 아니라 지연, 비용, 재고 제약을 반영하는 계획과 실행 관리가 필요합니다.

출처: Hugging Face Daily Papers