AutoVend、大規模言語モデルは自動販売機事業を運営できるか

導入

商品検索や注文のような単発タスクであれば、エージェントが一度正しい操作を行えたかどうかで評価できます。しかし事業運営では、今日の判断が将来の在庫、キャッシュフロー、コストに影響します。短期的に合理的に見える発注が、納品の遅れや商品の廃棄によって、長期的には負担になることもあります。

AutoVendは、このような長期運用能力を測るためのベンチマークです。1つのLLMエージェントがウェブ上の運用インターフェースを通じて、5種類の立地に配置された20台の自動販売機を180日間管理します。評価の焦点は、単一の取引を成功させることではなく、繰り返し行う判断を経済的な成果へつなげられるかどうかです。

評価される能力

• 商品と価格の調整：立地ごとに異なる需要を考慮し、商品構成と価格を決める。
• 仕入れと補充の計画：調達リードタイムや有料の現地補充を考え、必要な在庫を適切な時期に移動させる。
• 共有資源の配分：共通の倉庫と資金を複数の拠点で使うため、1台ごとの最適化だけでは不十分になる。
• フィードバックへの適応：売上、在庫、費用の変化から学び、後続の運用方針を修正する。

シミュレーターには、商品の期限切れと継続的な運営費も含まれます。倉庫に在庫があっても、それが棚に補充されるまでは顧客の需要を満たせません。この区別が、オンライン上の計画と物理的な実行の差を生みます。

結果が示すこと

5つのLLMエージェントをルールベースの在庫管理基準と比較したところ、4つが基準を下回りました。これは、流暢な推論やもっともらしい計画だけでは、安定した運用制御を実現できないことを示しています。実際には、実行可能性を十分に確認できなかったり、到着時期を考えず在庫を約束したり、複数拠点の相互作用を見落としたりする可能性があります。

また、個別の運用指標が改善しても、経済的な成長が強くなるとは限りません。品切れを減らすために在庫を増やせば、保管、期限切れ、補充、資金拘束の費用が増え、利益を相殺することがあります。推論コストを含めて「1ドル当たりのリターン」を見ると、モデルの順位も変わりました。

意義と影響

AutoVendは、エージェント評価を「1回の操作を完了できるか」から「長期にわたり事業を維持できるか」へ広げます。小売やサプライチェーンのように、デジタルな指示が物理的な作業へつながる領域では特に重要な視点です。

現実の自動販売機事業をそのまま再現するものではありませんが、実行可能な行動の選択、在庫コミットメント、拠点間の調整、フィードバックによる方針変更といった弱点を診断できます。将来の業務エージェントには、推論能力だけでなく、遅延と費用を含む計画力が求められます。

出典：Hugging Face Daily Papers