1年間のEC運営で検証するLLMエージェントの長期自律性

導入

商品を検索したり、広告文を書いたり、いくつかのツールを呼び出したりできることは、事業を運営できることと同じではありません。ECでは、ある時点の判断が数週間後の在庫、資金、利益に影響します。値引きは販売を伸ばす一方で資金繰りを圧迫し、返品や供給障害は過去の判断の弱点を後から表面化させます。E-Commerce Benchは、こうした長期的な連鎖を測るために設計されました。

365日間の店舗運営

この評価では、LLMエージェントが365日間にわたって複数のオンライン店舗を運営します。市場調査、商品選定、在庫調達、サプライヤーとの交渉、販売戦略の調整、注文処理、返品対応、キャッシュフロー管理を同時に行い、年末の総資産を最大化することが目標です。短いタスクの連続ではなく、初期の仕入れや価格設定が後続の経営結果を左右する点が特徴です。

商品とサプライヤーのデータは実在のECプラットフォームに由来します。さらに年間カレンダーには、販促、自然災害、サプライチェーンのショックが組み込まれ、需要が時間とともに変化します。エージェントには固定ルールの適用だけでなく、結果から学び、状況に合わせて方針を変える能力が求められます。

評価設計のポイント

• 多段階交渉：仕入れは単純な価格比較ではなく、価格、譲歩、供給判断を含みます。
• 長期の一貫性：365日という期間で、計画と状態管理を検証します。
• 多面的な採点：18の先端モデルを、期末資産だけでなく7つの指標で比較します。
• 再現可能な市場：購入と返品は固定需要モデルに従い、交渉カーネルが仕入れ側の価格や判断を決定します。LLMは主に結果の言語化を担います。

提供された要約によると、全項目で優位なモデルはありません。GPT-5.6 Solは初期資金100,000を1,431,425まで増やし、報告された期末資産で首位になりました。一方、詐欺回避では18モデル中16位で、Fable5 i…にも後れを取っています。要約は途中で切れているため、残りの順位や詳細は論文本文で確認すべきです。

意義と限界

この研究は、エージェント評価を短いツール利用から継続的な事業運営へ広げます。自律型の商取引システムは、利益だけでなく、リスク回避、在庫規律、資金管理、環境変化への適応も評価されなければなりません。

決定論的な市場は比較の公平性と再現性を高めますが、現実のECを完全に代替するものではありません。主に計画、記憶、行動、方針変更の能力を切り出して測る環境だからです。実務上の教訓は、最も稼ぐモデルが、そのまま店舗運営を任せるのに最も適したモデルとは限らない、ということです。

出典：Hugging Face Daily Papers