ウォール街が主要AIエージェント8種を実測、Qwen Officeが首位に

導入

AIエージェントの競争軸は、「どのモデルが最も賢いか」だけでは語れなくなっている。複雑な仕事を最後まで実行し、外部ツールを適切に使い、利用可能な成果物として納品できるかが、実務ではより重要だからだ。ジェフリーズのアナリストは、世界の主要AIエージェント8製品を対象に、オフィス業務を想定した実測を行った。その結果、AlibabaのQwen Officeが総合1位となり、モデルを支える実行基盤の評価でも首位とされた。

ただし、この順位は特定のタスクと評価方法に基づく機関レポートの結果であり、あらゆる企業業務における普遍的な順位とみなすべきではない。とはいえ、現在のエージェント評価がどこへ向かっているかを考える材料にはなる。

5つの実務タスク

テストでは、複数のファイルから年次報告書の要約を作成する作業、インターネットで企業の経営データを検索・比較する作業、実際のデスクトップブラウザーを操作して情報検索と文書作成を行う作業、データを基に英語のプレゼンテーションを作る作業、参考画像からマーケティング用ポスターを生成する作業が設定された。

報告によると、Qwen Officeは複雑なオフィス業務、ブラウザー操作、マルチモーダルなコンテンツ生成で目立った結果を示した。また、すべての評価項目で90点以上を得た唯一の製品とされた。ここで測られているのは、文章を自然に生成する能力だけではない。異なる資料を読み、必要に応じて検索し、ソフトウェアを操作し、失敗を修正し、最終成果物を整える一連の能力である。

Harnessという第2の競争軸

ジェフリーズは、エージェントの能力を基盤モデルとHarnessに分けて分析した。Harnessとは、モデルの周囲に構築された一連の仕組みを指す。具体的には、指示設計、コンテキスト管理、ツール呼び出し、権限と境界の制御、フィードバック、エラー修正、ガバナンスなどが含まれる。

報告の推計では、Qwen Officeの「暗黙のHarnessスコア」が8製品中で最も高く、Claude CoworkやCodexを上回った。高性能なモデルでも、タスク分解やツール連携、失敗時の復旧が不十分なら、長い業務フローを安定して完了できない。Harnessの設計は、モデルの一般的な知能を、より予測可能な業務結果へ変換する役割を持つ。

商用化を左右するタスク単価

エージェントは複数回の推論やツール呼び出しを必要とし、長い処理中にコンテキストを維持する場合もある。そのため、企業は単発のAPI価格ではなく、実際の仕事を1件完了するまでの総コスト、いわゆる「Cost per Task」を見る必要がある。

素材では、Qwen Officeが利用するQwen 3.8 MaxのAPI価格は、一部の海外大手モデルより低いと説明されている。性能とコストの組み合わせに利点があるという評価だ。ただし、API料金だけで価値は決まらない。成功率、人による確認、権限管理、システム接続、誤りの修正費用まで含めて判断する必要がある。

企業向けではワークフローが差別化要因に

エージェントが個人向けの生産性向上から企業業務へ移るにつれ、コネクター、Skills、過去のタスク、協業ツール、権限体系が製品内に蓄積されていく。これらは利用継続率と乗り換えコストを高める可能性がある。

Qwen Officeは現時点でDingTalkのIM機能と初期的に連携し、グループチャットの要約、文書や表の作成、メッセージやメールの送受信などに対応するとされる。今後の焦点は、企業のデータベースや実際の業務フローまで接続し、継続的な効率向上を実証できるかどうかだ。

今回の結果が示すのは、単一のランキング以上に評価軸の変化である。モデルは出発点にすぎず、Harnessが実行の安定性を左右し、コストとエコシステムが本番導入の規模を決める。

出典：量子位