Tencent WorkBuddy Bench：コーディングエージェントを実務目線で測る新ベンチマーク

導入

コーディングエージェントが実験的なデモから日常の開発支援へ広がるにつれ、評価方法にも変化が求められています。単独の関数を補完できるかだけでは、実際の業務で役立つかは分かりません。Tencent が発表した WorkBuddy Bench は、この課題に対して、より実務に近い複数領域のタスクでエージェントを評価しようとするベンチマークです。

主なポイント

• 4つの業務領域を対象：WorkBuddy Bench は Code、Web、Office、Security の4サブセットで構成されます。リポジトリ規模のエンジニアリング、フロントエンド開発、オフィス・ビジネスワークフロー、レッドチーム／ブルーチーム系のセキュリティタスクを扱います。
• 汚染耐性を意識したタスク作成：タスクは公開 issue 文の再利用ではありません。実際の commit、pull request、または業務シナリオをもとに逆算し、短く口語的なロールプレイ形式の依頼として書き直されます。
• 秘密ではなく公開性を重視：タスクディレクトリ、環境イメージ、評価ハーネス、テスト、参照解が公開されます。汚染対策は非公開化ではなく、構築手法とデータセットのバージョン管理に依存します。
• 統一された実行形式：すべてのタスクは共通のディレクトリ形式でパッケージ化され、再現可能なプロトコルで実行されます。報告では CodeBuddy Code と Claude Code の2つの agent harness が言及されています。
• 全体平均は出さない：各サブセットは異なる採点手段を使うため、スコアを単純比較できず、スイート全体の平均値も提示されません。

解説

このベンチマークの意義は、評価対象を「コード問題を解けるか」から「現実に近い依頼を完了できるか」へ広げた点にあります。実際の開発では、リポジトリの文脈を読み、UI の挙動を直し、業務ファイルを扱い、セキュリティ上の制約を考慮する必要があります。単一のコード生成テストでは見えにくい弱点を、多領域のタスクが浮き彫りにする可能性があります。

また、データ汚染への向き合い方も注目されます。公開ベンチマークは、将来の学習データに取り込まれることで性能評価が過大になるリスクがあります。WorkBuddy Bench は、実際の開発履歴からタスクを抽象化し直しつつ、内容を第三者が確認・再実行できるようにしています。これは、完全な非公開評価と完全に検索可能な公開タスクの中間にある現実的な設計です。

影響

モデル開発者にとっては、もっともらしいコードを書く能力と、実際の作業を完了する能力を切り分ける手がかりになります。企業ユーザーにとっては、どの業務領域でエージェントが信頼できるかを判断する材料になります。研究コミュニティにとっては、環境やテストまで公開されることで、再現性と監査可能性が高まります。

一方で、全体ランキングだけに注目する見方には注意が必要です。WorkBuddy Bench は領域ごとに検証方法が異なるため、単一の平均点にまとめることを避けています。今後のコーディングエージェント評価では、「誰が一番か」だけでなく、「どの作業条件で安定しているか」がより重要になるでしょう。

Source: Hugging Face Daily Papers