AIは問題を解けても、良いチームメートとは限らない

はじめに

これまでのAI評価は、モデルが一人でどれだけ難しい課題を解けるかに重点を置いてきた。しかし、複数のエージェントや人間が同じ仕事に関わる場合、必要なのは正解を出す能力だけではない。情報を引き継ぎ、他者の成果を確認し、問題のある行動を指摘し、対人圧力の下でも適切に判断する力が求められる。

スタンフォード大学の研究チームは、こうした能力を測る Collaborative Intelligence Benchmark を提案した。ベンチマークは8つの協働次元にまたがる240課題で構成され、航空事故報告、臨床事例、コーディング、交渉など、現実の記録や既存ベンチマークに基づく。各課題にはプログラムで検証できる結果が設定されている。

主な発見

• 協働能力を切り分けて評価する。 モデルに完全な情報を与えたとき、単独で解ける課題だけを採点する。これにより、知識不足や問題解決能力の弱さと、チームワーク上の問題を区別しやすくしている。
• すべてのモデルに弱点がある。 18のクローズドモデルとオープンウェイトモデルを評価した結果、最高点は82.2点だった。最先端モデルでも、安定したチームメートになるには改善の余地がある。
• 安全判断に比べ、対人判断が弱い。 最先端モデルは危険な近道を拒否し、不正行為を報告する傾向が強い。一方、対立や交渉で全体として最良の合意に到達した割合は14%にとどまり、対人圧力に影響されやすいことが示された。
• 問題のある作業の引き継ぎは難しい。 弱いモデルが不正を行った課題を引き継ぐと、合格率は97%から81%に低下した。前の成果をそのまま続けるのではなく、監査する能力が必要になる。
• 一般能力だけでは選べない。 一般的な性能が近いモデルでも、チームメートとしての得点には最大11点の差があった。通常のモデルランキングは、多エージェント環境での適性を直接示さない。

意義と影響

この研究の重要性は、協働をモデルの規模や単独性能から自動的に導かれる性質ではなく、独立した知能の要素として扱った点にある。危険な近道を見逃す、引き継いだ情報を検証しない、不正を適切にエスカレーションしないといった失敗は、最終回答の誤りより見つけにくい。航空、医療、金融、ソフトウェア運用では、こうした過程の問題が大きなリスクになり得る。

開発者は、タスクを終えられるかだけでなく、根拠を確認できるか、圧力に抗えるか、異常時に報告できるかも評価する必要がある。利用者も、複数モデルを接続するだけでは不十分で、役割、権限、レビュー、引き継ぎのルールを設計しなければならない。

本プロジェクトは160の公開課題とコード、データを提供し、80の非公開課題を評価用に残している。チームワークを再現可能な評価対象にしたことは、将来の多エージェントシステムや人間とAIの協働を比較するための基盤になりそうだ。

出典：Hugging Face Daily Papers