DialFork、会話エージェントの「手順幻覚」を測定

概要

天気を調べるよう頼まれたエージェントが、丁寧で流暢な返答を続け、明らかな誤情報も出さないのに、何ターン経っても予報を提示しないことがあります。ここで起きているのは、単純な事実誤りではありません。与えられた手順に従わず、会話を目的に向けて進められない問題です。論文はこれを手順幻覚（procedural hallucination）と呼び、DialFork という評価ベンチマークを提案しました。

DialFork の特徴

• 発話単位の品質評価を補完：事実性や意味の関連性を一つのターンごとに測るだけでは、必要な手順の省略、不適切な遷移、実質的な足踏みを捉えにくい。DialFork は会話全体の進行を評価対象にする。
• 正しい対話から分岐を作成：まず、想定された手順に沿う対話を用意し、制御されたターン位置で変化を加える。その後の会話が正しい経路からどの程度分岐したかを調べる。分岐位置は、逸脱が始まった箇所を示す手がかりにもなる。
• 広いタスク範囲：36,278件の英語対話を、24タスク、12領域、4種類の手順幻覚にわたって収録する。構築内容は30人の人手評価者が検証した。
• 三つの利用場面：対話集合間の距離は、運用中のエージェント群の監視に使える。対話間の距離は、正しい手順に近い事例を検索する用途に対応する。さらに、最初に逸脱したターンを予測する課題は、リアルタイムのガードレールを想定している。
• 流れを比較する指標：FlowKL と FlowScore は、単語や意味の近さだけでなく、会話がどのように展開したかを比較する。概要によれば、対話レベルでは FlowScore が、7種類のエンコーダーを用いた比較で評価対象のベースラインを上回った。意味が似ていることと、手順が似ていることは同じではない。

意義と限界

この問題は、カスタマーサポート、予約、情報収集、ツール呼び出しなど、複数の段階を持つエージェントで特に重要です。一つ一つの返答が許容範囲でも、全体として必要な処理が完了しなければ、実運用上の価値は低くなります。DialFork は、発話の正しさに加えて、目的達成までの経路を監視する視点を提供します。

一方、参照経路からの逸脱が常に失敗とは限りません。ユーザーが途中で目的を変更したり、新しい情報に応じてエージェントが計画を変えたりする場合もあります。そのため、ベンチマークの値は、タスク成功率や利用者評価に代わるものではなく、診断・監視の信号として使うのが適切です。

DialFork のデータセットとコードは MIT ライセンスで公開されています。対話エージェントを「何を言ったか」だけでなく、「どのようにタスクを進めたか」から評価するための基盤になりそうです。

出典：Hugging Face Daily Papers