GAMUT：長文生成の「事実の網羅性」を測る新ベンチマーク

導入

長文生成の事実性評価は、これまで主に「モデルが述べた内容が正しいか」に集中してきました。回答を主張単位に分解し、検索し、検証する手法は誤った記述を見つけるには有効です。しかし、それだけでは「本来含めるべき情報が抜けていないか」は十分に分かりません。Meta AI の研究で提示された GAMUT は、この見落とされがちな事実の完全性に焦点を当てます。

主要ポイント

• 正確性から網羅性へ：回答に明確な誤りがなくても、重要な手順、カテゴリ、関係を欠いていれば不十分です。GAMUT は「言ったことが正しいか」だけでなく、「言うべきことを含んでいるか」を測ります。
• 二層メタルーブリック：まず構造化されたメタルーブリックで、必要な内容の構成、重要度、順序、相互関係を表現します。その後、LLM 判定器が安定して採点できる二値のチェックリストへ機械的に変換します。
• 開放的タスクへの適合：長文回答では、単純な独立事実のリストでは表せない場合があります。開放集合のカバー率、順序を持つプロセス、事実間の依存関係などを扱うため、二層表現が有効になります。
• ベンチマークの構成：GAMUT は実際のウェアラブル画像に基づく 1,813 問で構成され、10 の多様な領域をカバーします。各問題には証拠に裏づけられ、専門家アノテーターに検証されたルーブリックが付与されています。
• モダリティ非依存：今回の実装はマルチモーダルな事実性評価ですが、枠組み自体は画像に限定されません。テキストのみのバリアントも公開されています。
• モデル評価：研究では 14 のフロンティアモデルおよびオープンウェイトモデルを評価しています。提供素材によれば、GAMUT は難しく、モデル間の差をよく示し、判定器の選択にも比較的頑健です。最高スコアは Gemini 3.1 Pro の 58.7% とされています。

意義と影響

GAMUT の重要性は、単なる新しいランキングにとどまりません。AI の回答品質を「幻覚しないこと」だけでなく、「必要な情報を落とさないこと」として捉え直している点にあります。教育、医療説明、作業支援、画像理解のような場面では、正しいが不完全な回答も利用者の判断を誤らせる可能性があります。

また、二層ルーブリックは実務的な妥協案でもあります。専門家が完全な回答の高レベル構造を設計し、それを機械採点可能なチェック項目に変換することで、手作業評価より拡張しやすく、単純なリストより表現力があります。

一方で、評価の質はルーブリックの質に左右されます。作成コスト、領域拡張、偏りの管理は今後の課題です。それでも GAMUT は、事実性評価において「間違えない」だけでなく「重要な事実を省かない」ことを測る必要性を明確に示しています。

出典：Hugging Face Daily Papers