FlavourBench、実行可能な料理の正解でLLMを評価

導入

大規模言語モデルのベンチマークでは、人間の好み、別のモデルによる判定、あるいは厳密一致の正解キーがよく使われる。しかし、人間の評価には主観性が入り、モデル審判には別のモデルの偏りが加わる。厳密一致方式も、答え方に幅のある課題には向きにくい。FlavourBenchは、料理という限定された領域を使いながら、オープンエンド評価を実行可能な基準に結び付ける方法を示した。

仕組み

各課題では8種類の食材が提示され、モデルはその中から3種類を選ぶ。候補は全部で56通りあり、Epicureというバージョン管理された料理システムが、モデルの回答を見る前に全候補を採点する。回答後に「もっともらしさ」を臨時判定するのではなく、凍結された採点マップと照合するため、課題ごとに密度のあるスコアを得られる。

評価のコアセットは534課題で、食材の代替、相性のよい組み合わせ、制約付きの構成という3領域を含む。対象は27のフロンティアモデルエンドポイントだ。ランキングに含める各モデルについて、パネルとファミリーごとに有効回答を89件へそろえ、モデルごとの欠測率の違いが順位に影響しにくい設計にした。全体では14,418のモデル・課題セルが形成され、最終スコアは凍結された課題スコアをファミリー間で等しく平均して算出する。

不確実性の扱いも重視されている。独立に作成した2つのパネルは、得点で相関係数0.89、順位で相関係数0.80を示した。スコアの同時95％区間には5万回のアンカークラスタ・ブートストラップを使い、351組のモデル比較には10万回の符号反転抽出を適用した。多重比較についてはHolm補正を行っている。

結果と意義

Grok 4.6の点推定は65.1で最も高く、同時95％信頼区間は61.0から69.2だった。ただし、これは全モデル間に明確な序列があることを意味しない。351組の比較のうち、統計的に差が解決されたのは101組である。ランキングの順位と、実際に有意な差があるかは分けて読む必要がある。

FlavourBenchの重要性は、料理のランキングそのものより評価設計にある。候補空間を事前に定義し、実行可能なシステムで採点し、回答数をそろえ、統計手順と再構築用データを公開することで、オープンエンド課題を監査しやすくできるからだ。一方で、結果はEpicureの料理表現と課題設計に依存し、一般的な推論能力や実際の調理技術を直接測るものではない。他領域への拡張には、信頼できる実行器と明確な候補空間が必要になる。

プロジェクトはプロンプト、全ポートフォリオの採点マップ、生の回答、正確なルート、コンテンツハッシュ、オフライン検証器を公開している。第三者が結果を再構成し、ベンチマークの前提を検証できる点が大きな特徴だ。

出典：Hugging Face Daily Papers