LongBanana、長文脈・複数参照画像生成を監査可能にする評価基盤

導入

参照画像を一枚ずつ与える単純な画像生成と、多数の画像から一つの場面を組み立てる生成では、必要な能力が大きく異なります。後者では、システムは複数の画像に分散した手掛かりを探し、不要な情報を見分け、人物や物体の関係を理解し、それらを一つの整合的な画像にまとめなければなりません。LongBanana は、このような長文脈の視覚処理を、印象的な見た目だけでなく項目単位で検証するための基盤です。

主なポイント

• 密度の高い視覚証拠を評価。 LongBanana は、3×3 の分類体系に整理された 90 のタスクで構成されます。各タスクには約 32 枚の参照画像、20 の制約、50 の評価項目が含まれ、合計 4,670 件の専門家指定の原子評価項目になります。
• グラフに基づくチェック。 各タスクは参照画像とエンティティ・関係グラフによって表現されます。個々のノード、ノード間のエッジ、グラフ全体に関する要求をチェックリストへ変換し、内容の忠実性、関係の結び付け、全体制約の充足という三つの側面から結果を確認します。これにより、対象の欠落と関係の取り違えを区別しやすくなります。
• 専門家ラベルの一貫性を確認。 レビュー済みラベルの 15% は二重に付与され、完全一致率は 89.4%、二次加重カッパは 0.83 と報告されています。評価に一定の検証可能性を持たせる設計です。
• 生成エージェントも対象にする。 LongBanana-Gen は、長い手順を伴う画像生成エージェントのためのフレームワークです。報告された実験では、最小限のエージェント構成が直接生成より良い結果を示しました。また、ReAct-Plan-Exec-Reflect、つまり RPR の流れは、証拠の対応付けや修正を強化できます。ただし、改善幅はハーネスの実装に左右され、どの構成でも一様に得られるわけではありません。

意義と限界

LongBanana の意義は、最終画像を具体的な達成義務へ結び付けた点にあります。モデルが参照対象を見落としたのか、二つのエンティティを誤って結び付けたのか、複数の全体条件を同時に満たせなかったのかを、より細かく分析できます。これは、検索・計画・実行・修正を組み合わせる画像エージェントの評価にも適しています。

一方、提示された素材には、複数の著名モデルを比較した完全なランキングや総合的な性能表は含まれていません。そのため、LongBanana は現時点で既存モデルの順位を決めるものというより、今後の研究が共有できる監査可能なテストベッドと見るのが妥当です。マルチモーダルモデルが単一画像の指示から、複数の証拠と制約を扱う長い生成過程へ移行するなか、画質だけでなく関係と条件を安定して維持できるかが重要な指標になりそうです。

出典：Hugging Face Daily Papers