LongBanana：为长上下文多参考图像生成建立可审计基准

导语

多参考图像生成的难点，已经不只是“把几张图融合在一起”。当参考图像数量增加、关键信息分散在不同图片中，系统需要先找到有效证据，再区分干扰项，理解人物、物体及其关系，最后把这些要求压缩成一张连贯的图像。LongBanana 试图为这一类长上下文视觉任务提供更系统、可复核的评测标准。

核心要点

• 面向密集视觉证据使用。 LongBanana 由 90 个任务组成，并按照一个 3×3 的任务分类体系组织。每项任务平均包含约 32 张参考图、20 项约束和 50 个评估项目，总计形成 4,670 个由专家制定的原子评估项目。
• 把“看懂并组合”拆成可检查的要求。 每个任务都以参考图像和实体—关系图为基础，将节点、边以及整张图层面的义务转化为清单。评测重点覆盖内容保真、关系绑定和全局约束满足三类能力，因而不只关注最终画面是否“看起来像”。
• 强调评测过程的可靠性。 专家复核标签中，有 15% 的样本进行了双人标注；这部分样本的完全一致率为 89.4%，二次加权 Kappa 为 0.83。这样的设计让结果更容易追溯到具体遗漏或错误，而不是停留在单一总体分数上。
• 同时测试生成智能体。 研究团队还提出 LongBanana-Gen，用于承载长时程图像生成流程。实验表明，最小化的智能体框架通常可以超过直接生成；进一步采用“反思—规划—执行—反思”（RPR）流程后，部分框架能够在证据对齐和错误修复方面获得额外收益，但增益依赖具体 harness，而非必然普适。

意义与影响

LongBanana 的价值，在于把长上下文图像生成从模糊的整体观感比较，推进到更细粒度的证据核验。对于模型开发者而言，节点级和关系级清单可以帮助定位问题：模型究竟遗漏了某个参考对象，错误绑定了两个实体，还是无法同时满足多个全局条件。对于智能体研究者而言，这一基准也提供了一个检验检索、规划、执行和修复闭环的共同目标。

不过，现有材料主要说明了基准的任务设计、标注一致性和框架实验方向，并未给出不同模型的完整排名或全面性能表。因此，LongBanana 更适合作为后续研究的可审计测试平台，而不是已经定型的模型能力排行榜。随着多模态模型从单图提示走向长上下文、多步骤协作，能否稳定利用分散证据，可能会比单纯提升画面质量更能区分系统的真实推理与生成能力。

来源：Hugging Face Daily Papers