LongBanana：专家验证的长上下文多参考图像合成基准 LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis
首个专家验证的长上下文多参考图像合成基准，用实体关系图清单定位生成失败
前置知识
多参考图像合成
指从多张参考图像中提取视觉证据并合成一张新图的生成任务：系统需要从参考集中检索相关条目、拒绝外观相似的干扰项、把各参考的外观细节绑定到正确实体，再按指令完成构图。与单图编辑或文生图不同，其决定性证据分散在大量图像中，正确性只能通过核对最终图是否满足参考义务来判断。
这是本文定义的基准任务本身，整个论文的 taxonomy、清单设计和失败分析都围绕'检索-拒绝-绑定-构图'四个环节展开，不理解该任务就无法理解评测为何这样设计。
实体-关系图
一种结构化场景表示：节点表示必须（或禁止）出现的实体、属性和文本元素；边表示空间关系、交互、顺序与局部外观绑定（如纹理、材质、颜色归属哪个实体）；整图约束表示布局、数量、时序状态、参考选择等场景级义务。节点、边、整图约束统称图单元，每个图单元对应一条可视觉核验的原子清单项。
图是本文方法的中枢：构建时由它生成指令与参考图，评测时由它推导清单，三个评分维度 Content Fidelity / Relational Binding / Global Constraint Satisfaction 分别对应节点、边、整图三层。
智能体脚手架与 RPR 工作流
脚手架是包裹固定图像生成器的外层控制程序：维护参考状态、选择证据、调度提示、调用生成器并修订请求，生成器只负责合成像素。RPR 是本文研究的串行工作流：ReAct 阶段检索并推理参考证据，Plan-Exec 阶段把已接地的请求分解为生成或编辑步骤，Reflect 阶段检查草稿并决定继续检索还是修订。
论文的核心实验就是比较直接生成、最小脚手架与 RPR 脚手架，Table 2 的全部结论、RPR 组件消融以及'收益依赖脚手架'的发现都建立在这套概念上。
二次加权 Kappa（QWK）
一种衡量有序类别标注一致性的统计量，是对 Cohen's Kappa 的加权扩展：对评分矩阵按类别距离的平方加权，两个标注者在相邻等级上的分歧惩罚小、在两端等级上的分歧惩罚大，取值 0 到 1，越接近 1 一致性越强。本文用它在 0/1/2 三级标签上度量双标注一致性。
论文报告 15% 双标注子集（7,005 条标签）达到 89.4% 精确一致和 0.83 二次加权 κ，这是证明专家标签质量、进而支撑评测器验证有效性的关键统计证据。
研究动机
当前图像生成系统的失败往往是'来源错误'而非'渲染错误'：生成图看起来逼真，却可能选错参考、把把手样式绑到错误对象上、违反数量或布局约束，或泄漏本应排除的干扰项。论文以配饰零售商广告为例：系统需从约 32 张库存图中挑出所有带双平行顶部提手的皮革手袋，剔除外观相似的硬负样本，保留纹理与几何细节，并按指令完成构图。现有基准覆盖指令遵循、局部编辑和少参考个性化，近期的多参考基准虽更接近参考式合成，但都无法测量'密集证据使用'——模型是否选对了参考、拒绝了干扰项、把属性与关系绑到正确实体、并避免了指令与参考都不支持的内容。一张逼真的图像完全可以骗过表面检查，同时恰恰在这些义务上全面失败，而传统整体打分无法定位错在哪里。
本文的目标是本文要建立一套可审计的测量体系：其一，构建 LongBanana——首个由专家设计与专家验证的长上下文多参考图像合成基准，含 90 个任务，按 3×3 分类组织，每个任务约 32 张参考图、超过 20 条跨参考约束和 50 条评估项，全基准共 4,670 条专家指定的原子评估项；其二，设计 LongBanana-Eval 图引导清单评测管线，把节点、边、整图义务转成可逐项核验的清单，由智能体裁判按需调用 OCR、计数、布局、身份匹配等工具打分并留存证据轨迹；其三，在 900 个生成输出、46,700 条人工复核标签的审计池上验证评测器与专家判断的一致性；其四，用该基准系统比较直接生成、最小脚手架与 RPR 工作流，把当前系统的失败诊断成可定位的结构性问题。
与已有工作不同的是，独特切入是把每个任务建模为实体-关系图：节点是必须（或禁止）出现的实体、属性与文本元素，边是空间、交互、顺序与局部外观关系，整图约束是布局、数量、时序状态与参考选择等场景义务。三类图单元对应三个评分维度——Content Fidelity（节点级）、Relational Binding（边级）、Global Constraint Satisfaction（整图级）——每条清单项只绑定单一图单元，失败可定位到具体义务而非被整体分数吸收。评测器本身也设计为智能体：按维度路由证据包、按需调用确定性工具、记录证据轨迹，而非单次整体判分。实验设计上，论文同时引入拥有特权图信息的 PD-Direct 基线与 RPR 智能体工作流，把'知道该合成什么'（静态结构）与'自适应控制合成过程'（动态证据使用）这两个因素干净地分离。
核心方法
整体分三部分。基准构建：专家按分类学设计场景，90 个案例覆盖三个套件各三个子类（场景合成的 SCC/RGC/LAC、视觉外观的 GAC/LAB/AHC、参考推理的 SEL/TSR/AGG，每子类 10 例）；LLM 把场景结构化为实体-关系图，图再指导目标指令与约 32 张参考图（实体、外观、可选背景）的合成，至少 30 个案例混入两张以上硬负参考；清单从图推导，人工策展人审核一致性、视觉可行性与可验证性。评测：LongBanana-Eval 解析案例规格，为每条清单项组装生成图与相关参考图的证据包，路由到三个维度 critic，必要时调用 OCR、检测计数、布局对齐、特征匹配工具，输出 $s_j\in\{0,1,2\}$，按 $S_{overall}=\frac{5}{N}\sum_{j=1}^{N}s_j$ 聚合为 0-10 分，主表换算为 0-100。实验：90 案例 × 10 生成条件 = 900 个输出、46,700 条人工标签，先验证评测器再报告机器分数，另用难度加权的 $P@70\%$ 衡量任务级通过率。
核心创新是图引导的原子清单评测，把'这张图好不好'变成'哪条义务满足了、哪条没满足'。与 VLM-as-judge 单次判分的本质区别有三点：一是每条清单项只绑定一个图单元（节点/边/整图），分数可分解到具体内容、绑定或场景约束，失败可归因、可审计；二是评测器 LongBananaEVAL 本身是智能体——解析器抽取原子约束、选择相关参考、为每个 critic 定制上下文子集，并按需调用确定性工具（OCR 验文字、检测计数验数量、bbox 对齐验布局、特征匹配验身份），而非一次前向输出所有标签；三是每项判定附证据轨迹，指向所用参考图与工具观察，支持质量复核与复现。配合难度加权的任务通过率 $P@70\%$，其中任务分 $TaskScore(a,t)=100\cdot\frac{\sum_{j\in t}w_j r_{a,j}}{\sum_{j\in t}w_j}$，指标既能反映清单满足度又能反映过阈值任务数。
方法步骤详情
构建四步：(1) 专家场景设计——作者按分类学撰写场景描述，明确最终图像需呈现什么、哪些实体/属性/交互必须保留；(2) LLM 图构建——把场景结构化为实体-关系图，节点为实体与属性，边为空间/交互/局部外观绑定，整图约束覆盖构图与数量；(3) 指令与参考合成——由图再生详细目标指令并生成实体、外观与可选背景参考图，判别性视觉属性尽量留在图中而非文字里，迫使生成器跨图关联证据，至少 30 个案例加入两张以上视觉上可信但与任务无关的硬负参考，其排除被编码进清单；(4) 清单推导与策展——图约束转成约 60 条/案例的原子项，正向项验证必需条件、负向项检查干扰内容缺失，每项记录可观察条件、图单元、相关参考 ID 与评分标准，人工策展人逐案审核对应性、可行性与歧义。评测侧每项得 $s_j\in\{0,1,2\}$（满足/部分满足或证据不确定/不满足，负向项反之），维度分 $S_d=\frac{5}{|J_d|}\sum_{j\in J_d}s_j$。人类标注经初标、二审与专家仲裁，15% 双标注子集达 89.4% 精确一致与 0.83 二次加权 κ。
技术新颖性
技术新颖性体现在四个层面。基准层面，这是首个由领域专家设计与逐项验证的长上下文多参考图像合成基准：90 案例、3×3 分类、4,670 条原子清单项，专家双标注 7,005 条（15%）达到 89.4% 精确一致与 0.83 二次加权 κ，为评测器验证提供金标准。评测层面，把评测本身设计为带工具调用的智能体工作流，在输出级相关性与项级三元一致率上同时超过 VLM-as-judge，且证据轨迹使每条判定可审计——多数现有评测只有分数没有证据链。实验设计层面，PD-Direct 基线用整数规划精确求解分批调度：先最大化'锚点不晚于依赖项合成'的关系数，再最小化总关系拉伸 $\sum_{(u,v)\in E}|b(u)-b(v)|$（$b(\cdot)$ 为批次索引），构成拥有特权图信息的强非智能体基线，使'智能体编排有真实价值'的论证更有说服力。工作流层面，RPR 把证据检索、计划执行与反思修复合并为一条串行流程，并做了逐组件消融。
实验结果
评测器验证（Table 1）：在 900 输出、46,700 条人工标签上，LongBananaEVAL 的输出级 Pearson/Spearman/Kendall 为 0.8707/0.8602/0.6727，全面高于 VLM-as-judge 的 0.8413/0.8248/0.6437；项级精确三元一致率提升 15.82 个百分点，两端 0↔2 错误减少 19.28 个百分点。脚手架对比（Table 2，固定 Nano Banana 2）：FP-Direct 均分 68.4、P@70% 24.4%；拥有特权图信息的 PD-Direct 达 74.6/35.6%；最小脚手架 OpenCode 77.3/47.8%、OpenClaw 76.1/40.0%、Hermes 73.9/43.3%；加 RPR 后 OpenClaw+RPR 达 78.4/47.8%，在 9 个子类中的 8 个超过 PD-Direct，均分 +3.8、通过率 +12.2pp，是全场最强；但 OpenCode+RPR 通过率由 47.8% 降至 43.3%，Hermes+RPR 由 43.3% 降至 35.6%，说明 RPR 收益依赖脚手架。后端对比（Table 3，固定 OpenClaw+RPR）：Nano Banana 2 以 78.4/47.8% 在全部 9 个子类领先 Seedream 4（63.6/18.9%）与 GPT Image 1（61.8/17.8%）。消融（Table 11）：Plan-Exec 单独在 GAC/LAB 最强，ReAct 单独提升参考选择，Reflect 单独提升布局、聚合与通过率，完整 RPR 总分与通过率最强。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 评测器与专家一致性（输出级，900 输出 / 46,700 人工标签） | Pearson / Spearman / Kendall | LongBananaEVAL：0.8707 / 0.8602 / 0.6727 | VLM-as-judge：0.8413 / 0.8248 / 0.6437 | 三项相关性分别 +0.029 / +0.035 / +0.029；项级精确一致率 +15.82pp，0↔2 端点错误 −19.28pp |
| 长上下文多参考图像合成（总体清单均分） | 清单均分（0-100） | 78.4（OpenClaw + RPR + Nano Banana 2） | FP-Direct 68.4；特权基线 PD-Direct 74.6 | 较 FP-Direct +10.0 分，较 PD-Direct +3.8 分，且在 9 个子类中的 8 个超过 PD-Direct |
| 难度加权任务通过率 | P@70%（%） | 47.8（OpenClaw + RPR） | FP-Direct 24.4；PD-Direct 35.6 | 较 PD-Direct +12.2 个百分点；但 RPR 在 OpenCode/Hermes 上使通过率下降（47.8→43.3、43.3→35.6） |
| 基础图像模型对比（固定 OpenClaw + RPR） | 清单均分 / P@70% | Nano Banana 2：78.4 / 47.8% | Seedream 4：63.6 / 18.9%；GPT Image 1：61.8 / 17.8% | 均分 +14.8 / +16.6，通过率 +28.9 / +30.0 个百分点，9 个子类全部领先 |
局限与改进
作者承认的局限：RPR 的收益依赖脚手架——只有当脚手架能可靠利用检索证据与反思反馈时才有增益，否则引入漂移，OpenCode 与 Hermes 加 RPR 后任务通过率不升反降；没有任何单一脚手架在所有子类占优，最佳子类分数分散在直接提示、最小脚手架与 RPR 之间。我自己的观察：其一，90 个案例、每子类仅 10 例，子类级结论的统计功效有限；其二，两个裁判共用 Gemini 3 Flash 骨干，可能存在裁判偏置，且难度权重 $w_j$ 由固定参考系统池一次性估计并冻结，对行为迥异的未来系统可能失真；其三，负向项中'可疑泄漏'得 1 分的判定带主观性；其四，4,670 条专家清单与 46,700 条人工标签的构建成本极高，制约基准的横向扩展与更新频率；其五，PD-Direct 与智能体系统分别站在'有特权结构'与'无结构'两侧，对比并非严格单变量。
独立分析的弱点
独立分析的弱点：第一，基准规模小且全部案例由单一机构（KlingAI Research 实习体系）的专家构造，场景可能偏向产品陈列与故事板类用途，开放域或用户上传图片场景未必被覆盖，改进方向是开放案例提交通道并引入跨机构复核。第二，所有智能体条件共用 Claude Sonnet 4.6 作为智能体模型，结论可能与该模型的规划与反思风格耦合，换用其他智能体模型重跑方能证明普适性。第三，PD-Direct 拥有特权图信息而智能体系统没有，'自适应优于静态调度'的结论没有排除信息不对称的贡献，可将图结构以工具形式开放给智能体，观察增益来自自适应控制还是结构本身。第四，P@70% 的阈值 70 与难度加权规则是设计选择，换阈值或换加权方式可能改变脚手架排序，应报告对阈值的敏感性分析。第五，评测器验证只覆盖已报告的 10 个生成条件，对新系统尤其是可能见过相似分布的闭源模型的外推有效性未测。第六，负向项三分制中 1 分（可疑泄漏）缺乏工具化判定标准，可能引入裁判噪声。
未来方向
作者提出的方向是'证据引导的自适应'：把对当前图像的检查与下一步检索、生成或修复动作连接起来，修订时保留已满足的约束、只针对未满足义务行动；可靠协调是下一设计优先级——检索到的证据须在规划、生成与修订全程保持绑定到正确实体与约束。基于成果可延伸的方向：其一，把清单评分用作训练奖励（RLVR/RLHF），让图像模型或智能体策略直接优化逐项义务满足度，4,670 条原子项天然适合做可验证奖励；其二，让智能体也能访问任务结构图并学习何时信任静态计划、何时切换到自适应修订；其三，扩展基准至更多子类、更长期的多轮编辑与视频场景，并用半自动清单生成加人工抽检降低扩展成本；其四，研究裁判模型与生成后端解耦的评测协议，量化并校正裁判偏置；其五，将图引导清单与难度加权通过率的方法论迁移到其他多约束生成任务，如多参考视频合成、UI 生成与图表生成。
复现评估
复现评估：代码与数据在项目页 https://long-banana.com/ 开源，含 90 个案例、每案例约 32 张参考图、4,670 条原子清单项、评分器实现、证据轨迹格式与人工标注协议，基准复用门槛较低，最直接的做法是把自家模型接上去用其评测器打分。但完整实验复现成本高：生成侧依赖 Nano Banana 2、Seedream 4、GPT Image 1 三个商业图像 API 与 Claude Sonnet 4.6 智能体模型，评测裁判用 Gemini 3 Flash，10 个生成条件下 900 张图的生成与逐项评测费用可观；46,700 条人工标签加上 15% 双标注与专家仲裁的人力更难复制，多数团队只能复用其已发布的人工标签做评测器开发与校准。本地复现建议：先在官方标签上验证评测器一致性，再只跑自己关心的 2-3 个生成条件；全程无需训练、无需 GPU 集群，瓶颈在 API 预算与标注人力而非算力。
论文图表
任务全景图。(a) 展示一个案例：约 32 张异构参考集与结构化合成提示（渲染精品店货架，只放带双平行顶部提手的真皮手袋，逐一列明颜色与款式）共同定义任务，右下为待评的生成图；(b) 展示 LongBanana-Eval：把图引导清单项转为维度分数与可审计证据轨迹，示例总分为 5.79（Content 2.80、Relations 4.58、Global 10.00），涉及 OCR、计数、布局、匹配等验证工具。
一图读懂任务定义与评测输出形态：左侧是'多参考+硬约束'的任务样貌，右侧是'清单项→维度分→总分'的评测样貌，是全文的导览图。
基准的 3×3 分类学：三行是三个套件——Scene Composition（场景合成）、Visual Appearance（视觉外观）、Reference Reasoning（参考推理），每格是一个子类需求（如语义覆盖、关系图一致性、布局编排、全局外观条件、局部外观绑定、外观协调、选择检索、时序状态推理、计数聚合），每个子类贡献 10 个案例，共 90 例。
后续所有结果表的九个子类缩写（SCC/RGC/LAC/GAC/LAB/AHC/SEL/TSR/AGG）都来自这张图，是读懂 Table 2 和 Table 3 的前置知识。