TRACE-Bench：多参考图像生成的算子分解与诊断基准 TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation
把多参考图像生成拆成锚定、解缠、绑定、组合四个算子，构建约1600例基准并定位失败根源
前置知识
多参考图像生成（Multi-Reference Image Generation）
指模型同时以多张参考图为条件生成新图像的任务：用户给定若干图片，要求把其中的人物、服饰、花纹、姿态、整体设计等元素组合进一张输出图，典型应用包括虚拟试穿、多人合影合成、跨图风格与材质迁移。与 DreamBooth、IP-Adapter 这类单参考主体驱动方法不同，它要求模型在单次前向中联合理解多个视觉条件，并把每个参考内容正确分配到目标对象上。
整篇论文就是为这一能力建立可分解、可诊断的评测体系，不理解任务形态就无法理解四算子划分的动机。
统一多模态模型（Unified Multimodal Models）
指原生支持图文交错输入、在单一模型内同时完成理解与生成的架构，专有侧如 GPT-Image-1.5、Nano Banana 系列，开源侧如 OmniGen2、Emu3.5、Qwen-Image-Edit、FireRed Image Edit。它们无需针对每个主体微调，直接以参考图加自然语言指令为输入完成多参考生成，是当前多参考生成的主力范式，也是本文评测的 9 个对象。
论文的核心结论（解缠与绑定是瓶颈）正是对这类模型横向评测得出的，读者需要知道被评对象是谁。
VLM-as-a-Judge（视觉语言模型裁判）
用视觉语言模型代替人类给生成结果打分的评测范式：把参考图、生成图和一组二元判定问题一起输入 VLM，由它逐题输出 pass/fail，再聚合为分数。优点是可扩展、可细粒度化为检查清单，缺点是与人类判断存在相关性上限，且可能对特定模型风格有偏。论文用人工审计验证了这一环节的可靠性。
TRACE-Bench 的所有分数都建立在 VLM 裁判之上，附录 Table 7 的人工一致率（85.4%–88.4%）是判断这些分数可信度的前提。
组合式任务表示与复杂度控制
把复杂任务表达为少量原子操作的符号组合，而不是一格格手写任务类别。本文用组合公式 $F$ 表示每个 prompt 的参考条件部分，并用槽位数 $\mathrm{slot}(F) := |f| + |g|$（锚定项与解缠项计数）量化结构复杂度，从而能像控制变量一样系统生成 slot 1–8 不同难度的测试用例，摆脱任务型基准的碎片化组织。
公式化是全文方法论的根基：用例构造、评测问题生成、失败定位三件事都由同一个公式结构驱动。
研究动机
多参考图像生成（同时以多张图为条件生成新图，如虚拟试穿、多人合影合成）的评测仍处于早期。现有基准 MultiBanana、MICON-Bench、OmniContext、MacroBench 都沿袭旧范式，把测试用例组织在预定义任务类型之下（如「对象组合」「参考图数量分级」「长上下文任务」），这在组合爆炸的多参考场景下暴露三个硬伤。其一，覆盖不全：预定义类别无法穷尽现实使用的组合空间，试穿、合影、风格迁移可以自由叠加，任务清单永远追不上。其二，无诊断价值：整体单一分数无法定位失败来源——例如让模型生成「参考图中的人穿上另一张图里的套装」失败时，可能是没认出人（锚定失败）、没提取对衣服（解缠失败）、或把衣服绑到了错误对象（绑定失败），一个总分对这三种病因完全无法区分。其三，复杂度不可控：缺乏对每个用例的统一结构刻画，无法在不同场景间系统控制或比较结构难度，实验结论容易混淆「任务更复杂」和「任务不同」。
本文的目标是本文要把多参考生成的评测从「按任务类型组织」改为「按原子能力组织」：将任何多参考 prompt 形式化为四个原子算子（锚定 $f$、解缠 $g$、绑定 $\oplus$、组合 $C$）的组合公式，使每个用例都有显式符号结构。在此基础上构建约 1600 个用例的基准 TRACE-Bench，由 631 个公式模板实例化、动用约 4000 张参考图，槽位数覆盖 1–8 实现复杂度系统控制；配套算子对齐的评测协议（每个算子映射到专门的评测维度与二元检查清单）和诊断树分析方法（递归拆解失败案例定位病因）；最终对 9 个领先模型逐一按能力打分，回答「瓶颈到底在哪种能力」这一整体评分回答不了的问题。
与已有工作不同的是，既有工作的思路是往任务类型清单里继续加条目，本文换掉了组织原则本身。作者的关键观察是：表面上五花八门的多参考任务其实共享同一组原子操作——把「蓝车+花纹咖啡杯」这样的请求拆开，无非是锚定目标实体、解缠可迁移属性、绑定到新载体、组合成场景四步。基于这一观察，本文用组合公式作为统一骨架，让出题（模板采样实例化为 prompt）与评分（公式项自动派生检查问题）由同一结构驱动，解决了任务型基准中用例构造与评测协议脱节的问题；同时槽位数 $\mathrm{slot}(F)=|f|+|g|$ 第一次给多参考用例提供了可计算、可控的复杂度旋钮。虚拟试穿、合影排版等应用被证明只是该框架的自然实例化，而非需要单独立类的任务。
核心方法
直觉上，这像把复杂机器的故障排查拆成逐个部件检测：与其给整机打一个分，不如先定义清楚有哪些部件。任何多参考请求都可拆成四步——从杂乱参考图中定位目标实体并保持其身份（Anchor，$f(I,e)$）、把可迁移属性从原载体剥离（Disentangle，$g(I,\mathbb{E},a)$，如从长袍上只取花纹而丢弃穿袍者身份）、把属性绑定到指定实体（Apply，$T_e\oplus g$，载体可为锚定实体或文本指定实体）、把各内容按关系约束编排成连贯场景（Compose，$C(\cdot)$）。技术上分三层组织公式：实体表达式 $E$（如 $f$、$T_e\oplus g$）到场景表达式 $S=C(E_1,\dots,E_n)$（可带参考关系项 $g_{\mathrm{rel}}$，关系只作用于子集时用嵌套子场景 $C(E_i,E_j)\oplus g_{\mathrm{rel}}$），再到完整公式 $F$（追加风格光照等全局参考项 $g_{\mathrm{global}}$），例如 $F=C\big(C(f_1, T_e\oplus g_1)\oplus g_{\mathrm{rel}},\; f_2\oplus g_2\oplus g_3\big)\oplus g_{\mathrm{global}}$。每个公式的槽位数 $\mathrm{slot}(F):=|f|+|g|$ 即结构复杂度，基准覆盖 slot 1–8。
最本质的创新是「同一公式既是出题模板又是评分依据」，即构造与评测的显式对齐。任务型基准里用例构造和评测协议是两层皮；本文中每个公式项都绑定到具体参考图源，因此可自动派生算子对齐的二元检查问题（Table 1）：锚定查实体存在性与参考外观一致性，解缠查属性存在性与对源忠实度，绑定查载体完整性、属性排他性与自然融合，组合查共存、关系满足、空间连贯及无复制无泄漏；每个算子实例的归一化贡献为 1。第二个要点是槽位数首次提供了可控复杂度：$C(f_1, T_e\oplus g_1\oplus g_2)\oplus g_{\mathrm{global}}$ 就是 slot-4 案例。第三个要点是诊断树：从根节点的完整公式出发，按四条规则递归简化——全局参考剥离、组合展平（保留一条参考分支、其余降级为纯文本描述以保持场景可比）、关系简化、属性移除——直到叶子只剩单个锚定或单次属性迁移，比较各节点表现即可把整体失败归因到「孤立能力缺陷」还是「组合干扰」。
方法步骤详情
构建流水线（Fig 3）六步。①图像收集与过滤：从 Danbooru2025（score>26.15 且过安全过滤）、LAION-2B-en-Aesthetics（aesthetic>6.5、similarity>30）、cc12m-4mp-realistic 三个互补来源采样约 5 万候选。②结构化标注：Gemini-2.5-Pro 为每图输出实体清单（Human/Animal/Object 等 8 类）加四层属性体系（Appearance/Form/Dynamics/Global，细分花纹、材质、发型、表情、动作、风格、光照等子类），每个实体附定位短语。③平衡采样：每图用标注特征向量 $x_i$ 表示，贪心选择 $i^\star=\arg\max_i\, x_i^\top w(t)$，未覆盖特征权重 $w_j(t)=1/(1+c_j(t))$ 随累计选中次数衰减以保证长尾覆盖；再用 Nano Banana Pro 合成约 200 张稀有样本，人工质检后保留 3839 张参考图。④模板采样：在 slot 1–8 受控采样 631 个公式模板，引入附着参考 $g_{\mathrm{attach}}$（整件衣服作为组件整体迁移）与 IP 式参考 $g_{\mathrm{ip}}$（整体设计语言迁移）两种特殊项。⑤提示词生成：Gemini-2.5-Pro 把模板实现为自然语言 prompt（第一段场景描述+第二段显式源目标映射），GPT-5.4 过滤 4.3%、人工再删 9%；每槽位 180 例另加应用特例，共约 1600 例，每例保留纯文本对照版。⑥评测与诊断：VLM 裁判按算子对齐清单二元打分并归一化聚合；失败案例按四条规则展开诊断树，每个节点重新生成图像、只评保留的算子项，直到叶子只剩单个锚定或单次属性迁移。
技术新颖性
新颖性体现在三个层面。其一，组织原则：这是首个以原子能力而非任务类型为轴的多参考基准，与 OmniContext（8 个子任务类）、MultiBanana（参考数与难度因子）、MICON-Bench（6 个任务模板）、MacroBench（长上下文任务）形成鲜明对照（Table 4）——不同场景从此可以在同一能力空间内比较，而非互不相通的孤岛类别。其二，构造-评测对齐：符号公式同时驱动用例生成与检查清单生成，Table 6 展示了可可豆案例 15 个问题如何逐一溯源到公式目标，这种端到端可追溯性是既有基准不具备的。其三，失败可定位：诊断树把「整体失败」分解为两种性质不同的问题——孤立单元的持续失败与组合引入的交互干扰，Table 3 显示二者比例差异显著（联合组合干扰 38.5% vs 持续失败 9.8%），说明不做这种分解的评测会把病因完全平均掉。此外 Table 8 证明 MultiBanana、MICON 的任务及试穿、新视角合成等应用都能映射进同一公式空间，表明这套表示的覆盖力，而不是又造了一组孤立用例。
实验结果
总体评测（Table 2，9 模型，slot 1–8 平均）：专有模型全面领先，Nano Banana 2 平均最高 0.8205（$f$=0.7724、$g$=0.7384、$\oplus$=0.7989、$C$=0.9100），GPT-Image-1.5 平均 0.8118 但组合最强（$C$=0.9259）。发现一：任务远未饱和——各算子理想值为 1，最佳模型解缠仅 0.7384、绑定 0.7989、锚定 0.7724，而组合普遍 0.9 上下，瓶颈在属性解缠与绑定而非场景编排。发现二：开源全面落后——最佳 Emu3.5 平均 0.6561（$g$=0.4982、$\oplus$=0.5434），OmniGen2 仅 0.5348，Qwen-Image-Edit-2511 四项全面超越 2509（0.5483→0.5858）；CLIP 相似度排序类似但对「属性是否迁移到正确目标」不敏感，佐证整体指标的钝感。发现三（Fig 6）：锚定得分随 slot 数变化微弱、却随参考图实体数明显下降——参考图杂乱度而非任务结构才是锚定难度的主导因素。发现四（诊断树，200 例 Emu3.5，Table 3）：联合组合干扰是 $f$（48.8%）、$g$（43.4%）、$\oplus$（41.1%）失败的首要来源；$C$ 失败中 29.0% 归因全局参考干扰；稳定成功 33.7%、持续失败仅 9.8%，即多数失败源于高层组合交互而非孤立单元无能；自动定位与人工一致率 82.6%，Fig 11 累计通过率随简化深度持续上升进一步印证。裁判可靠性（Table 7）：四个 VLM 裁判与人工一致率 85.4%–88.4%，集成后 Pearson 0.662、一致率 88.6%。Fig 13 显示 slot 增大时性能下降且开源衰减更陡；Fig 14 显示解缠在不同属性子类型上差异显著。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多参考生成综合评测（slot 1–8，约1600例） | 四算子平均分（VLM裁判归一化，理想值1） | 基准论文无自建模型；被评最强 Nano Banana 2 达 0.8205 | 开源最佳 Emu3.5 0.6561；最弱 OmniGen2 0.5348 | 专有-开源差距 0.16–0.29，且任务远未饱和 |
| 属性解缠 Disentangle (g) | 算子对齐得分 | 最佳 Nano Banana 2 = 0.7384（全文最低维度） | GPT-Image-1.5 = 0.6890；开源最佳 Emu3.5 = 0.4982 | 最佳模型距饱和仍差 0.26，为主要瓶颈 |
| 属性绑定 Apply (⊕) | 算子对齐得分 | 最佳 Nano Banana 2 = 0.7989 | 开源最佳 Emu3.5 = 0.5434；Qwen-Image-Edit-2509 仅 0.3282 | 开源-专有差距最大达 0.47 |
| 场景组合 Compose (C) | 算子对齐得分 | 最佳 GPT-Image-1.5 = 0.9259 | 开源最佳 Emu3.5 = 0.7871 | 组合相对最强，印证瓶颈不在场景编排 |
| 诊断树失败定位 | 与人工标注定位一致率 | 82.6%（200 例 Emu3.5） | 无对照方法（首次提出该分析） | 首次实现失败来源的自动归因 |
| VLM 裁判协议可靠性 | 与人工 checklist 决策一致率 | 四裁判集成 88.6%（Pearson 0.662） | 单裁判 85.4%–88.4%（Pearson 0.554–0.608） | 集成提升相关性约 0.05–0.11 |
局限与改进
作者承认的局限：槽位数并不完全决定实际难度（Fig 13 中趋势非严格单调，难度还取决于参考图杂乱度、实体构成与属性粒度）；公式刻意保持简单——$C$ 至多两层嵌套、文本关系仅在歧义时入式、纯文本编辑指令不进入公式，因此极端复杂场景的表达被有意排除；VLM 裁判与人工的 Pearson 仅 0.55–0.66，在细粒度身份与属性忠实度判断上有噪声；诊断树的定量验证只在 Emu3.5 的 200 例上进行过，单一模型单一规模。我自己的观察：标注、prompt 生成与评分全部依赖 Gemini 系模型，而 Gemini 裁判与被评的 Nano Banana 系列同属 Google 产品线，存在潜在的家族性评分偏好的风险，论文未报告按被评模型分组的裁判偏差分析；专有模型经 API 黑盒评测且版本快速迭代（2509 与 2511 两个月内差距明显），绝对分数的时效性有限；约 1600 例在做属性子类型这类细分解时每格样本量偏小；二元 checklist 无法刻画「部分正确」的程度差，0.9 与 0.5 的忠实度都记为通过。
独立分析的弱点
弱点一，裁判天花板：G25P 单裁判与人工的 Pearson 仅 0.554，而身份相似度、图案忠实度恰是 VLM 的弱项，误判会直接污染瓶颈结论的精度——改进方向是引入专用检测器替代或校准部分二元问题，如人脸识别相似度验证锚定、分割掩码 IoU 验证属性位置、DINO 特征相似度验证迁移忠实度。弱点二，诊断树成本高：每个失败案例要在树的每个节点重新生成图像（且多为 API 调用），一次完整展开需多次前向，难以纳入训练循环——可训练轻量失败预测器或按规则剪枝（如先测最可能干扰项）。弱点三，数据分布偏斜：参考池以欧美互联网美学图像（LAION、cc12m）加动漫（Danbooru）为主，文档、图表、产品图、跨域真实工作流覆盖不足，结论向产业场景外推需谨慎——可按论文附录思路把欠表示组合作为显式难度轴扩充。弱点四，二元判定丢失连续信息：属性迁移的优劣只有对/错两档，无法反映风格迁移「像不像」的梯度——可在关键维度引入 Likert 量表或成对比较。弱点五，基准饱和风险：Nano Banana 2 已达 0.8205，闭源模型训练数据可能已包含同类组合数据，静态基准寿命有限——需要持续生成新模板与对抗性用例的机制。
未来方向
作者在附录 E 提出的方向：为每个算子实例标注可提示区域掩码（用扩散伪掩码或直接掩码生成自举），使诊断子案例能为奖励引导的模型更新、迭代精炼提供结构化反馈；模型层面，Anchor 可结合解耦的 image-prompt 注意力与查询条件定位以抑制显著干扰物，Disentangle/Apply 可结合特征级比较、原型记忆与局部化注意力减少多参考身份混合；扩展到视频——把参考证据定位到查询条件下的时间片段，评测结合主体一致性、运动平滑、时间闪烁等维度；跨视角变体用辐射场视角合成实例化 $g_{\mathrm{view}}$，检验参考身份与几何在视角变化下的一致性。基于本文成果还可延伸：把四算子分数直接作为强化学习的奖励信号做针对性后训练（瓶颈在 $g$ 和 $\oplus$，收益空间最大，约 0.2–0.3 的提升余量）；利用诊断树自动合成「干扰注入」训练数据，专门提升联合组合鲁棒性；把公式空间接入数据引擎，按槽位分布自动生成带难度标签的训练集。
复现评估
数据完全来自三个公开数据集（Danbooru2025、LAION-2B-en-Aesthetics、cc12m-4mp-realistic）加约 200 张 Nano Banana Pro 合成图，最终 3839 张参考图，构建规则（过滤阈值、标注 schema、模板列表 Table 5、完整检查清单 Table 6、诊断树规则）在论文中披露充分，项目页为 https://amuseum-whr.github.io/TraceBench。复现门槛主要在 API 依赖而非算力：标注与 prompt 生成用 Gemini-2.5-Pro、prompt 过滤用 GPT-5.4、评分用 VLM 裁判，被评的 9 个模型中 4 个是付费专有 API（GPT-Image-1.5、Nano Banana 三代）；开源模型（Emu3.5、OmniGen2、Qwen-Image-Edit、FireRed）均可公开获取但需要多卡 GPU。全流程只做推理与评测、无训练，一个带 API 预算（估计数百美元量级）的单卡实验室即可复现主表；诊断树部分因每节点都要生成图像成本更高。注意专有模型版本更迭会使绝对分数漂移，跨期比较应固定版本号（论文已区分 Qwen-Image-Edit 的 2509/2511 两版，值得效仿）。
论文图表
展示多个代表性基准案例：每行给出参考图、提示词与生成结果，用绿色/红色标签逐条标注满足或未满足的算子需求，红框在生成图中定位失败区域（如身份不符、帽子复制）。
一张图看懂基准的评测形态与两大卖点——需求级打分和失败定位，是理解全文到底在做什么的最佳入口。
各模型四个算子得分随 slot 1 到 8 的变化曲线：性能整体随槽位增加而下降，开源模型衰减显著更陡，领先专有模型相对稳定。
验证槽位数作为复杂度控制旋钮的有效性，同时揭示专有与开源模型在复杂度鲁棒性上的真实差距。
slot 1–8 各级的代表性公式模板：从 slot-1 的 $T_e\oplus g$、$f$，到 slot-4 的 $C(T_e\oplus g, f, f)\oplus g_{\mathrm{global}}$，再到 slot-8 的双层嵌套组合加双重全局项。
展示模板空间的结构与多样性，直观理解复杂度如何随槽位递增以及嵌套 $C$ 与多重 $g$ 的组合方式。
把 MultiBanana（多对象、局部/全局/背景参考）、MICON 六任务及虚拟试穿、合影排版、新视角合成、IP式参考、风格化等应用逐一映射为公式表达，如试穿为 $f(\mathrm{person})\oplus g_{\mathrm{attach}}$、新视角合成为 $f\oplus g_{\mathrm{view}}$。
证明公式空间对已有基准任务与实际应用的双重覆盖力，是「能力导向表示更具表达力」这一主张的直接证据。