← 返回 2026-05-11

SCOPE:通过结构化分解与条件式技能编排实现复杂图像生成 SCOPE: Structured Decomposition and Conditional Skill Orchestration for Complex Image Generation

Tianfei Ren, Zhipeng Yan, Yiming Zhao, Zhen Fang, Yu Zeng, Guohui Zhang, Hang Xu, Xiaoxiao Ma, Shiting Huang, Ke Xu, Wenxuan Huang, Lionel Z. Wang, Lin Chen, Zehui Chen, Jie Huang, Feng Zhao 📅 2026-05-08 👍 10 2026-07-13 08:36
多模态大模型 技能编排 文生图 智能体系统 评测基准

用结构化规约贯穿生成流程,按承诺状态条件调用检索/推理/修复,解决图像生成的概念鸿沟。

前置知识

Semantic Commitments(语义承诺)

指用户提示中图像必须满足的语义条件,按粒度拆为实体(需要出现的人物/物体/场景)、约束(属性/关系/布局)和未知(待外部证据或推理补全)。每条承诺都是可验证、可定位的最小语义单元,例如"Nouran Gohar 双手举银杯"。

SCOPE 的核心抽象是把承诺当作贯穿生成生命周期的统一单位;没有这种结构化拆解,就无法理解为何传统 agent 在多步操作后会出现承诺丢失、错误归因、修复错位的问题。

Conceptual Rift(概念鸿沟)

本文提出的诊断概念,描述承诺在 grounding、generation、verification 多个阶段中虽被局部处理过,却不再作为同一可识别单元保持连续性的现象。检索结果、验证判定、修复目标可能指向不同承诺,造成生成结果稀释、错误归因错位。

这是 SCOPE 立论的核心——已有 agent 框架做了检索/规划/反思,但因中间表示与单次干预绑定而无法跨阶段保持承诺同一性,理解概念鸿沟才能明白为何需要把承诺显式编码到规约里。

Structured Semantic Specification(结构化语义规约)

SCOPE 用三元组 $z = (E, C, U)$ 表示演化中的承诺规约:$E$ 是目标实体,$C$ 是属性/关系/布局约束,$U$ 是未决信息;每个未知都关联到 prompt/实体/约束层级的所有者。规约随检索/推理/验证/修复结果持续更新,但每条承诺保持稳定身份。

这是 SCOPE 与已有方法的本质差异点——把规约做成共享接口,让所有技能围绕同一组可识别承诺工作;没有这个接口,技能调用就退化为各自独立的局部干预。

Entity-Gated Intent Pass Rate(EGIP)

Gen-Arena 的实体门控通过率,$\mathrm{EGIP}=\frac{1}{N}\sum_i(\prod_e s_e^{(i)})(\prod_c s_c^{(i)})$,$s_e, s_c\in\{0,1\}$。任一实体缺失/错误整实例直接 FAIL;只有实体全通过才检查约束。

EGIP 是评测创新点——揭示了 holistic 评分看不到的级联失败:Nano Banana Pro 实体通过率 0.82 但 EGIP 只有 0.21,因为级联错误使大量实例被一票否决。

研究动机

现有文生图方法在复杂视觉意图上频繁失败,根因不是画得不够像,而是用户细粒度要求无法被一致兑现。以论文示例 prompt 为例:"Nouran Gohar 站中央颁奖台、双手举银杯;Hania El Hammamy 站右侧面向她鼓掌;金奖牌挂在 Gohar 颈上;背景有观众、灯光、彩带"——含至少 5 实体、6 条相互耦合的原子约束,任何实体缺失或属性错误都会让整图判失败。Table 4 给出直接生成的现状:Nano Banana Pro 实体通过率 0.82 但 EGIP 仅 0.21;Qwen-Image 0.83/0.02;Z-Image-Turbo 0.84/0.01——绝大多数实例至少有一个错误实体把整图带崩。诊断:当前 agent 类工作(Mind-Brush、Reflect-DiT、World-to-Image、IA-T2I 等)虽引入检索、推理、反思等多步干预,但中间表示只服务于单次技能——同一承诺被检索解决、被验证检查、被反思修订,可操作的内部对象不再是同一承诺,造成生成目标稀释、错误归因错位、修复动作失准,这就是论文强调的 Conceptual Rift。

本文的目标是本文的具体目标是提出一个"承诺贯穿全流程"的生成框架,让每条用户需求从拆解到最终像素都能保持可识别、可验证、可操作的同一性。技术目标有三:第一,把提示显式拆成 $(E, C, U)$ 三元组规约并以它作为跨阶段共享接口;第二,对规约中尚未解决或已被违反的承诺,按需条件调用检索(缺外部证据时)、推理(隐含需求未定型时)、修复(生成已偏离时)三类技能;第三,构造一个新的评测基准 Gen-Arena(300 实例、1954 实体、2533 约束、310 参考图)和严格的 EGIP 指标,把"承诺级"评估落地到产业可用水平。最终希望在 Gen-Arena 上把 EGIP 从基线 0.21 提到 0.60,并在 WISE-V、MindBench 等外部基准上同时取得领先。

与已有工作不同的是,本文的独特切入角度是把"中间表示"从"为单次干预服务"改为"为承诺持续服务"。已有工作大致分三类改进路径:强化用户请求理解(T2I-Copilot、GenPilot、PromptSculptor、VisualPrompter)、引入检索/事实证据(World-to-Image、Gen-Searcher、Mind-Brush、IA-T2I、Unify-Agent)、加反思/反馈(Reflect-DiT、Interleaving Reasoning、CReA、Iterative Refinement、Self-refine)。这些方法各自证明了多步介入的价值,但作者通过概念鸿沟这把手术刀诊断出它们的共同病灶:中间表示与单次干预强绑定,无法跨阶段保持承诺同一性。SCOPE 的解药是把规约 $z=(E,C,U)$ 做成跨阶段不变的共享接口,并在每条承诺上挂一个明确的"所有者",让检索证据、推理结果、验证判定、修复目标都能写回同一个条目、再被下一阶段准确读出。这与 XSkill/GEMS 等技能库工作形成互补:SCOPE 不去构建技能本身,而是把技能如何围绕承诺调用做出可推理的设计。

核心方法

SCOPE 的整体思路可以一句话概括:把用户提示变成一张持续演化的"承诺账本",让生成、验证和技能调用都围绕账本里的同一批条目展开。直觉上,作者把图像生成看作一场分阶段履约:先用 Decomposer 把 prompt 拆成规约 $z_0=(E_0,C_0,U_0)$,再用 Synthesizer 把规约压成可用的生成提示 $s_t$,让 Generator 出图 $y_t$,让 Verifier 逐条判定 $R_t=\{r_i^{(t)}\}_{i\in I}$;规约里只要还有未解决承诺或失败判定,就条件触发检索、推理、修复技能,并把结果写回同一规约。技术路线是 Decomposer→Synthesizer→Generator→Verifier 的核心循环,外加三类技能的条件调用:检索用于补外部事实/参考身份,推理用于补隐含前提,修复用于修订已被违反的承诺。最大生成尝试次数为 3,每次失败按"未决 vs 已违反"分流到不同技能。

核心创新点是"把规约作为共享接口,让所有技能围绕承诺而非任务来调度"。与已有 agent 框架的本质区别在于:Mind-Brush、Reflect-DiT 等方法把检索/推理/反思当作固定流水线,每步只关心"我这一步要做什么";SCOPE 则把每条承诺当作一个独立的工作单元,技能是否调用、调用哪个、写回到哪条承诺,全部由当前规约的承诺状态(未决、已通过、已违反)决定。第二个关键差异是承诺粒度——约束被进一步分为属性约束(身份、外观、数量、可见文字)、关系约束(实体间交互/语义关系)、布局约束(位置与场景环境),并显式链接到所属实体,从而支持 EGIP 这种"实体先决、约束门控"的级联评测。第三个差异是把承诺的所有者信息(prompt 层级/实体层级/约束层级)写进规约,让检索和推理的产出能精确更新对应的承诺条目,又让验证失败能被反向定位到同一批承诺条目上。

方法步骤详情

完整算法见 Algorithm 1 共七步。第一步 DECOMPOSE:把提示 p 拆为初始规约 z0=(E0, C0, U0),E0 列实体,C0 按属性/关系/布局标注约束并链接实体,U0 收集未知并标注所有者。第二步循环 t=1..T(T=3):zt ← z(t-1)。第三步遍历未解决 u∈Ut:需外部证据则 RETRIEVE(u),否则 REASON(u, zt),再 UPDATESPEC 回写。第四步 SYNTHESIZEPROMPT(zt) 生成提示 st。第五步 GENERATE(st) 出图 yt。第六步 VERIFY(yt, zt) 对 I=E∪C 逐条判定 Rt={(vi(t), reasoni)};全 pass 则提前返回。第七步 MAPFAILURES+分流:暴露新未决则 ADDUNKNOWN 回到第三步;否则 REPAIR(zt, i, yt) 按失败范围在 prompt rewriting / local edit / regeneration 中选择,结果写回规约再进入下一轮。

技术新颖性

技术新颖性体现在四个层面。其一,把"Conceptual Rift"形式化为承诺生命周期不连续问题,并把解药落实到一张带所有权的演化规约上——这是已有 agent 论文中没有显式建模的。其二,技能从"固定流水线步骤"升级为"按承诺状态的条件调用":检索、推理、修复三技能按 $\text{Unresolved}(u)$ 与 $\text{Violated}(i)$ 两类条件各自路由,每次调用都把结果写回同一条承诺,实现承诺级闭环。其三,引入三类约束细粒度切分(属性/关系/布局)并显式链接到所属实体,使 EGIP 这种"实体先决"的级联评测成为可能——Table 4 揭示 Nano Banana Pro 实体通过率 0.82 但 EGIP 仅 0.21 的断崖。其四,提出 Gen-Arena 基准:300 实例、1954 实体、2533 约束、310 参考图,覆盖六类场景,配套 Gemini 3-Pro 作为官方 evaluator,要求有参考图的实体"对照参考而非仅凭文字"判定。

Overview of SCOPE — Decomposer / Synthesizer / Generator / Verifier loop with retrieval, reasoning, repair skills anchored on the evolving specification
Figure 2: Overview of SCOPE — Decomposer / Synthesizer / Generator / Verifier loop with retrieval, reasoning, repair skills anchored on the evolving specification
Overview of Gen-Arena construction and EGIP evaluation — entity-first strict pass rule
Figure 3: Overview of Gen-Arena construction and EGIP evaluation — entity-first strict pass rule

实验结果

Gen-Arena(Table 1)显示 SCOPE 整体 EGIP 0.60,比 Nano Banana Pro 0.21 高 39pp;六子类 EGIP 0.46-0.74。所有开源基线 EGIP 几乎为零。外部基准(Table 2):WISE-V WiScore 0.907 超 Nano Banana Pro 0.876 约 3.5%,六分项五个第一;MindBench 整体 0.61/Knowledge 0.59/Reasoning 0.63,相对 Nano Banana Pro 提升 48.8%。消融(Table 3):Direct 0.21/best-of-3 0.40/Self-refine 0.39/SCOPE w/o R&R 0.22/SCOPE w/o repair 0.42/SCOPE 全量 0.60——无 R&R 退化为 Direct(-38pp),自由文本质反思无法替代带规约的修复(0.42→0.60)。诊断(Table 4):SCOPE 实体 0.92、门控约束 0.83、EGIP 0.60,真正贡献是把承诺贯穿从源头降低实体到约束的级联失败。

Main results on Gen-Arena — Entity-Gated Intent Pass Rate (EGIP) per category and overall
Table 1: Main results on Gen-Arena — Entity-Gated Intent Pass Rate (EGIP) per category and overall
External benchmark results on WISE-V and MindBench
Table 2: External benchmark results on WISE-V and MindBench
Ablation results on Gen-Arena — EGIP and Gated Constraint Pass under different SCOPE variants
Table 3: Ablation results on Gen-Arena — EGIP and Gated Constraint Pass under different SCOPE variants
Diagnostic Gen-Arena results — Entity Pass and Gated Constraint Pass
Table 4: Diagnostic Gen-Arena results — Entity Pass and Gated Constraint Pass
Examples generated by SCOPE across knowledge-intensive events, reference-heavy intellectual properties, and multi-entity compositions
Figure 1: Examples generated by SCOPE across knowledge-intensive events, reference-heavy intellectual properties, and multi-entity compositions
Illustrative qualitative comparisons between direct prompting and SCOPE-guided generation using the same image backend
Figure 4: Illustrative qualitative comparisons between direct prompting and SCOPE-guided generation using the same image backend
查看结构化数据
任务指标本文基线提升
Gen-Arena 复杂图像生成 EGIP(实体门控通过率) 0.60(cartoon 0.52 / game 0.46 / sports 0.72 / entertainment 0.62 / competition 0.52 / ceremony 0.74) Nano Banana Pro 0.21 / Qwen-Image 0.02 / Z-Image-Turbo 0.01 / FLUX.1-dev 0.01 / SD-3.5-large 0.00 比 Nano Banana Pro 提升 39 个百分点;所有开源基线 EGIP≈0
WISE-V 知识密集图像生成 WiScore(整体) 0.907(Culture 0.883 / Time 1.000 / Space 0.944 / Biology 0.861 / Physics 0.889 / Chemistry 0.917) Nano Banana Pro 0.876 / GPT-Image-1.5 0.825 / Qwen-Image 0.510 / Z-Image 0.453 比 Nano Banana Pro 整体 +3.5%,并在六个分项中五个第一
MindBench 推理密集图像生成 Overall Accuracy Knowledge 0.59 / Reasoning 0.63 / Overall 0.61 Nano Banana Pro 0.40/0.44/0.41;GPT-Image-1.5 0.22/0.18/0.21;Mind-Brush 0.38/0.24/0.31 Overall 比 Nano Banana Pro 提升 48.8%,比 Mind-Brush 提升约 97%
Gen-Arena 消融(实体级贡献分解) EGIP SCOPE 全量 0.60 / SCOPE w/o repair 0.42 Direct (single) 0.21 / Direct (best-of-3) 0.40 / Self-refine w/o spec 0.39 / SCOPE w/o R&R 0.22 完整 SCOPE 相对 Self-refine w/o spec 提升 21pp;去掉 R&R 退化到 Direct 水平(-38pp)
Gen-Arena 诊断:实体/约束通过率 Entity Pass / Gated Constraint Pass Entity Pass 0.92 / Gated Constraint Pass 0.83 Nano Banana Pro 0.82/0.59;Qwen-Image 0.83/0.49;Z-Image-Turbo 0.84/0.48 实体通过率 +10pp,门控约束通过率 +24pp

局限与改进

作者承认的局限有两点。其一,计算与时延成本:每个实例最多 3 次完整循环,每次循环调用 Decomposer + Synthesizer + Generator + Verifier,必要时还触发检索和推理,相对 one-shot 生成显著增加延迟和 token 消耗;缓解路径指向"自适应早停 + 更精细的技能选择"。其二,验证器依赖:所有修复都由 Verifier 判定结果驱动,误报/漏报会沿生命周期传播——假阴性触发对已正确承诺的不必要修复,假阳性让真正失败被放过。我自己的观察还有四点:(1) 评测环节使用 Gemini 3-Pro 作为官方 evaluator,仍是黑盒模型,存在对自家生成风格偏好的潜在偏差;(2) 推理与检索的具体实现细节(prompt 模板、调用次数)论文未充分披露,复现时易出现 R&R 收益不对齐;(3) Self-refine w/o spec 用 3 次生成预算 EGIP 仅 0.39,但论文未对比"加入强约束但不带承诺追踪"的中间方案;(4) 失败案例主要来自 entity-gate 一票否决,但论文未对失败实体类型分布做统计。

独立分析的弱点

独立分析至少有四个明显可改进的弱点。其一是 Verifier 单点故障:Algorithm 1 整条修复路径完全依赖 Verifier 输出,Table 4 表明 Nano Banana Pro 实体通过率 0.82 与门控约束通过率 0.59 之间存在巨大鸿沟——一旦 Verifier 漏报某条约束,整张图就会错误判 pass;改进方向是引入 ensemble verifier(Gemini + 专用判别器 + 人类抽检三阶段)并做置信度校准。其二是 R&R 资源不可见:检索调用 Google Search API、推理调用 GPT-5.4,论文未给出"R&R 在哪些类别承诺上贡献最大"的细粒度统计;改进方向是把检索缓存到本地向量库并对推理设计早停机制。其三,最长 3 次循环的硬上限是经验值,未给出不同 EGIP 阈值下的最优 budget 曲线;可引入自适应循环数或与 RL 训练的成本-质量权衡结合。其四,Decomposer 的拆解质量本身没有直接评测——若拆解阶段漏掉约束,后续所有技能都无法弥补。

未来方向

作者明确提出的方向有三条:(1) 自适应早停与更精细的技能选择,把每次循环都加上"继续循环的边际收益估计";(2) 改进 Verifier 校准,让验证-修复闭环更鲁棒;(3) 引入更强的语义接地,让检索能直接产出图像参考而非文本证据。基于成果可延伸的方向更多:第一,把 $(E, C, U)$ 规约结构扩展到视频生成与多镜头叙事,使承诺在时间维度上仍可追踪;第二,与 RL/RLAIF 结合——把 EGIP 当作 reward,用 SCOPE 框架生成大量 (prompt, image, EGIP) 三元组微调生成后端,让模型内化承诺级履约能力;第三,把 Gen-Arena 协议开放为开源评测 SDK,让学术界能复用其 1954 实体 / 2533 约束的标注;第四,研究承诺间的耦合关系(如"举手 + 站在中央 + 双手举"是相互制约的),用图神经网络建模承诺拓扑;第五,把 SCOPE 框架迁移到图像编辑、视频续写、3D 生成等场景,验证"承诺级共享规约"这一抽象的通用性;第六,与人类反馈结合——让用户在循环中途编辑规约(增减实体/约束),研究"人机协同承诺管理"的可行性。

复现评估

复现难度中等偏高。论文同时依赖三类外部系统:MLLM 后端 GPT-5.4、图像生成后端 Nano Banana Pro、检索服务 Google Search API,其中 Google Search API 的结果会随时间漂移,是复现差异的主要来源。评测环节进一步引入 Gemini 3-Pro 作为 Gen-Arena 官方 evaluator,端到端复现需要至少 4 份 API key 与稳定的跨服务调用链。算法本身(Algorithm 1)的输入输出描述清晰,Decomposer/Synthesizer/Generator/Verifier 的角色与流程都已形式化,超参数仅"最大尝试数 T=3"与"Gen-Arena 类别分布"两项。硬件层面没有本地训练要求,主要成本是 API 费用。Gen-Arena 数据集包含 300 实例 / 1954 实体 / 2533 约束 / 310 参考图,参考图与提示词公开承诺了,但实体/约束标注的发布形式文中未明确披露。综合来看,核心方法可复现但完整 benchmark 复现依赖多项闭源 API,是"算法可重做、评测难一致"的典型情况。