SCOPE:通过结构化分解与条件式技能编排实现复杂图像生成 SCOPE: Structured Decomposition and Conditional Skill Orchestration for Complex Image Generation
用结构化规约贯穿生成流程,按承诺状态条件调用检索/推理/修复,解决图像生成的概念鸿沟。
前置知识
Semantic Commitments(语义承诺)
指用户提示中图像必须满足的语义条件,按粒度拆为实体(需要出现的人物/物体/场景)、约束(属性/关系/布局)和未知(待外部证据或推理补全)。每条承诺都是可验证、可定位的最小语义单元,例如"Nouran Gohar 双手举银杯"。
SCOPE 的核心抽象是把承诺当作贯穿生成生命周期的统一单位;没有这种结构化拆解,就无法理解为何传统 agent 在多步操作后会出现承诺丢失、错误归因、修复错位的问题。
Conceptual Rift(概念鸿沟)
本文提出的诊断概念,描述承诺在 grounding、generation、verification 多个阶段中虽被局部处理过,却不再作为同一可识别单元保持连续性的现象。检索结果、验证判定、修复目标可能指向不同承诺,造成生成结果稀释、错误归因错位。
这是 SCOPE 立论的核心——已有 agent 框架做了检索/规划/反思,但因中间表示与单次干预绑定而无法跨阶段保持承诺同一性,理解概念鸿沟才能明白为何需要把承诺显式编码到规约里。
Structured Semantic Specification(结构化语义规约)
SCOPE 用三元组 $z = (E, C, U)$ 表示演化中的承诺规约:$E$ 是目标实体,$C$ 是属性/关系/布局约束,$U$ 是未决信息;每个未知都关联到 prompt/实体/约束层级的所有者。规约随检索/推理/验证/修复结果持续更新,但每条承诺保持稳定身份。
这是 SCOPE 与已有方法的本质差异点——把规约做成共享接口,让所有技能围绕同一组可识别承诺工作;没有这个接口,技能调用就退化为各自独立的局部干预。
Entity-Gated Intent Pass Rate(EGIP)
Gen-Arena 的实体门控通过率,$\mathrm{EGIP}=\frac{1}{N}\sum_i(\prod_e s_e^{(i)})(\prod_c s_c^{(i)})$,$s_e, s_c\in\{0,1\}$。任一实体缺失/错误整实例直接 FAIL;只有实体全通过才检查约束。
EGIP 是评测创新点——揭示了 holistic 评分看不到的级联失败:Nano Banana Pro 实体通过率 0.82 但 EGIP 只有 0.21,因为级联错误使大量实例被一票否决。
研究动机
现有文生图方法在复杂视觉意图上频繁失败,根因不是画得不够像,而是用户细粒度要求无法被一致兑现。以论文示例 prompt 为例:"Nouran Gohar 站中央颁奖台、双手举银杯;Hania El Hammamy 站右侧面向她鼓掌;金奖牌挂在 Gohar 颈上;背景有观众、灯光、彩带"——含至少 5 实体、6 条相互耦合的原子约束,任何实体缺失或属性错误都会让整图判失败。Table 4 给出直接生成的现状:Nano Banana Pro 实体通过率 0.82 但 EGIP 仅 0.21;Qwen-Image 0.83/0.02;Z-Image-Turbo 0.84/0.01——绝大多数实例至少有一个错误实体把整图带崩。诊断:当前 agent 类工作(Mind-Brush、Reflect-DiT、World-to-Image、IA-T2I 等)虽引入检索、推理、反思等多步干预,但中间表示只服务于单次技能——同一承诺被检索解决、被验证检查、被反思修订,可操作的内部对象不再是同一承诺,造成生成目标稀释、错误归因错位、修复动作失准,这就是论文强调的 Conceptual Rift。
本文的目标是本文的具体目标是提出一个"承诺贯穿全流程"的生成框架,让每条用户需求从拆解到最终像素都能保持可识别、可验证、可操作的同一性。技术目标有三:第一,把提示显式拆成 $(E, C, U)$ 三元组规约并以它作为跨阶段共享接口;第二,对规约中尚未解决或已被违反的承诺,按需条件调用检索(缺外部证据时)、推理(隐含需求未定型时)、修复(生成已偏离时)三类技能;第三,构造一个新的评测基准 Gen-Arena(300 实例、1954 实体、2533 约束、310 参考图)和严格的 EGIP 指标,把"承诺级"评估落地到产业可用水平。最终希望在 Gen-Arena 上把 EGIP 从基线 0.21 提到 0.60,并在 WISE-V、MindBench 等外部基准上同时取得领先。
与已有工作不同的是,本文的独特切入角度是把"中间表示"从"为单次干预服务"改为"为承诺持续服务"。已有工作大致分三类改进路径:强化用户请求理解(T2I-Copilot、GenPilot、PromptSculptor、VisualPrompter)、引入检索/事实证据(World-to-Image、Gen-Searcher、Mind-Brush、IA-T2I、Unify-Agent)、加反思/反馈(Reflect-DiT、Interleaving Reasoning、CReA、Iterative Refinement、Self-refine)。这些方法各自证明了多步介入的价值,但作者通过概念鸿沟这把手术刀诊断出它们的共同病灶:中间表示与单次干预强绑定,无法跨阶段保持承诺同一性。SCOPE 的解药是把规约 $z=(E,C,U)$ 做成跨阶段不变的共享接口,并在每条承诺上挂一个明确的"所有者",让检索证据、推理结果、验证判定、修复目标都能写回同一个条目、再被下一阶段准确读出。这与 XSkill/GEMS 等技能库工作形成互补:SCOPE 不去构建技能本身,而是把技能如何围绕承诺调用做出可推理的设计。
核心方法
SCOPE 的整体思路可以一句话概括:把用户提示变成一张持续演化的"承诺账本",让生成、验证和技能调用都围绕账本里的同一批条目展开。直觉上,作者把图像生成看作一场分阶段履约:先用 Decomposer 把 prompt 拆成规约 $z_0=(E_0,C_0,U_0)$,再用 Synthesizer 把规约压成可用的生成提示 $s_t$,让 Generator 出图 $y_t$,让 Verifier 逐条判定 $R_t=\{r_i^{(t)}\}_{i\in I}$;规约里只要还有未解决承诺或失败判定,就条件触发检索、推理、修复技能,并把结果写回同一规约。技术路线是 Decomposer→Synthesizer→Generator→Verifier 的核心循环,外加三类技能的条件调用:检索用于补外部事实/参考身份,推理用于补隐含前提,修复用于修订已被违反的承诺。最大生成尝试次数为 3,每次失败按"未决 vs 已违反"分流到不同技能。
核心创新点是"把规约作为共享接口,让所有技能围绕承诺而非任务来调度"。与已有 agent 框架的本质区别在于:Mind-Brush、Reflect-DiT 等方法把检索/推理/反思当作固定流水线,每步只关心"我这一步要做什么";SCOPE 则把每条承诺当作一个独立的工作单元,技能是否调用、调用哪个、写回到哪条承诺,全部由当前规约的承诺状态(未决、已通过、已违反)决定。第二个关键差异是承诺粒度——约束被进一步分为属性约束(身份、外观、数量、可见文字)、关系约束(实体间交互/语义关系)、布局约束(位置与场景环境),并显式链接到所属实体,从而支持 EGIP 这种"实体先决、约束门控"的级联评测。第三个差异是把承诺的所有者信息(prompt 层级/实体层级/约束层级)写进规约,让检索和推理的产出能精确更新对应的承诺条目,又让验证失败能被反向定位到同一批承诺条目上。
方法步骤详情
完整算法见 Algorithm 1 共七步。第一步 DECOMPOSE:把提示 p 拆为初始规约 z0=(E0, C0, U0),E0 列实体,C0 按属性/关系/布局标注约束并链接实体,U0 收集未知并标注所有者。第二步循环 t=1..T(T=3):zt ← z(t-1)。第三步遍历未解决 u∈Ut:需外部证据则 RETRIEVE(u),否则 REASON(u, zt),再 UPDATESPEC 回写。第四步 SYNTHESIZEPROMPT(zt) 生成提示 st。第五步 GENERATE(st) 出图 yt。第六步 VERIFY(yt, zt) 对 I=E∪C 逐条判定 Rt={(vi(t), reasoni)};全 pass 则提前返回。第七步 MAPFAILURES+分流:暴露新未决则 ADDUNKNOWN 回到第三步;否则 REPAIR(zt, i, yt) 按失败范围在 prompt rewriting / local edit / regeneration 中选择,结果写回规约再进入下一轮。
技术新颖性
技术新颖性体现在四个层面。其一,把"Conceptual Rift"形式化为承诺生命周期不连续问题,并把解药落实到一张带所有权的演化规约上——这是已有 agent 论文中没有显式建模的。其二,技能从"固定流水线步骤"升级为"按承诺状态的条件调用":检索、推理、修复三技能按 $\text{Unresolved}(u)$ 与 $\text{Violated}(i)$ 两类条件各自路由,每次调用都把结果写回同一条承诺,实现承诺级闭环。其三,引入三类约束细粒度切分(属性/关系/布局)并显式链接到所属实体,使 EGIP 这种"实体先决"的级联评测成为可能——Table 4 揭示 Nano Banana Pro 实体通过率 0.82 但 EGIP 仅 0.21 的断崖。其四,提出 Gen-Arena 基准:300 实例、1954 实体、2533 约束、310 参考图,覆盖六类场景,配套 Gemini 3-Pro 作为官方 evaluator,要求有参考图的实体"对照参考而非仅凭文字"判定。
实验结果
Gen-Arena(Table 1)显示 SCOPE 整体 EGIP 0.60,比 Nano Banana Pro 0.21 高 39pp;六子类 EGIP 0.46-0.74。所有开源基线 EGIP 几乎为零。外部基准(Table 2):WISE-V WiScore 0.907 超 Nano Banana Pro 0.876 约 3.5%,六分项五个第一;MindBench 整体 0.61/Knowledge 0.59/Reasoning 0.63,相对 Nano Banana Pro 提升 48.8%。消融(Table 3):Direct 0.21/best-of-3 0.40/Self-refine 0.39/SCOPE w/o R&R 0.22/SCOPE w/o repair 0.42/SCOPE 全量 0.60——无 R&R 退化为 Direct(-38pp),自由文本质反思无法替代带规约的修复(0.42→0.60)。诊断(Table 4):SCOPE 实体 0.92、门控约束 0.83、EGIP 0.60,真正贡献是把承诺贯穿从源头降低实体到约束的级联失败。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Gen-Arena 复杂图像生成 | EGIP(实体门控通过率) | 0.60(cartoon 0.52 / game 0.46 / sports 0.72 / entertainment 0.62 / competition 0.52 / ceremony 0.74) | Nano Banana Pro 0.21 / Qwen-Image 0.02 / Z-Image-Turbo 0.01 / FLUX.1-dev 0.01 / SD-3.5-large 0.00 | 比 Nano Banana Pro 提升 39 个百分点;所有开源基线 EGIP≈0 |
| WISE-V 知识密集图像生成 | WiScore(整体) | 0.907(Culture 0.883 / Time 1.000 / Space 0.944 / Biology 0.861 / Physics 0.889 / Chemistry 0.917) | Nano Banana Pro 0.876 / GPT-Image-1.5 0.825 / Qwen-Image 0.510 / Z-Image 0.453 | 比 Nano Banana Pro 整体 +3.5%,并在六个分项中五个第一 |
| MindBench 推理密集图像生成 | Overall Accuracy | Knowledge 0.59 / Reasoning 0.63 / Overall 0.61 | Nano Banana Pro 0.40/0.44/0.41;GPT-Image-1.5 0.22/0.18/0.21;Mind-Brush 0.38/0.24/0.31 | Overall 比 Nano Banana Pro 提升 48.8%,比 Mind-Brush 提升约 97% |
| Gen-Arena 消融(实体级贡献分解) | EGIP | SCOPE 全量 0.60 / SCOPE w/o repair 0.42 | Direct (single) 0.21 / Direct (best-of-3) 0.40 / Self-refine w/o spec 0.39 / SCOPE w/o R&R 0.22 | 完整 SCOPE 相对 Self-refine w/o spec 提升 21pp;去掉 R&R 退化到 Direct 水平(-38pp) |
| Gen-Arena 诊断:实体/约束通过率 | Entity Pass / Gated Constraint Pass | Entity Pass 0.92 / Gated Constraint Pass 0.83 | Nano Banana Pro 0.82/0.59;Qwen-Image 0.83/0.49;Z-Image-Turbo 0.84/0.48 | 实体通过率 +10pp,门控约束通过率 +24pp |
局限与改进
作者承认的局限有两点。其一,计算与时延成本:每个实例最多 3 次完整循环,每次循环调用 Decomposer + Synthesizer + Generator + Verifier,必要时还触发检索和推理,相对 one-shot 生成显著增加延迟和 token 消耗;缓解路径指向"自适应早停 + 更精细的技能选择"。其二,验证器依赖:所有修复都由 Verifier 判定结果驱动,误报/漏报会沿生命周期传播——假阴性触发对已正确承诺的不必要修复,假阳性让真正失败被放过。我自己的观察还有四点:(1) 评测环节使用 Gemini 3-Pro 作为官方 evaluator,仍是黑盒模型,存在对自家生成风格偏好的潜在偏差;(2) 推理与检索的具体实现细节(prompt 模板、调用次数)论文未充分披露,复现时易出现 R&R 收益不对齐;(3) Self-refine w/o spec 用 3 次生成预算 EGIP 仅 0.39,但论文未对比"加入强约束但不带承诺追踪"的中间方案;(4) 失败案例主要来自 entity-gate 一票否决,但论文未对失败实体类型分布做统计。
独立分析的弱点
独立分析至少有四个明显可改进的弱点。其一是 Verifier 单点故障:Algorithm 1 整条修复路径完全依赖 Verifier 输出,Table 4 表明 Nano Banana Pro 实体通过率 0.82 与门控约束通过率 0.59 之间存在巨大鸿沟——一旦 Verifier 漏报某条约束,整张图就会错误判 pass;改进方向是引入 ensemble verifier(Gemini + 专用判别器 + 人类抽检三阶段)并做置信度校准。其二是 R&R 资源不可见:检索调用 Google Search API、推理调用 GPT-5.4,论文未给出"R&R 在哪些类别承诺上贡献最大"的细粒度统计;改进方向是把检索缓存到本地向量库并对推理设计早停机制。其三,最长 3 次循环的硬上限是经验值,未给出不同 EGIP 阈值下的最优 budget 曲线;可引入自适应循环数或与 RL 训练的成本-质量权衡结合。其四,Decomposer 的拆解质量本身没有直接评测——若拆解阶段漏掉约束,后续所有技能都无法弥补。
未来方向
作者明确提出的方向有三条:(1) 自适应早停与更精细的技能选择,把每次循环都加上"继续循环的边际收益估计";(2) 改进 Verifier 校准,让验证-修复闭环更鲁棒;(3) 引入更强的语义接地,让检索能直接产出图像参考而非文本证据。基于成果可延伸的方向更多:第一,把 $(E, C, U)$ 规约结构扩展到视频生成与多镜头叙事,使承诺在时间维度上仍可追踪;第二,与 RL/RLAIF 结合——把 EGIP 当作 reward,用 SCOPE 框架生成大量 (prompt, image, EGIP) 三元组微调生成后端,让模型内化承诺级履约能力;第三,把 Gen-Arena 协议开放为开源评测 SDK,让学术界能复用其 1954 实体 / 2533 约束的标注;第四,研究承诺间的耦合关系(如"举手 + 站在中央 + 双手举"是相互制约的),用图神经网络建模承诺拓扑;第五,把 SCOPE 框架迁移到图像编辑、视频续写、3D 生成等场景,验证"承诺级共享规约"这一抽象的通用性;第六,与人类反馈结合——让用户在循环中途编辑规约(增减实体/约束),研究"人机协同承诺管理"的可行性。
复现评估
复现难度中等偏高。论文同时依赖三类外部系统:MLLM 后端 GPT-5.4、图像生成后端 Nano Banana Pro、检索服务 Google Search API,其中 Google Search API 的结果会随时间漂移,是复现差异的主要来源。评测环节进一步引入 Gemini 3-Pro 作为 Gen-Arena 官方 evaluator,端到端复现需要至少 4 份 API key 与稳定的跨服务调用链。算法本身(Algorithm 1)的输入输出描述清晰,Decomposer/Synthesizer/Generator/Verifier 的角色与流程都已形式化,超参数仅"最大尝试数 T=3"与"Gen-Arena 类别分布"两项。硬件层面没有本地训练要求,主要成本是 API 费用。Gen-Arena 数据集包含 300 实例 / 1954 实体 / 2533 约束 / 310 参考图,参考图与提示词公开承诺了,但实体/约束标注的发布形式文中未明确披露。综合来看,核心方法可复现但完整 benchmark 复现依赖多项闭源 API,是"算法可重做、评测难一致"的典型情况。
论文图表