探查图像编辑模型中的视觉规划能力

把视觉规划重构为单步图像编辑任务EAR，配合AMAZE基准系统评估前沿模型的推理能力。

前置知识

扩散模型

通过迭代去噪过程生成图像的生成模型，从随机噪声出发逐步恢复出清晰图像，全局结构在早期去噪步已确定，再被局部细节精修。

本文核心发现之一是扩散式编辑模型（Bagel）在细调后显著优于自回归模型（Janus-Pro），理解去噪的由粗到细过程对把握该结论至关重要。

自回归图像生成

按光栅扫描顺序逐 token 生成图像 token 的方法，类似语言模型从左到右逐字生成，每步只能看到已生成区域，缺少全局视角。

论文对比两类范式在视觉规划上的差异，自回归的局部偏置正是其落后于扩散模型的根本原因之一。

图像编辑模型

接收输入图像与指令、输出修改后图像的模型，既可基于扩散也可基于自回归；本文把它重新用作单步视觉推理器。

EAR范式完全建立在编辑模型之上，需要理解其工作方式才能理解为什么可以把视觉规划转化为一次原子编辑。

思维链提示（CoT）

让模型先在文本中写出推理过程再生成最终答案的技术，在多模态模型中可拆分为文本思考与图像生成两个独立阶段，前者输出中间推理后者输出最终图。

本文专门比较了带与不带CoT的提示效果，发现零样本下CoT几乎无用、细调后才有边际提升，这是关键实验之一。

AMAZE基准任务

本文提出的程序化生成的视觉规划基准，包含迷宫（连续、局部耦合）与皇后（离散、全局耦合）两类互补任务，剥离视觉识别复杂度以聚焦推理。

AMAZE是论文评测核心，理解它的任务设计与自动评估指标（COVERAGE、VIOLATION、PASS）是看懂实验结果的前提。

研究动机

现有视觉空间推理研究大多走文本路线——把迷宫、导航等问题翻译成语言给LLM推理，或用VLMs配合文本链式思考来处理。然而视觉本质上是空间性的，强行符号化会丢失几何信息。少数纯视觉路线（如Visual Planning）又采用逐步图像生成方式，每一步都要重跑扩散，计算代价高昂——单次推理可能耗时数十秒。另一类端到端直接生成方法则缺乏可解释性。归根结底，人们对当前图像编辑模型是否真正具备内生的视觉规划能力一无所知：是学到了几何逻辑，还是只拟合了局部模式？这是本文要填补的认知空白。

本文的目标是本文提出Editing as Reasoning（EAR）范式，把视觉规划重新表述为单步图像编辑：给定一张包含任务约束的输入图，让编辑模型一次性原子地「画」出完整解，借此探测模型是否真正掌握了空间逻辑。同时构建AMAZE基准，由程序化生成的Maze和Queen两类抽象任务组成，规模从3×3到16×16（迷宫）和4×4到10×10（皇后），并设计自动规则指标（COVERAGE、VIOLATION、PASS）来量化逻辑正确性与像素保真度。最终通过系统的零样本评测、监督细调、跨几何/跨尺度泛化、缩放效应以及人机对比五大实验，全面回答前沿图像编辑模型究竟会不会做视觉规划。

与已有工作不同的是，本文的独特切入角度有三：第一，把视觉规划任务主动剥离到抽象层面（无照片、无语义），让评测聚焦于推理而非识别，规避了VLM评判逻辑正确性失灵的难题，让自动评估指标与人类判断达到98%一致性；第二，利用编辑模型的渐进去噪动力学作为「思考过程」，而不是显式逐步生成或显式文本CoT，兼顾效率与可解释性；第三，引入程序化生成的大规模任务与规则自动评估，相比现有依赖VLM-as-judge的评估范式更可靠，可系统测量模型在不同几何与尺度上的真实规划能力。

核心方法

EAR的核心直觉是：图像编辑模型内部的渐进去噪过程天然具备「由粗到细」的规划能力，这恰好契合视觉推理需要的全局结构先行、局部逐步精修的认知模式。因此不需要让模型显式地一步步画图，也不需要把问题翻译成文字，而是一次性输入「任务图+求解指令」，让模型在内部多步去噪中「思考」，最后输出一张完整解图。直观上，这就像给画家一张未完成的迷宫图，让他凭直觉一次性补完路径——他会在脑海里先大致勾画再细描，而扩散模型的去噪过程正是这种直觉的数学化身。

EAR与传统视觉规划方法的本质区别在于「原子化编辑」：Visual Planning类方法（如Xu et al. 2025）每步生成一张中间图，K步就要K次前向传播；而EAR通过一次完整的去噪链（通常几十步内）即可得到最终解，把规划负载全部转移到扩散动力学内部。这一设计消除了显式逐步建模带来的归纳偏置，让研究者能直接观测编辑模型是否真正内化了空间逻辑——若模型真的「懂」几何，仅靠简单3×3细调就应能泛化到16×16。本文的另一关键创意是AMAZE基准：通过Maze（连续、顺序、局部耦合）与Queen（离散、组合、全局耦合）这对互补任务，分别探测模型的路径搜索能力与全局约束满足能力，覆盖顺序与组合两种基本规划范式。

方法步骤详情

方法实施分四步。第一步是数据集生成：Maze采用DFS与BFS算法生成路径，覆盖圆形、六边形、方形、三角形四种几何，规模3×3到16×16，每种组合50例共2800例；Queen则在4×4到10×10之间随机采样，每规模50例共350例。第二步是模型评估：对每个测试样例用统一提示调用模型5次（Pass@5），同时取首次生成结果（Pass@1），并计算像素MSE区分解区域（MSE-IN）与非解区域（MSE-OUT）。第三步是细调训练：用3×3 Maze（每几何800例）与4-Queen（800例）作为最小训练集，至多8个epoch配早停，训练Bagel（扩散）与Janus-Pro（自回归）两类代表模型。第四步是泛化与缩放实验：分别在固定几何变尺度、固定尺度变几何、变训练数据量（800到6400）、变训练步数（500到1000）四种条件下系统对比，并招募6/12/18岁三组共12名人类被试做时间预算受限的人机对比。所有自动评估均基于规则（路径连通性、Queen不冲突），与人类判断一致性98%。

技术新颖性

技术上新颖性体现在三个方面。其一是评测范式创新：首次把图像编辑模型作为视觉规划能力的探针而非工具，并通过自动规则指标替代不可靠的VLM评判。其二是任务设计创新：AMAZE是首个同时覆盖顺序与组合两类规划范式、又横跨四种几何与多尺度的抽象基准，为视觉推理研究提供受控实验平台。其三是发现层面的新颖性：观察到3×3细调可零样本泛化到16×16迷宫、扩散模型在规划上系统优于自回归、CoT对未细调模型无效但细调后边际有用——这些观察对后续统一多模态架构设计有直接指导意义。

**Figure 3**: Solutions from different denoising steps (t) of a fine-tuned Bagel on Maze (first four rows) and Queen (last row) task.

实验结果

主结果揭示五点核心发现。第一，零样本下前沿专有模型在Maze上最佳Pass@1仅5.40%，GPT-Image-1的Violation率高达62.88%；Queen上除NanoBanana-Pro达到30.35%外，其余近乎为零。第二，扩散式编辑模型显著优于自回归模型：Bagel细调后Maze Pass@1从0%跃升到11.54%、Queen达14.57%；Janus-Pro细调后Maze仅1.43%、Queen 12.57%。第三，CoT在零样本下几乎无帮助，细调后才有边际收益（Maze 11.54%→17.90%）。第四，3×3细调可泛化到16×16 Maze，复杂几何训练更能跨域迁移（如六边形训练后跨域Pass@5达61.14%）。第五，人机对比显示巨大效率鸿沟：Bagel在所有时间预算下表现近乎平坦，而人类6/12/18岁三组均随时间提升成功率，模型表现与6岁组（Queen）和18岁组（Maze）相关性最强。

**Table 1**: Main results (%) on AMAZE, including the Maze and Queen tasks.

**Figure 4**: Zero-shot generalization. Left: PASS@5 matrix for 3 × 3 models. Right: Comparison between 3 × 3 and 8 × 8 training.

**Figure 5**: Generalization across scales for Maze (top) and Queen (bottom) tasks.

**Figure 10**: Correlation between model and human group.

**Figure 11**: Data scaling on cross-domain performance.

**Figure 12**: Joint Scaling of Data and Compute.

查看结构化数据

任务	指标	本文	基线	提升
Maze零样本Pass@1	Pass@1 (%)	Bagel细调 11.54 / Janus-Pro细调 1.43	GPT-Image-1 5.40 / NanoBanana-Pro 4.82 / Seedream-4.5 2.14 / Flux-Kontext-Dev 0.36 / Qwen-Image-Edit 1.43 / Bagel 0.00 / Janus-Pro 0.00	Bagel细调相比最强专有模型NanoBanana-Pro绝对提升6.14个百分点，比零样本Bagel提升11.54个百分点
Queen零样本Pass@1	Pass@1 (%)	Bagel细调 14.57 / Janus-Pro细调 12.57	NanoBanana-Pro 30.35 / GPT-Image-1 0.00 / Seedream-4.5 2.86 / Flux-Kontext-Dev 0.92 / Qwen-Image-Edit 2.86	Bagel细调超过除NanoBanana-Pro外所有模型，但NanoBanana-Pro疑似训练数据泄漏；扩散vs自回归差距2个百分点
Maze跨尺度泛化	Pass@5 (%)	3×3细调泛化到16×16仍非平凡（具体见论文曲线）	3×3细调模型在域内3×3表现	随尺度提升Violation率上升但保持结构有效；8×8细调在16×16上保持低Violation（曲线显示）
Maze跨几何泛化	Pass@5 (%)	六边形训练模型：三角测试40.14 / 方形30.00 / 圆形22.43	圆形训练模型：三角16.28 / 方形8.29 / 六边形1.29	复杂几何（六边形）训练后跨域泛化能力远超简单几何（圆形），绝对提升最高达约30个百分点
数据缩放效应	Pass@5 (%)	8×8六边形Maze从N=800到6400：65.2%→68.1%后饱和；7-Queen从800到1600提升10.3个百分点	N=800基线	Maze数据缩放边际效应小，Queen组合任务对数据多样性更敏感

局限与改进

作者坦诚的局限包括两点。其一，编辑模型在视觉规划上仍远逊人类：单次「画图」约7.5秒的Bagel在所有时间预算下表现近乎平稳，而人类尤其是18岁组在225秒内可达到7-Queen完美；揭示出当前架构缺乏人类的内在空间归纳偏置。其二，跨尺度泛化在Queen上需要更大训练规模（如7×7）才能获得非平凡泛化，4×4训练反而只学会死记硬背。从我观察看，论文还存在几个潜在局限：一是评估仅限抽象任务，未触及真实场景（如机器人导航、UI操作），外部效度有限；二是细调训练成本（每个模型至多8 epoch）未充分报告，对算力门槛的讨论不够；三是失败模式分析（图8）仅给出定性展示，缺乏按几何/规模的定量归因；四是实验仅考察生成式编辑模型，未对比判别式VLM或多步VLA范式，缺少更全面的基线。

独立分析的弱点

独立分析可见四个弱点。弱点一：抽象任务的纯几何特性虽然隔离了识别因素，但也意味着结论能否迁移到含语义的现实规划任务（如导航、装配）未知；建议增加半合成任务，在保留几何结构的同时引入物体语义。弱点二：扩散模型优势的解释仅是假设（去噪的全局结构感知），缺乏因果验证；可通过对比不同去噪步数（如10步vs1000步）下模型的规划能力，或对比非扩散统一模型来验证。弱点三：评测仅用Pass@5和像素MSE，对「接近正确」的解答（如差一格路径）缺乏中间度量，建议增加编辑距离类指标；这样能更好刻画模型的渐进改进能力。弱点四：人机对比样本量较小（每组仅4人、每难度4题），统计效力有限；扩大样本并增加成人专家组与LLM基线（如纯文本CoT+视觉提示）会更具说服力。

未来方向

作者在结论中暗示的方向是把EAR扩展到更广义的视觉智能，包括真实场景的导航、UI操作等。基于本文成果可延伸的研究至少包括：其一是规划过程的可解释化，既然扩散模型在中间去噪步已隐含规划轨迹（如图3所示），可设计可视化工具或从中提取符号规划以辅助可解释AI；其二是结合显式符号推理（LLM）与EAR，让LLM先生成高层子目标，再由编辑模型完成子任务；其三是把AMAZE扩展为时序或3D任务，测试模型在动态规划和三维空间上的能力；其四是探索无监督或自监督的规划能力获取，减少对细调标注的依赖；最后是把EAR部署到具身智能体（如机械臂、无人机），验证其在真实反馈循环中的可用性。

复现评估

可复现性整体良好。AMAZE数据由程序化生成（Maze用DFS/BFS加四类几何模板，Queen用随机采样），代码与数据预计随论文开源（项目页spatigen.github.io/amaze.io与代码库github.com/spatigen/amaze）。被评测的7个模型中，4个开源（Bagel、Janus-Pro-7B、Flux-Kontext-Dev、Qwen-Image-Edit）可在HuggingFace获取，3个专有（GPT-Image-1、NanoBanana-Pro、Seedream-4.5）通过API调用。训练方面，作者在单卡NVIDIA RTX 5090上细调Bagel与Janus-Pro，800-6400样本、500-1000步即可复现，规模适中。主要复现难点在于：（1）细调过程的超参与学习率未完全公开；（2）自动评估依赖路径连通性与冲突检测的具体实现，需要对照附录描述仔细复刻；（3）人机对比部分涉及伦理审查与被试招募，难以严格复现。整体而言，方法主体可在数天内由熟悉PyTorch加Diffusers的研究者复现。

探查图像编辑模型中的视觉规划能力 Probing Visual Planning in Image Editing Models