新时代视觉生成:从原子映射到智能体世界建模的演进 Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling
提出五级视觉智能分类法,系统梳理视觉生成从单步渲染到世界模拟的演进路线。
前置知识
扩散模型与流匹配
扩散模型通过反向去噪把噪声逐步映射到数据;流匹配直接学习噪声与数据间的速度场,目标 $\mathcal{L}_{FM}=\mathbb{E}\|v_\theta-(x_1-x_0)\|^2$,沿更直 ODE 路径积分几步即可生成。
本文主体围绕扩散→流匹配的范式转移展开,所有现代模型(SD3/FLUX/Qwen-Image 等)都基于该基础;不理解 ODE 积分和速度场就难以跟上后文架构对比。
Transformer 与 MM-DiT 架构
现代生成模型用 Vision Transformer 替代 U-Net;DiT 用 AdaLN 把时间条件注入;MM-DiT(SD3)为文本和图像 token 维护双流权重并通过联合注意力交换信息,是当下工业级文生图系统的事实标准。
论文第 3 章对比 DiT、MM-DiT、S3-DiT、SSM(OmniMamba)等骨干,并对 AdaLN/交叉注意力/In-Context 三种条件注入路线做系统比较,是阅读架构部分的核心词汇。
视觉语言模型与统一多模态
VLM/MLLM 把图像理解与生成放在同一 token 流下训练,典型如 Transfusion、MonoFormer、BLIP3o-NEXT、BAGEL、Janus-Pro;理解它们如何融合 AR 与扩散目标是把握 L3/L4 能力的关键。
本文多次强调「生成与编辑正坍缩到同一架构」,这一判断几乎完全建立在统一多模态模型的基础之上。
智能体(Agent)闭环与世界模型
智能体指在环境中根据观察动态决策、可调用工具、能自我验证并能终止的 LLM/MLLM;世界模型进一步要求生成过程内化物理因果,能根据动作预测下一状态,常与强化学习结合用于机器人或自动驾驶仿真。
L4/L5 智能体与世界建模是本文核心前沿概念;理解「plan–render–verify」循环、reward model、visual chain-of-thought 才能抓住该领域路线图。
VQ/VAE 表征与 tokenizer
生成不能直接在像素空间进行,需要先压缩:连续潜变量(VAE)是扩散主流;离散 token(VQ-VAE/RVQ)便于自回归;SSL 特征(RAE/SVG)把 DINOv2、CLIP 等冻结表征当作生成空间。
Section 3.2.1 把 tokenizer 选择列为主流之争,决定了骨干能用 AR 还是扩散,也是理解 Wan-Image、LongCat-Next 等闭源差异的关键。
研究动机
近两年视觉生成模型在 FID、CLIP-Score 和单轮 prompt-following 上已经接近「照片级」,Nano Banana、GPT-Image-2、Qwen-Image、Z-Image 等前沿系统在长 prompt 理解、字体渲染、参考图编辑、多轮编辑上也有长足进步,但作者团队发现这些模型仍然系统性地败在拼图式空间重构、多步骤状态编辑、跨帧身份保持、物理推理和具身预测等任务上:例如地铁拓扑图生成看似精美但 4 条线路在中心站的换乘关系违反 prompt,又如多轮编辑中第二、三轮就会出现未被指令改动的面部表情漂移。论文统计了 411 篇 2015 年后的参考文献,其中 2025 年一年就贡献 188 篇(45.7%),反映学术界已意识到「像素越清晰≠视觉越智能」——传统基于感知质量的评测无法揭示结构性、时间性与因果性短板。
本文的目标是论文的总体目标是提出一个能力导向(capability-oriented)的分类法,把当下碎片化的视觉生成研究重新组织成一条从单步渲染走向「智能视觉生成(Intelligent Visual Generation)」的轨迹,回答「模型在变『更聪明』究竟是在变什么」。具体目标包括:(1)提出 L1-L5 五级视觉智能分类法,统一命名 Atomic/Conditional/In-Context/Agentic/World-Modeling Generation;(2)系统综述驱动这一演进的底层技术——扩散→流匹配、统一多模态、改进的视觉表征、SFT 与偏好对齐、奖励模型、大规模数据蒸馏、采样加速与蒸馏;(3)组织应用谱系;(4)设计「压力测试」暴露现有评测过度乐观的盲区。
与已有工作不同的是,现有综述多以架构家族(GAN/Diffusion/AR)或任务(文生图/编辑/视频)分类,难以传达「能力维度」上的差异;并且高度依赖 FID、CLIP-Score 等感知指标,无法区分「生成器」与「世界模拟器」。本文的独特切入角度是用两条操作轴(单次前向能吸收多少条件、是否需要外部控制器统筹多次生成)把视觉生成从「被动渲染」切到「目标驱动、物理信息驱动的视觉智能」,并通过与 OpenAI 五级 AI 路线图类比,使 L1-L5 与通用 AI 阶段对齐;同时第 7 章用 30+ 个专家约束的真实案例(地铁图、拼图、等距瓷砖图、Gaokao 物理题、多轮漫画编辑等)作为「嵌入式探针」,把 benchmark 之外的失败模式定位回分类层级——这是其他综述很少提供的「评测反例库」。
核心方法
本文是 roadmap/survey,本身不提出新的算法模型,而是把近 5 年视觉生成领域的研究沿「能力提升」的轴线重新组织成一套五级分类法,并配套一个「基准 + 压力测试」评估框架。方法路线可以概括为「先建坐标系,再装填内容」:先用 4 个能力维度(可控性、上下文连贯性、闭环智能体性、因果建模)切出 L1-L5 五级,再在每一级下归纳代表方法、核心挑战和 AI 对应阶段;接着沿着模型(Section 3)、训练与推理(Section 4)、数据与基础设施(Section 5)、应用(Section 6)四条线索分别把前沿方法挂到分类层级上;最后用「压力测试」(Section 7)做反向校准:让 GPT-Image-2 和 Nano Banana 跑拼图、地铁图、等距瓷砖图、Gaokao 物理题、人脸遗传等任务,把模型实际能力回填到分类表中。整篇文章本质是「以分类法为骨架、以压力测试为肌肉」的研究图谱。
核心创新点是「以能力而非架构/任务分类」,并把五级分类法与「单次前向 vs. 外部控制器」这条操作性边界绑死。L1-L3 都是一次前向,区别在于输入上下文从「无」到「单一条件」再到「富上下文(多参考、多轮历史、推理 trace)」;L4 引入外部控制器把多次前向串成 plan-render-verify 闭环;L5 要求生成内化物理因果,使动作干预能得到符合物理的结果。这与已有综述的差别在于:以往 GAN/Diffusion/AR 综述只回答「用什么生成」,本文回答「这个生成器的智能到了哪一层」;同时第 7 章的 30+ 个真实案例把 benchmark 之外的能力边界具象化,例如地铁拓扑图生成耗时 13m15s 思考但仍违反 prompt,而验证同一图的 GPT-5.5 仅用 9 秒就能指出所有错误——这种「生成与验证难度不对称」的发现是本文独有的实验观察。
方法步骤详情
论文「方法」实为研究方法,可拆为五步。步骤 1:构建坐标系——用 4 个能力轴(可控性、上下文连贯性、闭环智能体性、因果建模)和 2 条操作边界(单次前向 vs. 控制器)把视觉生成切成 L1-L5 五级,Table 1 给出每级定义、代表方法、关键挑战。步骤 2:填充分类——Section 3 综述 GAN/Diffusion/Flow Matching/AR/Hybrid 五种范式与 Encoder/Backbone/Condition/Fusion 四类组件,Table 2 把代表模型按目标/骨干/表征/条件打勾。步骤 3:训练追溯——Section 4 拆解为预训练、SFT+RLHF、奖励建模、采样加速、蒸馏三阶段。步骤 4:数据基础设施——Section 5 提出五阶段流水线,Figure 12 排布 30+ 数据集。步骤 5:反向校准——Section 7 设计 8 个维度把每个真实案例对应回 L1-L5,Section 8 给出 vCoT、Closed-Loop Agents、Agentic Generation、合成数据自博弈、世界模拟五大前沿。
技术新颖性
技术新颖性体现在三方面。第一,分类法本身的设计选择:用「单次前向 vs. 控制器」而非「图像质量 vs. 视频质量」做主切分轴,因此能把多轮编辑(每轮仍是单次前向)和智能体(带外部 plan-verify)放在 L3/L4 边界上做精细区分,这一点比纯架构分类更贴近期刊读者关心的能力维度。第二,反向评测范式:把 30+ 个真实任务(拼图、地铁图、Gaokao 物理题、漫画分镜、化妆前后对比、X 光、去雨等)当作「嵌入式探针」,每一个都对应到 Section 2 的某一层,这种「能力→案例→失败模式」三段式比单纯列 benchmark 数字更能呈现模型真实边界。第三,「生成与验证不对称」的发现:在地铁图案例里 GPT-Image-2 思考 13 分 15 秒仍生成违反 prompt 的图,而 GPT-5.5 只用 9 秒就能把违反项全部找出——这种量化对比在以往 survey 中很少出现,可作为 L4 智能体工作流的关键论据。论文还提出用 `f(I_{t-1}, p_t)` 的 Markovian 短视链解释多轮编辑漂移,把工程现象上升为分析框架。
实验结果
论文不做单一基准实验,但通过压力测试给出可量化发现。(1)拼图(Figure 15):Nano Banana 不能完成刚性几何约束,只复原语义并用先验「幻觉」纹理。(2)地铁图(Figure 16b):GPT-Image-2 思考 13m15s 仍把四线枢纽画成三线,GPT-5.5 用 9 秒就能识别全部违反项。(3)多轮漫画(Figure 24):每轮只画一个分镜,T2 时左上角女孩表情已与 T0 不一致。(4)人脸遗传(Figure 26):最小 prompt 触发 compositional shortcut,加 blending cue 后得到符合显性/隐性遗传的混合脸。(5)Gaokao 物理题(Figure 23):最终 $F_A=0.18\,\text{N}$、$m\approx0.035\,\text{kg}$、$\mu\approx0.111$、$s\approx0.666\,\text{m}$ 自洽,但 trace 反复重访同一子问题。(6)低层视觉:模型改善视觉但与 GT 比对显示「细节幻觉」。(7)411 篇文献中 2025 年独占 188 篇(45.7%)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Publication trend (post-2014 references) | Annual paper count & cumulative growth | 411 篇总计;2025 年 188 篇(45.7%),2014-2024 长期低基数后呈指数式上升 | 未引用具体基线;指出 2022 年起出现拐点 | N/A(综述类统计指标) |
| Frontier tech-report parameter & token scale | Tokens / parameters | Wan-Image 13.27T tokens 仅用于生成预训练;HunyuanImage 3.0 64-expert MoE(80B total / 13B active);LongCat-Next 68.5B total / ~3B active,配 8×16,384 RVQ tokenizer;FireRed-Image-Edit 把 1.6B raw 压到 100M(~6% retention) | Z-Image 6B 与 LongCat-Image dense 设计 | Z-Image 6B 以 caption + 数据整理在多项指标上对标 20B+ 模型;caption pipeline 升级成为主要杠杆 |
| Multi-turn editing pixel fidelity (Nano Banana) | Cumulative drift across 4 turns | T1 起出现 JPEG-like 噪声;T2 时左上女孩面部表情与 T0 不一致;T3 时所有早期 panel 出现文字/线条漂移 | 无对照;定性对照 f(I_{t-1}, p_t) Markovian 链假设 | 需要 explicit non-edit mask + copy-paste fallback,或 agentic history-aware 控制器 |
| Topological consistency (Metro Map, GPT-Image-2) | Constraint violations | 思考 13m15s 后仍违反:(a)中心枢纽只接 3 条线(要求 4 条);(b)红蓝线仅交叉一次(要求 2 次且只共享 1 站);(c)黄线分支位置错误 | GPT-5.5 用 9 秒的 post-hoc 验证即可识别全部违反项 | 生成耗时比验证高 ~88 倍,体现「生成-验证难度不对称」 |
| Physics problem (Gaokao EM induction, Nano Banana) | Solution numerical consistency | 最终输出 $F_A=0.18\,\text{N}, m\approx0.0352\,\text{kg}, \mu\approx0.111, s\approx0.666\,\text{m}$ 数值自洽 | 推理 trace 反复重访「杆与框速度关系」「摩擦类型判断」等子问题 | VLM-first, renderer-second 流水线在数字一致性上可达,但 trace 仍脆弱冗长 |
| Low-level vision (Set5/LOL/BSD68/Rain100H/GoPro) | Perceptual quality vs. ground-truth fidelity | 超分、去噪、去雨、去模糊、低光增强均显著改善视觉;但与 GT 比对显示大量细节重画而非严格反演 | 传统逆问题解算器(不在本文评测范围内) | 感知质量可立即可用,但 reconstruction fidelity 仍不及专用模型 |
局限与改进
作者在多个位置坦承局限性。最显式的局限是评测偏差:411 篇文献全部是 2026 年 6 月前的论文,时效性只能保证到 v2 截止;前沿模型如 Nano Banana、GPT-Image-2 几乎闭源,paper 内部的「嵌入式探针」严格说不能算作 benchmark。技术层面,论文承认「VLM-first, renderer-second」流水线目前无法可靠维持稳定的符号工作空间(Gaokao 物理题 trace 反复重访同一子问题)、多轮编辑存在结构性 VAE 累计误差(Figure 24)、超分/去噪/去雨等任务更接近「按先验重画」而非严格信号恢复、世界模型在极端机动下物理因果性不可靠(驱动仿真、微操抓取仍可能违反力学)。作者自己的观察还包括:闭源模型与开源模型在同 prompt 下输出不可复现、stress test 的失败模式有可能只是 prompt 工程问题而非模型能力上限,以及 benchmark 数字仍会过度乐观地反映「平均场景」下的能力。
独立分析的弱点
本文作为 roadmap 而非算法论文,弱点主要在「方法论」层面。第一,分类边界模糊:L3 与 L4 的划分对闭源系统几乎不可观测,论文也承认这是「probe vs. method」的根本性歧义。第二,压力测试样本量太小:每个维度只有 1-2 个真实案例,缺乏统计显著性,更接近「demonstration」而非「evaluation」。第三,对训练数据蒸馏的「闭环风险」讨论偏弱:仅 Z-Image 一家公开拒绝蒸馏,但 91K 蒸馏样本即可匹敌数百万网络数据这一关键数字背后隐藏的能力天花板/版权问题没有充分展开。第四,L5「世界模型」部分最关键的实验——动作忠实性评测——只给了概念性论述,没有给出可复现 benchmark。改进方向:作者应提供每个 stress test 的 prompt、输入图、模型版本与随机种子,并开发统一的图-文-物理综合 benchmark。
未来方向
作者把未来研究拆成 5 条路线。其一是 vCoT:让模型先输出文本 trace 或 layout sketch 再出像素,代表 ReasonGen-R1、X-Planner;硬组合约束场景最有用。其二是 Closed-Loop Visual Agents:把生成降级为 action 并引入 verifier 做 plan-render-verify 循环,代表 GEMS、Gen-Searcher;核心是 compounding error 与延迟成本权衡。其三是 Agentic Visual Generation:把生成重写为 goal-conditioned task execution。其四是 Synthetic Data 与 Self-Play:区分 frontier-model distillation(91K 匹敌数百万)、reward-model RL、strict self-play。其五是 World Simulation:把 Genie 2/GameNGen 从 demo 推到 production;WorldReasonBench 把动作忠实性变成可测指标。
复现评估
可复现性评估分两层。第一层是论文自身:项目页 github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation,每个 Figure 注明 Nano Banana 或 GPT-Image-2;但因主要依赖闭源 API,同一 prompt 输出可能漂移,stress test 无法严格复现;论文声明「preprint and an evolving roadmap」。第二层是被综述方法:411 篇文献大部分 2025 年后才发表(45.7% 集中于 2025),工业级系统如 HunyuanImage 3.0(80B MoE)、LongCat-Next(68.5B/~3B active)、Wan-Image(13.27T tokens)单卡复现不可行;Z-Image(6B)、LongCat-Image 是相对可复现的小规模代表;SynCD、ByteMorph-6M、ImgEdit、UltraEdit 数据集按引用应可获取,但 caption pipeline 需相当算力。整体复现难度高,但论文价值不在复现单一实验,而在提供「能力-评测」框架。
论文图表
条形图+折线图:横轴为年份(2015-2026),柱形为该年文献数,折线为累计引用数;2022 年前每年 <30 篇,2024 年开始加速,2025 年达到 188 篇(约占 45.7%)。
为整篇 roadmap 提供「文献热度」定量证据,说明分类法不是少数作者的主观判断,而是建立在 411 篇高质量近期文献之上。
气泡散点图:横轴为该主题平均发表年份,纵轴为 2025-2026 引用占比(做平滑),气泡大小代表文献数。右上角聚集 image editing、unified multimodal、world modeling、agentic generation 等方向,左下角是 diffusion/flow modeling、GAN、SR 等成熟方向。
把分类法与文献计量绑定:L3-L5 智能体/世界模型正处于「最新且加速增长」的右上区域,是论文主张「能力分类反映未来 2 年研究重心」的实证依据。
三幅子图:左为 scrambled 拼图碎片、中为 Nano Banana 输出的「拼好」图(语义像气球但几何被合并重画)、右为 ground-truth。
Section 7.2.1 第一个核心案例,证明 L2 边界上模型仍把分布匹配当目标,无法满足刚性几何约束。
两幅子图:16a 是等距瓷砖图(房屋 F5→F6、G6→G7,市场 D7→D8 错位);16b 是地铁图(中心站少一线,红蓝线交叉次数、黄线分支位置均违反 prompt)。
Section 7.2.2-3 关键证据:模型能复现视觉语法但不能执行坐标程序,并证明「生成 13m15s vs. 验证 9s」的难度不对称。
三幅子图:(a) 浮在水面上的柑橘切片;(b) 解析性标注浮力/表面张力;(c) 反事实 prompt「下沉」后模型生成的微泡+折射光斑。
Section 7.3.1 关键案例,显示 L5 萌芽:模型在反事实动作下生成符合因果的视觉副产物。
5 幅子图:交叉路口初始视角、转向后视角、高速锚点、高速行驶视觉(运动模糊)、碰撞金属变形。
Section 7.3.2 关键案例:动作干预下模型能生成金属形变等物理副产物,但不会主动报告「行人仍在斑马线」等安全约束。
初始态(左)→ 机器人把勺子放进碗的运动轨迹(右多帧),末帧勺子被碗口正确遮挡。
Section 7.3.4 关键案例:模型可生成符合运动学+包含关系的多步轨迹,但前几帧仍有细节不一致。
上排原始人 4 帧(Frame 2 在倒水),下排模型替换为人形机器人 4 帧(外观一致但 Frame 2 倒水动作消失、无流体副产物)。
Section 7.3.5 关键案例:暴露 L3/L4 与 L5 的鸿沟——身份稳定但功能因果丢失。
四宫格漫画的 T0→T3 四轮编辑结果:每轮只填一个分镜,但 T1 起出现 JPEG-like 噪声,T2 时左上女孩表情漂移,T3 文字/线条进一步退化。
Section 7.5.1 关键案例:直接证明 VAE 累计误差在 L3 多轮编辑不可消除,并引出对显式非编辑掩码或 history-aware 控制器的需求。
四幅子图:T0 原猫照片;T1 「放大 2 倍」后猫更大;T2 「加老鼠」后猫却被偷偷还原到 T0 大小;T3 「还原原尺寸」反而被进一步放大且老鼠消失。
Section 7.5.2 关键案例:长程记忆+对象持久性同时失败,强化 Markovian chaining 假设。
三幅子图:低分辨率蝴蝶 → 模型输出更锐利版(边界、内部纹理更清晰)→ ground-truth。
Section 7.7.2 超分子任务代表:感知质量强,但细节是「先验合成」而非严格反演。
三幅子图:暗光室内 → 模型显著提亮并揭示家具结构 → ground-truth(细节差异大)。
Section 7.7.2 案例:低光增强最容易暴露「细节重写」问题,模型更像按自然图像先验重画。
三幅子图:重度噪声赛车 → 模型去噪并保留全局结构 → ground-truth。
Section 7.7.2 案例:去噪效果视觉上很好但细节仍非精确复原。
三幅子图:雨条纹密集的熊 → 模型去除主雨纹 → ground-truth(部分纹理被重新生成)。
Section 7.7.2 案例:去雨任务呈现典型「prior-guided rewriting」。
两幅子图:严重模糊街景 → 模型给出可识别城市结构。
Section 7.7.2 案例:去模糊任务展示模型的通用感知恢复能力,但仍是合成式。
两幅子图:复杂室内真实图 → 模型输出灰度深度图(物体识别好,但深度色块不一致、漏画多个背景行人)。
Section 7.7.1 关键案例:OOD 深度估计失败,揭示 3D 空间理解的根本短板。
唐代长安城俯视平面图:城墙+里坊网格与历史高度吻合,但城门名称重复,汉字渲染模糊。
Section 7.8.1 案例:模型具备宏观设计能力,但小字符级细节不可靠。
英超伯恩茅斯足球经理仪表盘 UI:含真实球员、清晰英文;但战术板显示 4 个球门、联赛排名与视觉位置不符、Semenyo 红黄牌图标错位、位置标签用「DF」而非具体角色。
Section 7.8.2 案例:跨学科专业 UI 生成展示「视觉语法 ok、细粒度逻辑错」的典型失败模式。
两幅子图:含密集文本的图 → 模型恢复主要文字区域,但小/低对比字符漏字。
Section 7.9.1 案例:OCR 整体可用,但细粒度转录不可靠。
两幅子图:人物姿态 → 模型输出大致正确的关键点骨架,但遮挡关节处漂移。
Section 7.9.2 案例:全局姿态可恢复,局部精度差。
两幅子图:场景 → 模型分割主语义区域,但在边界和杂乱处出现 mask 漏出与粗糙。
Section 7.9.3 案例:语义层面可,边界精度仍弱。
两幅子图:人群场景 → 模型定位主要人物/物体,但出现重复框与模糊标签。
Section 7.9.4 案例:检测的全局能力可用,但实例级精细度下降。