← 返回 2026-05-01

新时代视觉生成:从原子映射到智能体世界建模的演进 Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling

Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang, Haonan Wang, Hang Zhou, Yifan Pu, Xingxuan Li, Fangneng Zhan, Bo Li, Lidong Bing, Yuxin Song, Ziwei Liu, Wenhu Chen, Jingdong Wang, Xinchao Wang, Xiaojuan Qi, Shijian Lu, Bin Wang 📅 2026-04-30 👍 92 2026-07-13 08:36
agentic AI diffusion model flow matching multimodal survey visual generation world model

提出五级视觉智能分类法,系统梳理视觉生成从单步渲染到世界模拟的演进路线。

前置知识

扩散模型与流匹配

扩散模型通过反向去噪把噪声逐步映射到数据;流匹配直接学习噪声与数据间的速度场,目标 $\mathcal{L}_{FM}=\mathbb{E}\|v_\theta-(x_1-x_0)\|^2$,沿更直 ODE 路径积分几步即可生成。

本文主体围绕扩散→流匹配的范式转移展开,所有现代模型(SD3/FLUX/Qwen-Image 等)都基于该基础;不理解 ODE 积分和速度场就难以跟上后文架构对比。

Transformer 与 MM-DiT 架构

现代生成模型用 Vision Transformer 替代 U-Net;DiT 用 AdaLN 把时间条件注入;MM-DiT(SD3)为文本和图像 token 维护双流权重并通过联合注意力交换信息,是当下工业级文生图系统的事实标准。

论文第 3 章对比 DiT、MM-DiT、S3-DiT、SSM(OmniMamba)等骨干,并对 AdaLN/交叉注意力/In-Context 三种条件注入路线做系统比较,是阅读架构部分的核心词汇。

视觉语言模型与统一多模态

VLM/MLLM 把图像理解与生成放在同一 token 流下训练,典型如 Transfusion、MonoFormer、BLIP3o-NEXT、BAGEL、Janus-Pro;理解它们如何融合 AR 与扩散目标是把握 L3/L4 能力的关键。

本文多次强调「生成与编辑正坍缩到同一架构」,这一判断几乎完全建立在统一多模态模型的基础之上。

智能体(Agent)闭环与世界模型

智能体指在环境中根据观察动态决策、可调用工具、能自我验证并能终止的 LLM/MLLM;世界模型进一步要求生成过程内化物理因果,能根据动作预测下一状态,常与强化学习结合用于机器人或自动驾驶仿真。

L4/L5 智能体与世界建模是本文核心前沿概念;理解「plan–render–verify」循环、reward model、visual chain-of-thought 才能抓住该领域路线图。

VQ/VAE 表征与 tokenizer

生成不能直接在像素空间进行,需要先压缩:连续潜变量(VAE)是扩散主流;离散 token(VQ-VAE/RVQ)便于自回归;SSL 特征(RAE/SVG)把 DINOv2、CLIP 等冻结表征当作生成空间。

Section 3.2.1 把 tokenizer 选择列为主流之争,决定了骨干能用 AR 还是扩散,也是理解 Wan-Image、LongCat-Next 等闭源差异的关键。

研究动机

近两年视觉生成模型在 FID、CLIP-Score 和单轮 prompt-following 上已经接近「照片级」,Nano Banana、GPT-Image-2、Qwen-Image、Z-Image 等前沿系统在长 prompt 理解、字体渲染、参考图编辑、多轮编辑上也有长足进步,但作者团队发现这些模型仍然系统性地败在拼图式空间重构、多步骤状态编辑、跨帧身份保持、物理推理和具身预测等任务上:例如地铁拓扑图生成看似精美但 4 条线路在中心站的换乘关系违反 prompt,又如多轮编辑中第二、三轮就会出现未被指令改动的面部表情漂移。论文统计了 411 篇 2015 年后的参考文献,其中 2025 年一年就贡献 188 篇(45.7%),反映学术界已意识到「像素越清晰≠视觉越智能」——传统基于感知质量的评测无法揭示结构性、时间性与因果性短板。

本文的目标是论文的总体目标是提出一个能力导向(capability-oriented)的分类法,把当下碎片化的视觉生成研究重新组织成一条从单步渲染走向「智能视觉生成(Intelligent Visual Generation)」的轨迹,回答「模型在变『更聪明』究竟是在变什么」。具体目标包括:(1)提出 L1-L5 五级视觉智能分类法,统一命名 Atomic/Conditional/In-Context/Agentic/World-Modeling Generation;(2)系统综述驱动这一演进的底层技术——扩散→流匹配、统一多模态、改进的视觉表征、SFT 与偏好对齐、奖励模型、大规模数据蒸馏、采样加速与蒸馏;(3)组织应用谱系;(4)设计「压力测试」暴露现有评测过度乐观的盲区。

与已有工作不同的是,现有综述多以架构家族(GAN/Diffusion/AR)或任务(文生图/编辑/视频)分类,难以传达「能力维度」上的差异;并且高度依赖 FID、CLIP-Score 等感知指标,无法区分「生成器」与「世界模拟器」。本文的独特切入角度是用两条操作轴(单次前向能吸收多少条件、是否需要外部控制器统筹多次生成)把视觉生成从「被动渲染」切到「目标驱动、物理信息驱动的视觉智能」,并通过与 OpenAI 五级 AI 路线图类比,使 L1-L5 与通用 AI 阶段对齐;同时第 7 章用 30+ 个专家约束的真实案例(地铁图、拼图、等距瓷砖图、Gaokao 物理题、多轮漫画编辑等)作为「嵌入式探针」,把 benchmark 之外的失败模式定位回分类层级——这是其他综述很少提供的「评测反例库」。

核心方法

本文是 roadmap/survey,本身不提出新的算法模型,而是把近 5 年视觉生成领域的研究沿「能力提升」的轴线重新组织成一套五级分类法,并配套一个「基准 + 压力测试」评估框架。方法路线可以概括为「先建坐标系,再装填内容」:先用 4 个能力维度(可控性、上下文连贯性、闭环智能体性、因果建模)切出 L1-L5 五级,再在每一级下归纳代表方法、核心挑战和 AI 对应阶段;接着沿着模型(Section 3)、训练与推理(Section 4)、数据与基础设施(Section 5)、应用(Section 6)四条线索分别把前沿方法挂到分类层级上;最后用「压力测试」(Section 7)做反向校准:让 GPT-Image-2 和 Nano Banana 跑拼图、地铁图、等距瓷砖图、Gaokao 物理题、人脸遗传等任务,把模型实际能力回填到分类表中。整篇文章本质是「以分类法为骨架、以压力测试为肌肉」的研究图谱。

核心创新点是「以能力而非架构/任务分类」,并把五级分类法与「单次前向 vs. 外部控制器」这条操作性边界绑死。L1-L3 都是一次前向,区别在于输入上下文从「无」到「单一条件」再到「富上下文(多参考、多轮历史、推理 trace)」;L4 引入外部控制器把多次前向串成 plan-render-verify 闭环;L5 要求生成内化物理因果,使动作干预能得到符合物理的结果。这与已有综述的差别在于:以往 GAN/Diffusion/AR 综述只回答「用什么生成」,本文回答「这个生成器的智能到了哪一层」;同时第 7 章的 30+ 个真实案例把 benchmark 之外的能力边界具象化,例如地铁拓扑图生成耗时 13m15s 思考但仍违反 prompt,而验证同一图的 GPT-5.5 仅用 9 秒就能指出所有错误——这种「生成与验证难度不对称」的发现是本文独有的实验观察。

方法步骤详情

论文「方法」实为研究方法,可拆为五步。步骤 1:构建坐标系——用 4 个能力轴(可控性、上下文连贯性、闭环智能体性、因果建模)和 2 条操作边界(单次前向 vs. 控制器)把视觉生成切成 L1-L5 五级,Table 1 给出每级定义、代表方法、关键挑战。步骤 2:填充分类——Section 3 综述 GAN/Diffusion/Flow Matching/AR/Hybrid 五种范式与 Encoder/Backbone/Condition/Fusion 四类组件,Table 2 把代表模型按目标/骨干/表征/条件打勾。步骤 3:训练追溯——Section 4 拆解为预训练、SFT+RLHF、奖励建模、采样加速、蒸馏三阶段。步骤 4:数据基础设施——Section 5 提出五阶段流水线,Figure 12 排布 30+ 数据集。步骤 5:反向校准——Section 7 设计 8 个维度把每个真实案例对应回 L1-L5,Section 8 给出 vCoT、Closed-Loop Agents、Agentic Generation、合成数据自博弈、世界模拟五大前沿。

技术新颖性

技术新颖性体现在三方面。第一,分类法本身的设计选择:用「单次前向 vs. 控制器」而非「图像质量 vs. 视频质量」做主切分轴,因此能把多轮编辑(每轮仍是单次前向)和智能体(带外部 plan-verify)放在 L3/L4 边界上做精细区分,这一点比纯架构分类更贴近期刊读者关心的能力维度。第二,反向评测范式:把 30+ 个真实任务(拼图、地铁图、Gaokao 物理题、漫画分镜、化妆前后对比、X 光、去雨等)当作「嵌入式探针」,每一个都对应到 Section 2 的某一层,这种「能力→案例→失败模式」三段式比单纯列 benchmark 数字更能呈现模型真实边界。第三,「生成与验证不对称」的发现:在地铁图案例里 GPT-Image-2 思考 13 分 15 秒仍生成违反 prompt 的图,而 GPT-5.5 只用 9 秒就能把违反项全部找出——这种量化对比在以往 survey 中很少出现,可作为 L4 智能体工作流的关键论据。论文还提出用 `f(I_{t-1}, p_t)` 的 Markovian 短视链解释多轮编辑漂移,把工程现象上升为分析框架。

Overview of the five-level taxonomy of visual intelligence: progression and concrete examples.
Figure 3: Overview of the five-level taxonomy of visual intelligence: progression and concrete examples.
Timeline of representative image generation models by generative paradigm.
Figure 4: Timeline of representative image generation models by generative paradigm.
Five generative-modeling paradigms at a glance.
Figure 5: Five generative-modeling paradigms at a glance.
Paradigm landscape of representative visual generation architectures.
Figure 6: Paradigm landscape of representative visual generation architectures.
The unified architecture for visual generation and editing.
Figure 7: The unified architecture for visual generation and editing.
Three condition injection routes in modern transformer-based generators.
Figure 8: Three condition injection routes in modern transformer-based generators.
Speculative agent-loop architecture for closed-source frontier image generation.
Figure 9: Speculative agent-loop architecture for closed-source frontier image generation.
Overview of the three-stage training and inference pipeline for visual generation models.
Figure 10: Overview of the three-stage training and inference pipeline for visual generation models.
Three families of distillation for diffusion / flow-matching models.
Figure 11: Three families of distillation for diffusion / flow-matching models.
A unified five-stage pipeline summarizing dataset construction methodologies across analyzed works.
Figure 12: A unified five-stage pipeline summarizing dataset construction methodologies across analyzed works.

实验结果

论文不做单一基准实验,但通过压力测试给出可量化发现。(1)拼图(Figure 15):Nano Banana 不能完成刚性几何约束,只复原语义并用先验「幻觉」纹理。(2)地铁图(Figure 16b):GPT-Image-2 思考 13m15s 仍把四线枢纽画成三线,GPT-5.5 用 9 秒就能识别全部违反项。(3)多轮漫画(Figure 24):每轮只画一个分镜,T2 时左上角女孩表情已与 T0 不一致。(4)人脸遗传(Figure 26):最小 prompt 触发 compositional shortcut,加 blending cue 后得到符合显性/隐性遗传的混合脸。(5)Gaokao 物理题(Figure 23):最终 $F_A=0.18\,\text{N}$、$m\approx0.035\,\text{kg}$、$\mu\approx0.111$、$s\approx0.666\,\text{m}$ 自洽,但 trace 反复重访同一子问题。(6)低层视觉:模型改善视觉但与 GT 比对显示「细节幻觉」。(7)411 篇文献中 2025 年独占 188 篇(45.7%)。

Comparative taxonomy of visual intelligence.
Table 1: Comparative taxonomy of visual intelligence.
Component-level morphology of representative visual generation architectures.
Table 2: Component-level morphology of representative visual generation architectures.
Representative unified understanding-and-generation architectures.
Table 3: Representative unified understanding-and-generation architectures.
Representative industrial training recipes in modern visual generation.
Table 4: Representative industrial training recipes in modern visual generation.
Key axes of modern visual foundation model pre-training across recent tech reports.
Table 5: Key axes of modern visual foundation model pre-training across recent tech reports.
Post-training alignment paradigms for visual generation.
Table 6: Post-training alignment paradigms for visual generation.
Overview of sampling acceleration and efficiency techniques.
Table 7: Overview of sampling acceleration and efficiency techniques.
Mapping stress test dimensions to the visual intelligence taxonomy (Section 2).
Table 8: Mapping stress test dimensions to the visual intelligence taxonomy (Section 2).
Taxonomy of Applications and Evolving Frontiers in Visual Intelligence.
Figure 13: Taxonomy of Applications and Evolving Frontiers in Visual Intelligence.
Embodied applications of visual generation can be organized into two complementary roles.
Figure 14: Embodied applications of visual generation can be organized into two complementary roles.
Generative Action Grounding for Robotic Manipulation.
Figure 19: Generative Action Grounding for Robotic Manipulation.
Irreversible Material Transformation.
Figure 22: Irreversible Material Transformation.
Physics problem solving as reasoning-conditioned document editing.
Figure 23: Physics problem solving as reasoning-conditioned document editing.
Predicting Children's Appearance.
Figure 26: Predicting Children's Appearance.
Plastic Surgery Simulation.
Figure 27: Plastic Surgery Simulation.
Hairstyle Generation.
Figure 28: Hairstyle Generation.
Code generation as a read-solve-render workflow with GPT-Image-2.
Figure 37: Code generation as a read-solve-render workflow with GPT-Image-2.
Structured mathematical diagram generation with GPT-Image-2.
Figure 38: Structured mathematical diagram generation with GPT-Image-2.
Cross-disciplinary poster and infographic generation with GPT-Image-2.
Figure 39: Cross-disciplinary poster and infographic generation with GPT-Image-2.
查看结构化数据
任务指标本文基线提升
Publication trend (post-2014 references) Annual paper count & cumulative growth 411 篇总计;2025 年 188 篇(45.7%),2014-2024 长期低基数后呈指数式上升 未引用具体基线;指出 2022 年起出现拐点 N/A(综述类统计指标)
Frontier tech-report parameter & token scale Tokens / parameters Wan-Image 13.27T tokens 仅用于生成预训练;HunyuanImage 3.0 64-expert MoE(80B total / 13B active);LongCat-Next 68.5B total / ~3B active,配 8×16,384 RVQ tokenizer;FireRed-Image-Edit 把 1.6B raw 压到 100M(~6% retention) Z-Image 6B 与 LongCat-Image dense 设计 Z-Image 6B 以 caption + 数据整理在多项指标上对标 20B+ 模型;caption pipeline 升级成为主要杠杆
Multi-turn editing pixel fidelity (Nano Banana) Cumulative drift across 4 turns T1 起出现 JPEG-like 噪声;T2 时左上女孩面部表情与 T0 不一致;T3 时所有早期 panel 出现文字/线条漂移 无对照;定性对照 f(I_{t-1}, p_t) Markovian 链假设 需要 explicit non-edit mask + copy-paste fallback,或 agentic history-aware 控制器
Topological consistency (Metro Map, GPT-Image-2) Constraint violations 思考 13m15s 后仍违反:(a)中心枢纽只接 3 条线(要求 4 条);(b)红蓝线仅交叉一次(要求 2 次且只共享 1 站);(c)黄线分支位置错误 GPT-5.5 用 9 秒的 post-hoc 验证即可识别全部违反项 生成耗时比验证高 ~88 倍,体现「生成-验证难度不对称」
Physics problem (Gaokao EM induction, Nano Banana) Solution numerical consistency 最终输出 $F_A=0.18\,\text{N}, m\approx0.0352\,\text{kg}, \mu\approx0.111, s\approx0.666\,\text{m}$ 数值自洽 推理 trace 反复重访「杆与框速度关系」「摩擦类型判断」等子问题 VLM-first, renderer-second 流水线在数字一致性上可达,但 trace 仍脆弱冗长
Low-level vision (Set5/LOL/BSD68/Rain100H/GoPro) Perceptual quality vs. ground-truth fidelity 超分、去噪、去雨、去模糊、低光增强均显著改善视觉;但与 GT 比对显示大量细节重画而非严格反演 传统逆问题解算器(不在本文评测范围内) 感知质量可立即可用,但 reconstruction fidelity 仍不及专用模型

局限与改进

作者在多个位置坦承局限性。最显式的局限是评测偏差:411 篇文献全部是 2026 年 6 月前的论文,时效性只能保证到 v2 截止;前沿模型如 Nano Banana、GPT-Image-2 几乎闭源,paper 内部的「嵌入式探针」严格说不能算作 benchmark。技术层面,论文承认「VLM-first, renderer-second」流水线目前无法可靠维持稳定的符号工作空间(Gaokao 物理题 trace 反复重访同一子问题)、多轮编辑存在结构性 VAE 累计误差(Figure 24)、超分/去噪/去雨等任务更接近「按先验重画」而非严格信号恢复、世界模型在极端机动下物理因果性不可靠(驱动仿真、微操抓取仍可能违反力学)。作者自己的观察还包括:闭源模型与开源模型在同 prompt 下输出不可复现、stress test 的失败模式有可能只是 prompt 工程问题而非模型能力上限,以及 benchmark 数字仍会过度乐观地反映「平均场景」下的能力。

独立分析的弱点

本文作为 roadmap 而非算法论文,弱点主要在「方法论」层面。第一,分类边界模糊:L3 与 L4 的划分对闭源系统几乎不可观测,论文也承认这是「probe vs. method」的根本性歧义。第二,压力测试样本量太小:每个维度只有 1-2 个真实案例,缺乏统计显著性,更接近「demonstration」而非「evaluation」。第三,对训练数据蒸馏的「闭环风险」讨论偏弱:仅 Z-Image 一家公开拒绝蒸馏,但 91K 蒸馏样本即可匹敌数百万网络数据这一关键数字背后隐藏的能力天花板/版权问题没有充分展开。第四,L5「世界模型」部分最关键的实验——动作忠实性评测——只给了概念性论述,没有给出可复现 benchmark。改进方向:作者应提供每个 stress test 的 prompt、输入图、模型版本与随机种子,并开发统一的图-文-物理综合 benchmark。

未来方向

作者把未来研究拆成 5 条路线。其一是 vCoT:让模型先输出文本 trace 或 layout sketch 再出像素,代表 ReasonGen-R1、X-Planner;硬组合约束场景最有用。其二是 Closed-Loop Visual Agents:把生成降级为 action 并引入 verifier 做 plan-render-verify 循环,代表 GEMS、Gen-Searcher;核心是 compounding error 与延迟成本权衡。其三是 Agentic Visual Generation:把生成重写为 goal-conditioned task execution。其四是 Synthetic Data 与 Self-Play:区分 frontier-model distillation(91K 匹敌数百万)、reward-model RL、strict self-play。其五是 World Simulation:把 Genie 2/GameNGen 从 demo 推到 production;WorldReasonBench 把动作忠实性变成可测指标。

复现评估

可复现性评估分两层。第一层是论文自身:项目页 github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation,每个 Figure 注明 Nano Banana 或 GPT-Image-2;但因主要依赖闭源 API,同一 prompt 输出可能漂移,stress test 无法严格复现;论文声明「preprint and an evolving roadmap」。第二层是被综述方法:411 篇文献大部分 2025 年后才发表(45.7% 集中于 2025),工业级系统如 HunyuanImage 3.0(80B MoE)、LongCat-Next(68.5B/~3B active)、Wan-Image(13.27T tokens)单卡复现不可行;Z-Image(6B)、LongCat-Image 是相对可复现的小规模代表;SynCD、ByteMorph-6M、ImgEdit、UltraEdit 数据集按引用应可获取,但 caption pipeline 需相当算力。整体复现难度高,但论文价值不在复现单一实验,而在提供「能力-评测」框架。