智能体视觉生成：从生成模型到智能体控制 Agentic Visual Generation: From Generative Models to Agentic Control

第一步，角色分离与形式化：区分控制器（LLM/VLM、学习策略或角色团队）与视觉生成器/编辑器，给出 $a_t \sim \pi(a_t \mid g, s_t)$、$s_{t+1} = F(s_t, a_t, o_{t+1})$ 的决策过程描述，并规定单独的支持模块或固定流水线不入主范围。第二步，层级判定：按 L4→L1 顺序应用测试——跨任务持久性确立 L4，结果到动作的因果链确立 L3，选择并调用视觉操作确立 L2，为预定执行器构造规格确立 L1，全部不成立则为 L0；模糊案例归低级。第三步，层级内细分：L0 按支持功能（生成/检索、数据与训练、评估与基准）分三类；L1 按生成器面向的规格分五类（文本提示、空间/几何、检索证据、时间/相机、结构化内容）；L2 按可执行对象分五类（模型与工具、图像与结构化图形、视频与视听、文档与界面、3D/CAD/世界）；L3 按决定性反馈源分四类（感知结果、结构化/执行状态、物理与约束、任务内人类评审）；L4 按持久经验载体分五类（能力与工具档案、情景与用户记忆、可复用过程与技能、可执行工作流、策略与模型更新）。第四步，构建语料库：从七个任务集合去重收集 313 个系统，标注首次发布时间、主层级、能力路径、模态、机制、控制器类型、视觉执行器、反馈边界、评估类型、跨任务持久性和公开资源，以 CSV/JSON 连同生成脚本开源。第五步，统计分析时间演化与模态、控制器组织截面。第六步，建立训练四阶段框架（轨迹数据、SFT、奖励模型与反馈、策略优化），成本感知奖励为 $r_t = \alpha r^{goal}_t + \beta r^{process}_t - \lambda c(a_t)$，策略目标为 $J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[\sum_{t=0}^{T} \gamma^t r_t]$。第七步，给出层级条件化评估协议（Table VIII）与模态特定评估器映射（Table IX）。

技术新颖性体现在四处。第一，定义层面的新颖：以"决策的最大时间与因果触达"定义 agenticity，是可复现、模态无关的测试，解决了该领域分类标准混乱的问题——同一个测试既适用于模块化系统、多角色工作流，也适用于统一生成策略。第二，证据结构的新颖：发布了 313 个系统、含层级/机制/反馈/记忆/资源/溯源字段的结构化语料库，并从半年度堆叠柱状图而非总量曲线得出"增长由任务内反馈主导、跨任务经验稀缺"的量化结论（L3 202 个 vs L4 25 个），这是此前任何综述都没有的实证观察。第三，评估框架的新颖：层级条件化协议把每级的边际价值隔离出来——L1 与固定规格规则对比，L2 与固定/随机/频率/oracle 路由对比，L3 要求开环/闭环配对执行并审计选择偏差（八候选择优不得与单样本基线比较、控制器批评与保留评估器必须分离），L4 要求时间序 held-out、经验移除/打乱/替换陈旧/注入无关前例等反事实，并报告前向迁移、负迁移、陈旧经验敏感性与回滚。第四，前瞻框架的新颖：把 generator-as-controller 纳入同一判据之下讨论而非另立层级，指出统一视觉策略与外部控制器的混合设计（视觉策略管细粒度修订、外部控制器管意图/权限/回滚）是可检验的中间形态。

第一，分类判据依赖论文文本证据：判断一个系统是 L2 还是 L3 需要论文明确展示"观测改变后续动作"的因果链，但很多论文只给最终指标，归类不可避免地带主观性。改进方向：社区共建干预测试套件，用标准化探针（注入已知失败、检查是否触发相应修复动作）代替文本判读。第二，向最大触达的投影丢失路径信息：一个 L1+L2+L3 的系统与只有 L3 证据的系统同标签，尽管前者能力路径更完整；论文虽保留 capability path，但主标签仍是 max。改进方向：报告与检索时同时给出完整向量，评估协议中也应对比"同层级不同路径"的系统。第三，评估协议无参考实现：Table VIII 描述了开环/闭环配对、选择偏差审计、预算匹配等要求，但没有配套 harness，研究者各自实现的协议细节可能不可比。改进方向：开源一个覆盖至少图像与视频两种模态的自动化 matched-loop 评估工具。第四，L4 分析样本太少：25 个系统被分成五类载体后每类约 5 个，关于可逆性（档案可删、工作流可版本化、参数更新需 checkpoint）的论断缺乏实证支撑。改进方向：建立跨任务迁移基准，专门测量负迁移率与回滚成功率。第五，成本与安全维度停留在原则层面：预算化干预要求路由器估计质量增益、延迟、费用与隐私风险，但论文没有给出任何多目标权衡的实测案例。改进方向：在 L2 路由实验中强制报告质量-成本 Pareto 前沿（论文在协议中已建议，但缺实例）。

作者按"阻断每一级转移的开放问题"组织未来方向：L1→L2 需要可执行控制的安全与溯源基础设施——对检索引用、模型路由、3D 资产复用与代码执行附加机器可读的来源、许可、参数与编辑记录，并做执行前的权限感知路由；以及预算化干预，路由器应估计期望质量增益、延迟、金钱成本与风险，而非最大化工具使用。L2→L3 需要多源反馈（局部化多模态诊断、专用检测器、可执行校验、模拟器状态、不确定性与人工升级的融合）、从诊断到修复的信用分配（诊断必须映射到可操作的区域/对象/帧区间/代码组件），以及不擦除已接受工作的人类共创界面。L3→L4 需要时间序鲁棒性——工具端点、价格、偏好与安全策略都会变化，记忆策略需要时间戳、溯源、冲突检测、选择性遗忘与回滚——以及长时程一致性测试来厘清"大量当前任务状态仍不是 L4"。Beyond L4 是 generator-as-controller 范式：生成与控制共享状态表示（缺陷直接关联到视觉 token、潜变量区域、帧区间或生成步骤）、更短的反馈回路（免去视觉状态反复序列化为语言）、持久世界状态（动作、视觉后果与世界更新保持链接）；可行中间态是混合设计——视觉策略管细粒度生成与修订，外部控制器管用户意图、权限、溯源与回滚。基于这些成果可延伸的方向包括：把层级条件化协议落地为公开 benchmark 与排行榜；面向 L4 的 RL 训练（经验写入参数）的可审计性标准；以及在同容量、同工具、同预算下统一视觉策略与 LLM/VLM 控制器的受控对照实验。

作为综述，本文的可复现性主要指语料库与协议。开源情况良好：结构化语料库（CSV 与 JSON 记录）、生成脚本、README 统计都发布在项目仓库（github.com/YinmingHuang/Awesome-agentic-visual-generation-model），Fig. 5、Fig. 6 的数字均由同一批 README 记录生成而非手工转抄，因此层级统计本身可以一键复现。数据方面无需训练算力，普通机器即可处理。难度分层看：复用语料库统计（容易）；按 Table VIII 落地一次 L3 开环/闭环配对实验（中等）——需要自己搭建 matched-loop harness、实现选择偏差审计（分离控制器批评、停止批评与保留评估器）并保留预算匹配，工程量集中在评测基础设施而非模型；复现 L4 时间序 held-out 评估（较难）——需要构造时间上不重叠的任务流、带溯源与时间戳的经验存储及回滚机制，目前没有任何现成基准。被综述的 313 个系统本身的复现成本差异巨大，从调用闭源 API 到训练扩散模型不等，但这不属于本文方法的复现负担。总体评估：语料库复现容易、协议落地中等、端到端评估体系构建较难，主要缺口是协议缺少参考实现。