A2RD:长视频一致性生成的智能体自回归扩散模型 A^2RD: Agentic Autoregressive Diffusion for Long Video Consistency
用智能体闭环+多模态记忆+分层自改进,把分钟级长视频一致性提升30%、叙事连贯性提升20%。
前置知识
扩散模型(Diffusion Model)
通过学习数据分布的逐步加噪与去噪过程来生成样本的生成模型。视频扩散模型(TI2V, Text-Image-to-Video)在此基础上引入文本与可选图像作为条件,输出一段连续视频帧,如本文使用的 Veo 3.1、LTX-Video 0.9.8 (13B)、Wan 2.2 (5B) 等。
A2RD 是一种 model-agnostic 的控制框架,依赖底层扩散模型提供的基础生成能力(每段视频约 5 秒级),理解这一点有助于看出 A2RD 的贡献完全发生在推理流程层面,无需重新训练扩散模型。
自回归视频合成(Autoregressive Video Synthesis)
将长视频拆成多个片段(segment/clip),按时间顺序逐段生成,前一段的末帧或记忆作为后一段的条件。包括帧自回归(FAR,逐帧生成)和片段自回归(SAR,按段生成)两类;并行方法(Par)则同时合成所有段再用边界帧插值。
A2RD 是 SAR 范式的延伸,但通过将一致性维护从被动条件化升级为主动闭环检索-精炼,理解 SAR 的失败模式(错误传播、片段间不一致)是把握 A2RD 改进点的关键。
多模态大语言模型(MLLM)
能够同时理解文本与图像/视频的多模态语言模型。在 A2RD 中扮演“推理代理”角色,负责解析剧情、检索相关上下文、生成图像/视频 prompt、评估生成质量(如 Gemini 3 Flash)。
A2RD 的核心创新之一是让 MLLM 既做规划又做评判,使整个生成过程变成一个可监督、可纠错的智能体流程,这是与现有被动生成系统的本质区别。
测试时自改进 / Test-Time Scaling(TTS)
在推理阶段投入额外算力(如多次采样、迭代重写 prompt、闭环优化)来提升生成质量的技术,常见形式包括 best-of-N、迭代精炼、prompt 优化等。
A2RD 提出了 HITS(HIerarchical Test-time Self-improvement)框架和 MAPO(Memory-Augmented Prompt Optimization)算法,把 TTS 从单段质量优化扩展到跨段一致性维护,是论文在生成范式上的重要贡献。
文本到图像模型(TI2I)
给定文本 prompt 生成单张图像的扩散模型(如 Nano Banana 2)。在 A2RD 中被用于合成全局参考帧、片段首末边界帧等中间图像。
A2RD 用 TI2I 显式合成边界帧和全局实体/环境参考图,作为长时记忆的一部分,这种“先把关键帧定下来再让视频扩散模型填空”的策略是控制一致性的关键技巧。
研究动机
现有长视频合成方法在分钟级到小时级时长上遭遇两类失败:时间一致性退化(semantic drift, narrative collapse)与叙事连贯性丧失。帧自回归(FAR)方法如 Huang et al. 2025a、Yang et al. 2026a 逐帧生成,出错帧被冻结为后续所有条件,错误雪球式累积、叙事可控性差;片段自回归(SAR)方法如 An et al. 2026、Zhou et al. 2026 段间一致性难维持——Figure 3 潜水员示例中 MovieAgent、ViMax、VideoMemory 出现角色头发/面部/配饰/船只布局的非预期漂移;并行方法(Wang et al. 2026、Wu et al. 2025b)则因边界帧规划不合理导致过渡生硬。Figure 2 显示“女子走在日本街头”中 Naive-Par、MovieAgent、ViMax 把主角困在同一环境 8 秒不推进剧情,VideoMemory 也只完成一半合理进度。根源在于:现有方法是被动(passive)、开环(open-loop)的,既无结构化世界状态记忆,也无生成后自我纠错能力。
本文的目标是A2RD 的目标是把长视频合成从“一次性、条件化地”生成,转变成一种智能体式的(agentic)、闭环的(closed-loop)自我改进过程:每合成一个片段,智能体都会从记忆中检索相关上下文、动态选择生成模式、合成并自检边界帧和视频片段、最后把新信息回写到记忆中。论文希望该框架在 1-10 分钟、单场景与多场景混合、不同扩散骨干(Veo 3.1、LTX-Video 0.9.8、Wan 2.2)下都能稳定地把一致性和叙事连贯性提升 20%-30%,且保持训练免费(training-free)。
与已有工作不同的是,A2RD 的独特切入角度是把“一致性维护”和“创造性合成”解耦:用结构化的多模态记忆(MVMem)承担一致性职责,用 HITS 闭环自改进承担纠错职责,二者通过 Retrieve–Synthesize–Refine–Update 循环协同。区别于已有方法只把记忆当参考图像库(Zhou et al. 2026 VideoMemory)、或只在单段上做测试时扩展(Long et al. 2026 VISTA、RAPO 等),A2RD 的记忆同时维护文本状态(Visual Arcs、Spatial Relations、Camera 轨迹)、关键帧和视频片段本身,并通过自适应选择外推/插值模式、HITS 分层自改进与 MAPO 基于历史案例的 prompt 优化,第一次把 TTS 扩展到跨段一致性与叙事连贯性。此外,论文针对现有基准缺乏“实体消失-重现+状态变化”这一真实长程挑战的问题,发布新基准 LVbench-C,用 120 个 text-only 场景、3-10 分钟三档时长、4 类演化状态,对长视频一致性做了更严苛的协议化。
核心方法
A2RD 的整体思路是“边生成边自检”:把长视频拆成若干片段(segment),每个片段由一个 MLLM 智能体负责全流程控制。首先在生成前对用户给定的剧情 $S = \{S_1, \dots, S_N\}$ 和可选参考图 $\mathcal{R}_u$ 进行全局规划,用 MLLM 识别出所有需要的实体和环境,并交给 TI2I 模型按依赖图 $\mathcal{G}$ 拓扑排序后合成出全局参考帧集 $\mathcal{R}$,作为长期记忆的一部分。然后进入闭环流水线:每生成第 $i$ 个片段时,智能体先根据剧情是否切换环境自适应选择外推或插值模式;接着从 MVMem 中检索 top-$k$ 个最相关的历史片段的文本状态、关键帧与视频;再合成边界帧(首帧和可选的末帧)并对它们做帧级 HITS 自改进;之后用 TI2V 模型生成完整片段并做视频级 HITS 自改进;最后把新片段的关键帧、视频、文本状态写回 MVMem 给后续片段使用。整个过程中,每个候选生成都会被多维度打分(8 指标/10 指标 rubric)并通过 MAPO 借助历史正/反例对比精炼 prompt。
A2RD 核心创新是把“一致性+叙事”从生成模型的负担,转变成外置智能体+记忆+自检流水线的协同责任。和已有方法的本质区别有三:(1) MVMem 把“看得见的图像”和“读得出的世界状态”显式解耦并存——文本状态 $T_j$ 由 Visual Arcs(身份/变化/运动)、Spatial Relations(主-关系-宾三元组)、Camera states 三部分组成,层级化地从 begin frame $T^F_j$ 和完整 segment 中分别抽取,让智能体能对“角色头发是否一致、相机轨迹是否合理”做显式校验,不像 VideoMemory 那样只靠隐式图像库;(2) HITS 把 TTS 从单段质量优化(VISTA)升级为层次化闭环——边界帧 8 维 rubric 验证后决定 Edit/Regenerate,视频片段 10 维 rubric 验证、缺末帧时联合优化末帧与 prompt,从而把“单帧错则全盘错”的瀑布式失败掐断;(3) MAPO 把每次精炼变成可学习案例:$\mathcal{D}=\{(P,P^*,\mathcal{Q},\ell)\}$ 存正/反例、按 $(\mathcal{Q},P)$ 嵌入检索、对比给出针对性修改建议,让 prompt 优化从无状态升级为有案例库的闭环。
方法步骤详情
A2RD 流水线分四步。**Step 1 MVMem 初始化**:MLLM 用 $MLLM_{entplan}$、$MLLM_{bgplan}$、$MLLM_{cap}$ 从用户剧情 $P$、分段 $\mathcal{S}=\{S_1,\dots,S_N\}$、参考图 $\mathcal{R}_u$ 推出 $\mathcal{P}^R$;$MLLM_{dep}(\mathcal{P}^R)$ 构 DAG $\mathcal{G}$,按拓扑顺序用 TI2I 合成 $\mathcal{R}=\mathcal{R}_{bg}\cup\mathcal{R}_{ent}\cup\mathcal{R}_u$。**Step 2 闭环生成第 $i$ 段**:(a) $MLLM_{mode}(\mathcal{S})$ 按式 (2) 选 $\text{mode}_i$;(b) 检索 top-$k$ 文本/帧/视频上下文;(c) 合成 $F^i_{begin},F^i_{end}$,8 维 rubric 后 Edit/Regenerate,按式 (8) $\arg\max \text{Agg}(\mathcal{Q}^F_i)$ 选最优;(d) 合成 $V_i=\text{TI2V}(P_i,\mathcal{F}_i,\mathcal{F}^i_{rel})$,10 维 rubric 验证、缺末帧时联合优化,按式 (10) 选最优;(e) 写回 MVMem。**Step 3 HITS**:边界帧与视频各最多 2 轮迭代,batch 3 候选,早停 9/10,每段至多 6 视频+6 图像。**Step 4 A2RD-Par**:仅保留边界帧自回归+并行段合成,延迟从 $N k_v L_V$ 降到 $L_V$。
技术新颖性
A2RD 新颖性体现在四方面。**(1) 结构化多模态记忆**:区别于 Parmar 2018、Zhou 2026 等只用图像做记忆的方案,MVMem 同时存文本状态(Visual Arcs、Spatial Relations、Camera)、关键帧、视频,并提供 Retrieve/Update 两个原子操作,让智能体能做显式的“实体是否同一人/镜头是否回到原地”这类世界一致性推理。**(2) 自适应模式切换**:把外推和插值统一为 $\text{mode}_i$ 选择;ablation 显示 always-extrap 牺牲 consistency、always-interp 牺牲 narrative,adaptive 最优。**(3) 分层 HITS**:TTS 分解为边界帧 8 维+视频 10 维两级 rubric,可独立 Edit/Regenerate;缺末帧时联合优化;batch-of-3+早停把自改进算力控制在 $<\$0.5$/segment。**(4) MAPO 记忆式 prompt 优化**:把每次精炼正/反例存进 $\mathcal{D}=\{(P,P^*,\mathcal{Q},\ell)\}$,按 $(\mathcal{Q},P)$ 嵌入检索、正负对比给出 refinement guidelines,再针对根因改写 prompt,首次把 TTS prompt 优化变成“有案例库”闭环。ablation 表明去 MAPO → narrative 0.79,去 HITS → 0.74,去 MVMem → 0.72。
实验结果
A2RD 在 4 基准、3 骨干、1-10 分钟上均 SOTA。**VBench-Long 1 分钟**(Table 2):narrative 0.8987 vs Naive-AR 0.7466(+20%);character 0.7353 vs 0.5125/0.5729(约 +30%);environment 0.8368 vs VideoMemory 0.7273;motion 0.9935。**LVbench-C 3/5 分钟**(Table 3):3 分钟 character 0.4262 vs VideoMemory 0.3687(+16%)、narrative 0.90;5 分钟 narrative 0.95 vs 0.83、character 0.4395 vs 0.3697;motion >0.99。**人类评估**(Table 4):A2RD 平均 4.68/5 vs VideoMemory 3.93/5;character 4.89、narrative 4.75、transition 4.34、reference 4.91。**长程一致性**(Figure 7):5 分钟滑窗 1-40 基线单调下降,A2RD 保持 96.7% character、91.8% environment、95.0% object;10 分钟仍达 90.5%/84.0%/91.5%。**测试时扩展**(Figure 6):候选 0→6 时 consistency 0.73→0.78、coherence 0.74→0.90,显著优于 Naive-AR 和 VideoMemory。**跨骨干泛化**(Table 5):LTX-Video 0.9.8 (13B) narrative 0.59→0.79;Wan 2.2 (5B) narrative 0.67→0.80、environment 0.59→0.78。**消融**(Figure 5):去 MVMem → narrative 0.72;去 HITS → 0.74;去 MAPO → 0.79;adaptive 模式全局最优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VBench-Long 单场景 1 分钟视频合成 | Narrative Coherence (0-1) | 0.8987 (A2RD) / 0.8082 (A2RD-Par) | Naive-AR 0.7466 / VideoMemory 0.6717 / ViMax 0.6912 | 相对最强基线 +20.4% |
| VBench-Long 单场景 1 分钟视频合成 | Inter-shot Character Consistency (0-1) | 0.7353 (A2RD) / 0.6817 (A2RD-Par) | Naive-AR 0.5125 / VideoMemory 0.5729 / ViMax 0.5552 | 相对最强基线 +28.4% |
| VBench-Long 单场景 1 分钟视频合成 | Inter-shot Environment Consistency (0-1) | 0.8368 (A2RD) / 0.8180 (A2RD-Par) | Naive-AR 0.7148 / VideoMemory 0.7273 / ViMax 0.7015 | 相对最强基线 +15.1% |
| VBench-Long 单场景 1 分钟视频合成 | Inter-shot Motion Consistency (0-1) | 0.9935 (A2RD) / 0.9843 (A2RD-Par) | Naive-AR 0.9903 / VideoMemory 0.9777 / ViMax 0.9754 | 与单次扩散生成水平相当,接近上限 |
| LVbench-C 3 分钟多场景 | Narrative Coherence (0-1) | 0.9000 (A2RD) / 0.8641 (A2RD-Par) | ViMax 0.8600 / VideoMemory 0.8475 / Naive-Par 0.8175 | 相对最强基线 +4.7% |
| LVbench-C 3 分钟多场景 | Inter-shot Character Consistency (0-1) | 0.4262 (A2RD) / 0.4082 (A2RD-Par) | VideoMemory 0.3687 / ViMax 0.3557 / Naive-AR 0.3519 | 相对最强基线 +15.6% |
| LVbench-C 5 分钟多场景 | Narrative Coherence (0-1) | 0.9500 (A2RD) / 0.8813 (A2RD-Par) | VideoMemory 0.8292 / ViMax 0.7750 / Naive-Par 0.7132 | 相对最强基线 +14.6% |
| LVbench-C 5 分钟多场景 | Inter-shot Character Consistency (0-1) | 0.4395 (A2RD) / 0.3930 (A2RD-Par) | Naive-Par 0.3785 / VideoMemory 0.3697 / ViMax 0.3570 | 相对最强基线 +16.1% |
| VBench-Long 1 分钟人类评估 | Average Likert (1-5) | 4.68 (A2RD) / 4.29 (A2RD-Par) | VideoMemory 3.93 / Naive-AR 3.92 / ViMax 3.72 | 相对最强基线 +19.1% |
| LVbench-C 5 分钟长程一致性 | MLLM-Judge 一致性比率 (char / env / obj) | 96.7% / 91.8% / 95.0% | Naive-AR 80.2% / 74.4% / 85.5%;VideoMemory 76.8% / 84.1% / 85.3%;ViMax 89.2% / 83.2% / 82.5% | character 维度相对最强基线高约 8 个百分点,environment 维度相对最强基线高约 7 个百分点 |
局限与改进
作者明确承认的局限:(1) 计算开销高于基线——A2RD 每段至多 6 视频+6 图像+多轮 MLLM 推理,MLLM 部分 $<\$0.5$/segment(<10K token/调用);(2) 缺乏人类评估者一致性报告(部分视频仅 2 评审,且长视频评估主观性强);(3) 高度依赖底层组件质量——MLLM 需强指令遵循与视觉推理能力,TI2I/TI2V 需能精确生成指定身份,rubric 假设可能不适配所有创作风格与文化语境;(4) 用户研究显示 transition smoothness 和 environment consistency 仍是段式方法最薄弱之处。我们自己的观察:(a) MVMem 对 >10 分钟视频随 segment 线性膨胀,未给出系统性记忆压缩/遗忘机制;(b) 8/10 维 rubric 依赖 MLLM 主观打分,MLLM-Judge 仅 80% agreement;(c) A2RD-Par 通过并行合成牺牲了严格时空一致性,并行性 vs 严格一致性的 trade-off 仍未解开;(d) 论文主要在 Veo 3.1 上跑,开源骨干 Wan 2.2 (5B) 因不支持插值被退化为 always-extrapolate,限制了在低端模型上的可用性。
独立分析的弱点
**弱点 1:transition smoothness 仍是瓶颈**。A2RD transition 4.34 与 motion consistency 0.9935 仍有落差,场景切换常出现“人物/物件瞬间跳位”。改进:抽出 transition-only 片段用 motion-blending diffusion 生成,MAPO 库中增 transition-only rubric。**弱点 2:environment consistency 仍明显低于 character**。5 分钟 LVbench-C 上 environment 0.4119 远低于 character 0.4395,10 分钟更掉到 84.0%。改进:给环境加显式“背景状态弧”(光照、家具、季节变化)。**弱点 3:闭源依赖+推理成本**。Veo 3.1+Gemini 3 Flash+Nano Banana 2 三件套对学术复现不友好;MLLM-Judge 仅 80% agreement。改进:开源化端到端 pipeline,用 hard-negative mining 提升 MLLM-Judge 校准精度。**弱点 4:MVMem 缺少主动遗忘/压缩**。>30 分钟视频下 MVMem 线性增长,检索精度和存储压力成瓶颈。改进:引入分段摘要+分层索引(per-chapter+global),对超 N 段旧记忆执行状态归并或丢弃。
未来方向
**作者提出的方向**:(1) 把 transition smoothness 和物理环境一致性作为下一阶段重点(论文在 Limitations 明确指出);(2) 探索更轻量的 MLLM backbone 以降低推理成本;(3) 扩展到创意风格多样化(动画、电影、广告等不同域)的 rubric 适配。**基于成果可延伸的方向**:(a) 与 RLHF / DPO 结合,让 MLLM 的 rubric 判断本身可学习,进一步压缩 rubric 与人类偏好的 gap(当前 80% agreement 有提升空间);(b) 把 A2RD 的范式迁移到 3D/4D 场景生成、机器人长程任务视频、交互式游戏剧情等需要“长时记忆 + 闭环纠错”的场景;(c) 把 LVbench-C 推广为 multi-modal long-video consistency 的统一评测协议,配套发布更大规模(>1000 样本)的版本,并加入对音频/字幕等多模态一致性的检查;(d) 与 retrieval-augmented generation (RAG) 思路结合,让 MVMem 不只存自己生成的视频,也支持从外部知识库(电影片段、动作模板)检索参考,提高生成多样性和物理合理性;(e) 探索 A2RD 与可控视频编辑(inpainting / outpainting)的结合,让用户可以在生成后对单段进行精细修改而不会破坏长程一致性。
复现评估
**开源情况**:A2RD 项目页 http://dxlong2000.github.io/AARD 提供样例视频与分镜,主要代码与 prompts 据附录组织(Section E 列出了所有 MLLM prompt 模板)。**数据**:LVbench-C 共 120 个 text-only 场景(3 分钟 50、5 分钟 50、10 分钟 25),采用 human-in-the-loop 流程 + MLLM-Judge 验证 + 跨模型复审 + 人工抽检;公开后即可用作评测协议。**算力**:底层使用 Gemini 3 Flash(MLLM)+ Nano Banana 2(TI2I)+ Veo 3.1(TI2V),均为商用闭源 API;开源骨干实验另使用 LTX-Video 0.9.8 (13B) 和 Wan 2.2 (5B),30 denoising steps、704×480 分辨率,单卡 A100 级别即可运行。每段视频至多 6 段+6 张图,MLLM 推理 <$0.5/segment(不含视频/图像生成),整体生成一条 5 分钟视频大概需要 20-40 分钟的 wall-clock time(视硬件)。**复现难度**:中等偏低偏中等——主要工作量在 prompt 工程和 rubric 调参,论文给出了较详尽的 MLLM 调用公式 (1)-(11) 与 prompt 结构(E.1-E.5),但没有公开具体的 few-shot 案例和 rubric 阈值调参记录。开源骨干的实验(Table 5)相对最容易复现,建议作为 A2RD 通用性的最简验证。
论文图表
VBench-Long 任务“女子走在日本街头”下,Naive-Par、MovieAgent、ViMax、VideoMemory、A2RD-Par、A2RD 六个方法的 8 个连续 segment 对比。Naive-Par 把女子困在 1 个静态环境里 8 秒、camera 运动不明显;MovieAgent 的角色换了好几次环境但身份混乱;ViMax 同样角色在多个粗略相同位置反复打转;VideoMemory 也只到第 2 段就缺乏推进;A2RD-Par 完成了合理的剧情推进但视野偏窄;A2RD 同时给出连贯且持续推进的叙事。
这是论文解释“被动 SAR 范式为何失败 + A2RD 为何能突破”的核心图示,集中展示了 baseline 在 narrative progression 上的 3 类典型病态(卡死、漂移、半完成),对 motivation 章节非常关键。
LVbench-C 任务“潜水员备装、下潜、回到船”的 16 段连续对比。标注了环境漂移(红色)和实体漂移(黄色):MovieAgent 让船和配饰都变了、ViMax 改了潜水服、VideoMemory 让头发/脸/脚蹼/护目镜持续变化且错误往后传;A2RD-Par 减少了一半的漂移;A2RD 把环境和实体都保持住了。
和 Figure 2 互补,集中展示“跨段一致性”这一类具体问题(头发/配饰/船只布局的莫名变化),是 HITS+MVMem 设计最直接的可视化依据,强烈建议放在 method/results 之间。