← 返回 2026-05-11

A2RD:长视频一致性生成的智能体自回归扩散模型 A^2RD: Agentic Autoregressive Diffusion for Long Video Consistency

Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le 📅 2026-05-07 👍 15 2026-07-13 08:36
多模态记忆 扩散模型 智能体系统 测试时自改进 视频生成 长视频一致性

用智能体闭环+多模态记忆+分层自改进,把分钟级长视频一致性提升30%、叙事连贯性提升20%。

前置知识

扩散模型(Diffusion Model)

通过学习数据分布的逐步加噪与去噪过程来生成样本的生成模型。视频扩散模型(TI2V, Text-Image-to-Video)在此基础上引入文本与可选图像作为条件,输出一段连续视频帧,如本文使用的 Veo 3.1、LTX-Video 0.9.8 (13B)、Wan 2.2 (5B) 等。

A2RD 是一种 model-agnostic 的控制框架,依赖底层扩散模型提供的基础生成能力(每段视频约 5 秒级),理解这一点有助于看出 A2RD 的贡献完全发生在推理流程层面,无需重新训练扩散模型。

自回归视频合成(Autoregressive Video Synthesis)

将长视频拆成多个片段(segment/clip),按时间顺序逐段生成,前一段的末帧或记忆作为后一段的条件。包括帧自回归(FAR,逐帧生成)和片段自回归(SAR,按段生成)两类;并行方法(Par)则同时合成所有段再用边界帧插值。

A2RD 是 SAR 范式的延伸,但通过将一致性维护从被动条件化升级为主动闭环检索-精炼,理解 SAR 的失败模式(错误传播、片段间不一致)是把握 A2RD 改进点的关键。

多模态大语言模型(MLLM)

能够同时理解文本与图像/视频的多模态语言模型。在 A2RD 中扮演“推理代理”角色,负责解析剧情、检索相关上下文、生成图像/视频 prompt、评估生成质量(如 Gemini 3 Flash)。

A2RD 的核心创新之一是让 MLLM 既做规划又做评判,使整个生成过程变成一个可监督、可纠错的智能体流程,这是与现有被动生成系统的本质区别。

测试时自改进 / Test-Time Scaling(TTS)

在推理阶段投入额外算力(如多次采样、迭代重写 prompt、闭环优化)来提升生成质量的技术,常见形式包括 best-of-N、迭代精炼、prompt 优化等。

A2RD 提出了 HITS(HIerarchical Test-time Self-improvement)框架和 MAPO(Memory-Augmented Prompt Optimization)算法,把 TTS 从单段质量优化扩展到跨段一致性维护,是论文在生成范式上的重要贡献。

文本到图像模型(TI2I)

给定文本 prompt 生成单张图像的扩散模型(如 Nano Banana 2)。在 A2RD 中被用于合成全局参考帧、片段首末边界帧等中间图像。

A2RD 用 TI2I 显式合成边界帧和全局实体/环境参考图,作为长时记忆的一部分,这种“先把关键帧定下来再让视频扩散模型填空”的策略是控制一致性的关键技巧。

研究动机

现有长视频合成方法在分钟级到小时级时长上遭遇两类失败:时间一致性退化(semantic drift, narrative collapse)与叙事连贯性丧失。帧自回归(FAR)方法如 Huang et al. 2025a、Yang et al. 2026a 逐帧生成,出错帧被冻结为后续所有条件,错误雪球式累积、叙事可控性差;片段自回归(SAR)方法如 An et al. 2026、Zhou et al. 2026 段间一致性难维持——Figure 3 潜水员示例中 MovieAgent、ViMax、VideoMemory 出现角色头发/面部/配饰/船只布局的非预期漂移;并行方法(Wang et al. 2026、Wu et al. 2025b)则因边界帧规划不合理导致过渡生硬。Figure 2 显示“女子走在日本街头”中 Naive-Par、MovieAgent、ViMax 把主角困在同一环境 8 秒不推进剧情,VideoMemory 也只完成一半合理进度。根源在于:现有方法是被动(passive)、开环(open-loop)的,既无结构化世界状态记忆,也无生成后自我纠错能力。

本文的目标是A2RD 的目标是把长视频合成从“一次性、条件化地”生成,转变成一种智能体式的(agentic)、闭环的(closed-loop)自我改进过程:每合成一个片段,智能体都会从记忆中检索相关上下文、动态选择生成模式、合成并自检边界帧和视频片段、最后把新信息回写到记忆中。论文希望该框架在 1-10 分钟、单场景与多场景混合、不同扩散骨干(Veo 3.1、LTX-Video 0.9.8、Wan 2.2)下都能稳定地把一致性和叙事连贯性提升 20%-30%,且保持训练免费(training-free)。

与已有工作不同的是,A2RD 的独特切入角度是把“一致性维护”和“创造性合成”解耦:用结构化的多模态记忆(MVMem)承担一致性职责,用 HITS 闭环自改进承担纠错职责,二者通过 Retrieve–Synthesize–Refine–Update 循环协同。区别于已有方法只把记忆当参考图像库(Zhou et al. 2026 VideoMemory)、或只在单段上做测试时扩展(Long et al. 2026 VISTA、RAPO 等),A2RD 的记忆同时维护文本状态(Visual Arcs、Spatial Relations、Camera 轨迹)、关键帧和视频片段本身,并通过自适应选择外推/插值模式、HITS 分层自改进与 MAPO 基于历史案例的 prompt 优化,第一次把 TTS 扩展到跨段一致性与叙事连贯性。此外,论文针对现有基准缺乏“实体消失-重现+状态变化”这一真实长程挑战的问题,发布新基准 LVbench-C,用 120 个 text-only 场景、3-10 分钟三档时长、4 类演化状态,对长视频一致性做了更严苛的协议化。

核心方法

A2RD 的整体思路是“边生成边自检”:把长视频拆成若干片段(segment),每个片段由一个 MLLM 智能体负责全流程控制。首先在生成前对用户给定的剧情 $S = \{S_1, \dots, S_N\}$ 和可选参考图 $\mathcal{R}_u$ 进行全局规划,用 MLLM 识别出所有需要的实体和环境,并交给 TI2I 模型按依赖图 $\mathcal{G}$ 拓扑排序后合成出全局参考帧集 $\mathcal{R}$,作为长期记忆的一部分。然后进入闭环流水线:每生成第 $i$ 个片段时,智能体先根据剧情是否切换环境自适应选择外推或插值模式;接着从 MVMem 中检索 top-$k$ 个最相关的历史片段的文本状态、关键帧与视频;再合成边界帧(首帧和可选的末帧)并对它们做帧级 HITS 自改进;之后用 TI2V 模型生成完整片段并做视频级 HITS 自改进;最后把新片段的关键帧、视频、文本状态写回 MVMem 给后续片段使用。整个过程中,每个候选生成都会被多维度打分(8 指标/10 指标 rubric)并通过 MAPO 借助历史正/反例对比精炼 prompt。

A2RD 核心创新是把“一致性+叙事”从生成模型的负担,转变成外置智能体+记忆+自检流水线的协同责任。和已有方法的本质区别有三:(1) MVMem 把“看得见的图像”和“读得出的世界状态”显式解耦并存——文本状态 $T_j$ 由 Visual Arcs(身份/变化/运动)、Spatial Relations(主-关系-宾三元组)、Camera states 三部分组成,层级化地从 begin frame $T^F_j$ 和完整 segment 中分别抽取,让智能体能对“角色头发是否一致、相机轨迹是否合理”做显式校验,不像 VideoMemory 那样只靠隐式图像库;(2) HITS 把 TTS 从单段质量优化(VISTA)升级为层次化闭环——边界帧 8 维 rubric 验证后决定 Edit/Regenerate,视频片段 10 维 rubric 验证、缺末帧时联合优化末帧与 prompt,从而把“单帧错则全盘错”的瀑布式失败掐断;(3) MAPO 把每次精炼变成可学习案例:$\mathcal{D}=\{(P,P^*,\mathcal{Q},\ell)\}$ 存正/反例、按 $(\mathcal{Q},P)$ 嵌入检索、对比给出针对性修改建议,让 prompt 优化从无状态升级为有案例库的闭环。

方法步骤详情

A2RD 流水线分四步。**Step 1 MVMem 初始化**:MLLM 用 $MLLM_{entplan}$、$MLLM_{bgplan}$、$MLLM_{cap}$ 从用户剧情 $P$、分段 $\mathcal{S}=\{S_1,\dots,S_N\}$、参考图 $\mathcal{R}_u$ 推出 $\mathcal{P}^R$;$MLLM_{dep}(\mathcal{P}^R)$ 构 DAG $\mathcal{G}$,按拓扑顺序用 TI2I 合成 $\mathcal{R}=\mathcal{R}_{bg}\cup\mathcal{R}_{ent}\cup\mathcal{R}_u$。**Step 2 闭环生成第 $i$ 段**:(a) $MLLM_{mode}(\mathcal{S})$ 按式 (2) 选 $\text{mode}_i$;(b) 检索 top-$k$ 文本/帧/视频上下文;(c) 合成 $F^i_{begin},F^i_{end}$,8 维 rubric 后 Edit/Regenerate,按式 (8) $\arg\max \text{Agg}(\mathcal{Q}^F_i)$ 选最优;(d) 合成 $V_i=\text{TI2V}(P_i,\mathcal{F}_i,\mathcal{F}^i_{rel})$,10 维 rubric 验证、缺末帧时联合优化,按式 (10) 选最优;(e) 写回 MVMem。**Step 3 HITS**:边界帧与视频各最多 2 轮迭代,batch 3 候选,早停 9/10,每段至多 6 视频+6 图像。**Step 4 A2RD-Par**:仅保留边界帧自回归+并行段合成,延迟从 $N k_v L_V$ 降到 $L_V$。

技术新颖性

A2RD 新颖性体现在四方面。**(1) 结构化多模态记忆**:区别于 Parmar 2018、Zhou 2026 等只用图像做记忆的方案,MVMem 同时存文本状态(Visual Arcs、Spatial Relations、Camera)、关键帧、视频,并提供 Retrieve/Update 两个原子操作,让智能体能做显式的“实体是否同一人/镜头是否回到原地”这类世界一致性推理。**(2) 自适应模式切换**:把外推和插值统一为 $\text{mode}_i$ 选择;ablation 显示 always-extrap 牺牲 consistency、always-interp 牺牲 narrative,adaptive 最优。**(3) 分层 HITS**:TTS 分解为边界帧 8 维+视频 10 维两级 rubric,可独立 Edit/Regenerate;缺末帧时联合优化;batch-of-3+早停把自改进算力控制在 $<\$0.5$/segment。**(4) MAPO 记忆式 prompt 优化**:把每次精炼正/反例存进 $\mathcal{D}=\{(P,P^*,\mathcal{Q},\ell)\}$,按 $(\mathcal{Q},P)$ 嵌入检索、正负对比给出 refinement guidelines,再针对根因改写 prompt,首次把 TTS prompt 优化变成“有案例库”闭环。ablation 表明去 MAPO → narrative 0.79,去 HITS → 0.74,去 MVMem → 0.72。

Overview of A2RD architecture. For each segment, A2RD retrieves relevant context from memory, adaptively determines the generation mode (extrap. or interp.), and synthesizes boundary frames followed by the video segment, with hierarchical self-improvements.
Figure 4: Overview of A2RD architecture. For each segment, A2RD retrieves relevant context from memory, adaptively determines the generation mode (extrap. or interp.), and synthesizes boundary frames followed by the video segment, with hierarchical self-improvements.
Ablation studies over A2RD's MVMem, TTS algorithms, and adaptive segment generation strategies on Vbench-Long.
Figure 5: Ablation studies over A2RD's MVMem, TTS algorithms, and adaptive segment generation strategies on Vbench-Long.

实验结果

A2RD 在 4 基准、3 骨干、1-10 分钟上均 SOTA。**VBench-Long 1 分钟**(Table 2):narrative 0.8987 vs Naive-AR 0.7466(+20%);character 0.7353 vs 0.5125/0.5729(约 +30%);environment 0.8368 vs VideoMemory 0.7273;motion 0.9935。**LVbench-C 3/5 分钟**(Table 3):3 分钟 character 0.4262 vs VideoMemory 0.3687(+16%)、narrative 0.90;5 分钟 narrative 0.95 vs 0.83、character 0.4395 vs 0.3697;motion >0.99。**人类评估**(Table 4):A2RD 平均 4.68/5 vs VideoMemory 3.93/5;character 4.89、narrative 4.75、transition 4.34、reference 4.91。**长程一致性**(Figure 7):5 分钟滑窗 1-40 基线单调下降,A2RD 保持 96.7% character、91.8% environment、95.0% object;10 分钟仍达 90.5%/84.0%/91.5%。**测试时扩展**(Figure 6):候选 0→6 时 consistency 0.73→0.78、coherence 0.74→0.90,显著优于 Naive-AR 和 VideoMemory。**跨骨干泛化**(Table 5):LTX-Video 0.9.8 (13B) narrative 0.59→0.79;Wan 2.2 (5B) narrative 0.67→0.80、environment 0.59→0.78。**消融**(Figure 5):去 MVMem → narrative 0.72;去 HITS → 0.74;去 MAPO → 0.79;adaptive 模式全局最优。

Comparison of text-to-video generation benchmarks.
Table 1: Comparison of text-to-video generation benchmarks.
Experiments on VBench-Long expanded to 8 continuous scenes for 1-min videos.
Table 2: Experiments on VBench-Long expanded to 8 continuous scenes for 1-min videos.
Experiments on LVbench-C for multi-scene 3-min and 5-min video synthesis.
Table 3: Experiments on LVbench-C for multi-scene 3-min and 5-min video synthesis.
Human evaluation results on 40 VBench-Long samples (1–5 scale).
Table 4: Human evaluation results on 40 VBench-Long samples (1–5 scale).
Experimental results with two open-source TI2V models.
Table 5: Experimental results with two open-source TI2V models.
Examples of 1m and 5m videos generated by A2RD with Veo 3.1, showcasing consistent and coherent stories in static, dynamic, and multi-shot environments.
Figure 1: Examples of 1m and 5m videos generated by A2RD with Veo 3.1, showcasing consistent and coherent stories in static, dynamic, and multi-shot environments.
Consistency versus scaling #videos per segment.
Figure 6: Consistency versus scaling #videos per segment.
Consistency scores as a function of scene window size (1–40). All methods are evaluated on LVbench-C, 5-minute using LLM-Judge. A2RD (Ours) consistently maintains higher consistency over extended horizons compared to baselines.
Figure 7: Consistency scores as a function of scene window size (1–40). All methods are evaluated on LVbench-C, 5-minute using LLM-Judge. A2RD (Ours) consistently maintains higher consistency over extended horizons compared to baselines.
查看结构化数据
任务指标本文基线提升
VBench-Long 单场景 1 分钟视频合成 Narrative Coherence (0-1) 0.8987 (A2RD) / 0.8082 (A2RD-Par) Naive-AR 0.7466 / VideoMemory 0.6717 / ViMax 0.6912 相对最强基线 +20.4%
VBench-Long 单场景 1 分钟视频合成 Inter-shot Character Consistency (0-1) 0.7353 (A2RD) / 0.6817 (A2RD-Par) Naive-AR 0.5125 / VideoMemory 0.5729 / ViMax 0.5552 相对最强基线 +28.4%
VBench-Long 单场景 1 分钟视频合成 Inter-shot Environment Consistency (0-1) 0.8368 (A2RD) / 0.8180 (A2RD-Par) Naive-AR 0.7148 / VideoMemory 0.7273 / ViMax 0.7015 相对最强基线 +15.1%
VBench-Long 单场景 1 分钟视频合成 Inter-shot Motion Consistency (0-1) 0.9935 (A2RD) / 0.9843 (A2RD-Par) Naive-AR 0.9903 / VideoMemory 0.9777 / ViMax 0.9754 与单次扩散生成水平相当,接近上限
LVbench-C 3 分钟多场景 Narrative Coherence (0-1) 0.9000 (A2RD) / 0.8641 (A2RD-Par) ViMax 0.8600 / VideoMemory 0.8475 / Naive-Par 0.8175 相对最强基线 +4.7%
LVbench-C 3 分钟多场景 Inter-shot Character Consistency (0-1) 0.4262 (A2RD) / 0.4082 (A2RD-Par) VideoMemory 0.3687 / ViMax 0.3557 / Naive-AR 0.3519 相对最强基线 +15.6%
LVbench-C 5 分钟多场景 Narrative Coherence (0-1) 0.9500 (A2RD) / 0.8813 (A2RD-Par) VideoMemory 0.8292 / ViMax 0.7750 / Naive-Par 0.7132 相对最强基线 +14.6%
LVbench-C 5 分钟多场景 Inter-shot Character Consistency (0-1) 0.4395 (A2RD) / 0.3930 (A2RD-Par) Naive-Par 0.3785 / VideoMemory 0.3697 / ViMax 0.3570 相对最强基线 +16.1%
VBench-Long 1 分钟人类评估 Average Likert (1-5) 4.68 (A2RD) / 4.29 (A2RD-Par) VideoMemory 3.93 / Naive-AR 3.92 / ViMax 3.72 相对最强基线 +19.1%
LVbench-C 5 分钟长程一致性 MLLM-Judge 一致性比率 (char / env / obj) 96.7% / 91.8% / 95.0% Naive-AR 80.2% / 74.4% / 85.5%;VideoMemory 76.8% / 84.1% / 85.3%;ViMax 89.2% / 83.2% / 82.5% character 维度相对最强基线高约 8 个百分点,environment 维度相对最强基线高约 7 个百分点

局限与改进

作者明确承认的局限:(1) 计算开销高于基线——A2RD 每段至多 6 视频+6 图像+多轮 MLLM 推理,MLLM 部分 $<\$0.5$/segment(<10K token/调用);(2) 缺乏人类评估者一致性报告(部分视频仅 2 评审,且长视频评估主观性强);(3) 高度依赖底层组件质量——MLLM 需强指令遵循与视觉推理能力,TI2I/TI2V 需能精确生成指定身份,rubric 假设可能不适配所有创作风格与文化语境;(4) 用户研究显示 transition smoothness 和 environment consistency 仍是段式方法最薄弱之处。我们自己的观察:(a) MVMem 对 >10 分钟视频随 segment 线性膨胀,未给出系统性记忆压缩/遗忘机制;(b) 8/10 维 rubric 依赖 MLLM 主观打分,MLLM-Judge 仅 80% agreement;(c) A2RD-Par 通过并行合成牺牲了严格时空一致性,并行性 vs 严格一致性的 trade-off 仍未解开;(d) 论文主要在 Veo 3.1 上跑,开源骨干 Wan 2.2 (5B) 因不支持插值被退化为 always-extrapolate,限制了在低端模型上的可用性。

独立分析的弱点

**弱点 1:transition smoothness 仍是瓶颈**。A2RD transition 4.34 与 motion consistency 0.9935 仍有落差,场景切换常出现“人物/物件瞬间跳位”。改进:抽出 transition-only 片段用 motion-blending diffusion 生成,MAPO 库中增 transition-only rubric。**弱点 2:environment consistency 仍明显低于 character**。5 分钟 LVbench-C 上 environment 0.4119 远低于 character 0.4395,10 分钟更掉到 84.0%。改进:给环境加显式“背景状态弧”(光照、家具、季节变化)。**弱点 3:闭源依赖+推理成本**。Veo 3.1+Gemini 3 Flash+Nano Banana 2 三件套对学术复现不友好;MLLM-Judge 仅 80% agreement。改进:开源化端到端 pipeline,用 hard-negative mining 提升 MLLM-Judge 校准精度。**弱点 4:MVMem 缺少主动遗忘/压缩**。>30 分钟视频下 MVMem 线性增长,检索精度和存储压力成瓶颈。改进:引入分段摘要+分层索引(per-chapter+global),对超 N 段旧记忆执行状态归并或丢弃。

未来方向

**作者提出的方向**:(1) 把 transition smoothness 和物理环境一致性作为下一阶段重点(论文在 Limitations 明确指出);(2) 探索更轻量的 MLLM backbone 以降低推理成本;(3) 扩展到创意风格多样化(动画、电影、广告等不同域)的 rubric 适配。**基于成果可延伸的方向**:(a) 与 RLHF / DPO 结合,让 MLLM 的 rubric 判断本身可学习,进一步压缩 rubric 与人类偏好的 gap(当前 80% agreement 有提升空间);(b) 把 A2RD 的范式迁移到 3D/4D 场景生成、机器人长程任务视频、交互式游戏剧情等需要“长时记忆 + 闭环纠错”的场景;(c) 把 LVbench-C 推广为 multi-modal long-video consistency 的统一评测协议,配套发布更大规模(>1000 样本)的版本,并加入对音频/字幕等多模态一致性的检查;(d) 与 retrieval-augmented generation (RAG) 思路结合,让 MVMem 不只存自己生成的视频,也支持从外部知识库(电影片段、动作模板)检索参考,提高生成多样性和物理合理性;(e) 探索 A2RD 与可控视频编辑(inpainting / outpainting)的结合,让用户可以在生成后对单段进行精细修改而不会破坏长程一致性。

复现评估

**开源情况**:A2RD 项目页 http://dxlong2000.github.io/AARD 提供样例视频与分镜,主要代码与 prompts 据附录组织(Section E 列出了所有 MLLM prompt 模板)。**数据**:LVbench-C 共 120 个 text-only 场景(3 分钟 50、5 分钟 50、10 分钟 25),采用 human-in-the-loop 流程 + MLLM-Judge 验证 + 跨模型复审 + 人工抽检;公开后即可用作评测协议。**算力**:底层使用 Gemini 3 Flash(MLLM)+ Nano Banana 2(TI2I)+ Veo 3.1(TI2V),均为商用闭源 API;开源骨干实验另使用 LTX-Video 0.9.8 (13B) 和 Wan 2.2 (5B),30 denoising steps、704×480 分辨率,单卡 A100 级别即可运行。每段视频至多 6 段+6 张图,MLLM 推理 <$0.5/segment(不含视频/图像生成),整体生成一条 5 分钟视频大概需要 20-40 分钟的 wall-clock time(视硬件)。**复现难度**:中等偏低偏中等——主要工作量在 prompt 工程和 rubric 调参,论文给出了较详尽的 MLLM 调用公式 (1)-(11) 与 prompt 结构(E.1-E.5),但没有公开具体的 few-shot 案例和 rubric 阈值调参记录。开源骨干的实验(Table 5)相对最容易复现,建议作为 A2RD 通用性的最简验证。