过去构建未来：自回归视频生成中的记忆机制综述 The Past Frames the Future: Memory for Autoregressive Video Generation
系统综述AR视频生成的记忆机制，提出形式-功能-操作-学习-评估五维分类与记忆揭示型评估准则
前置知识
自回归（AR）视频生成
将视频抽象为 $N$ 个视觉单元（离散 token、单帧、片段或多帧块）$y_{1:N}$，按因果链式分解 $p_\theta(y_{1:N}\mid c)=\prod_{n=1}^{N}p_\theta(y_n\mid y_{<n},c)$ 依次生成。外层时间维度的因果推进与内层单元合成（离散 next-token 预测或扩散/流去噪）解耦，是流式长视频生成与交互式世界模型的自然范式，早期代表如 VideoGPT，近期如 Causal Forcing。
全文对记忆的操作性定义以“跨外层 AR 步维持的信息”为准，只有理解这一分解，才能区分活动上下文 $C_n$ 与持久记忆状态 $M_n$ 的边界。
KV 缓存（Key-Value Cache）
Transformer 注意力层中历史 token 的键/值激活 $(K^{(\ell)}_i, V^{(\ell)}_i)$ 的暂存结构。当历史 KV 被跨 AR 步维护、选择、压缩并持续影响后续生成时，它就从单纯的推理加速工具升格为隐式记忆载体，典型如 LongLive 的持久 sink KV 加滚动局部缓存、RELIC 的近远分层压缩。
隐式状态记忆是当前最主流的记忆载体，综述中数十个 *Forcing 系列方法的设计都围绕 KV 的保留、刷新、寻址与位置重映射展开。
教师强制与曝光偏差（Teacher Forcing & Exposure Bias）
训练时用真值历史构造记忆状态 $M^{\mathrm{TF}}_n$，推理时却依赖模型自生成输出递归写入记忆，导致记忆状态分布失配 $q_{\mathrm{TF},n}\neq q_{\theta,n}$。预测误差被写回记忆后会改变后续条件信号，误差沿闭环逐步累积，是长时程退化的核心来源之一。
第 6 章学习部分的主线就是缩小这一分布差距：历史增广（Diffusion Forcing 等）与 Self Forcing 等自展开训练范式全部由此问题出发。
扩散/流匹配生成
连续型 AR 视频生成器在每个单元内部通过去噪或流轨迹合成内容：$\frac{dy^{(\tau)}_n}{d\tau}=f_\theta(y^{(\tau)}_n,\tau,y_{<n},c)$，其中 $\tau$ 是内部去噪时间，与外层 AR 步 $n$ 严格区分。Causal Forcing、Self Forcing、Diagonal Forcing 等主流流式方案都建立在这一双层时间结构之上。
理解内/外两层时间尺度的分离，才能看懂带噪声级别的 VAE 记忆、KV 缓存的噪声调度设计，以及自展开训练成本 $O(NS)$（$N$ 个块 × $S$ 个去噪步）的来源。
VAE 潜空间
视频 VAE 编码器 $E_{\mathrm{VAE}}$ 将帧或片段压缩为潜表示 $m^{\mathrm{vae},0}_i=E_{\mathrm{VAE}}(x_{s_i:u_i})$，可经解码器近似还原到像素空间。潜变量与源观测保持可追溯的对齐关系，是介于像素级高保真与强压缩神经状态之间的记忆中间形态，兼顾紧凑性与视觉细节。
视觉记忆的两大子类之一就是 VAE 空间记忆，检索式方法（LongLive-RAG、MagicWorld）与 FIFO 队列式设计（FIFO-Diffusion、FramePack）都以它为基本载体。
研究动机
自回归视频生成正把领域推向长时程生成、交互式世界建模与持续演化的视觉环境，但一个根本瓶颈随之出现：实际模型必须在严格有界的上下文窗口、显存与算力下运行。标准自注意力的平方复杂度即便有 FlashAttention 等内核加速，持续增长的视觉历史仍受限于 KV 缓存存储与延迟，因此实践中的生成器只在有界局部上下文 $C_n=y_{\max(1,n-W):n-1}$ 上工作。于是实体身份、空间布局、动态状态、干预引起的因果变化等关键历史信息，往往在其相关性消失之前就离开了活动上下文。综述将由此导致的失败归纳为六类：实体遗忘（角色再现时被遗漏、复制或换人）、外观漂移（纹理颜色光照逐步偏离）、空间不一致（重访时布局几何矛盾）、动态退化（运动冻结、相位错乱）、语义漂移（事件重复、叙事矛盾）以及因果不一致（开过的门又关上、移走的物体复位）。同时，已有视频扩散与世界模型综述并未把记忆当作因果 AR rollout 的核心设计问题，往往窄化为检索或长上下文条件化；而近期工作对 memory、context、cache、history、state 等术语混用，功能相近的机制被不同名称掩盖，缺乏可系统比较的统一框架。
本文的目标是本文的目标是为自回归视频生成中的记忆机制建立统一的形式化定义与系统化分类框架。作者将记忆操作性地定义为：跨外层 AR 步维持的持久历史信息，即使其来源证据已不在局部上下文中，仍能系统性地影响后续生成——判定标准是“删除或修改该状态会改变后续输出”。在此统一框架下回答五个核心问题：❶形式：什么表示承载记忆（Forms）；❷功能：记忆需要为未来生成保留什么（Functions）；❸操作：记忆如何被写入、读取、更新、管理与集成（Operations）；❹学习：记忆行为如何在闭环 rollout 下被学习（Learning）；❺评估：如何诊断真实的记忆能力而非一般视频质量（Evaluation）。最终目标是把散落在不同术语下的上百个工作，组织成跨越系统刻画（形式/功能/操作）、系统构建（学习）与证据验证（评估）三个层次的结构化基础，并合成可组合与资源感知记忆、可信状态更新、自展开学习、交互因果记忆、标准化评估等开放挑战，为构建可靠的记忆条件化视频生成系统铺路。
与已有工作不同的是，独特切入角度有三。其一，首个面向 AR 视频生成范式的记忆专项分类：已有综述覆盖更广的生成范式，却把记忆窄化为检索或长上下文条件化的附属话题，本文首次把“有界历史访问下的时间持续性”当作核心设计问题，并明确界定收录范围（长时程与交互式世界生成，排除无跨步记忆的短视频生成）。其二，操作性的记忆判定标准：不按模块名称或载体划分记忆与长上下文，而以“信息是否被选择、压缩、索引、检索、巩固或修订等显式管理并跨步影响生成”划界，使 KV 缓存、循环状态、场景地图、LoRA 快权重等异质机制纳入同一公式 $p_\theta(y_n\mid C_n,M_n,c)$ 之下统一比较。其三，把“容量”与“有效记忆”严格区分：强调保留的状态必须准确、可访问且对后续生成有因果影响力，并据此提出记忆揭示型评估三原则——制造真正的信息差、验证被查询行为本身可执行、用配对历史等控制排除提示泄漏与先验等非记忆解释。这一评估视角与四重归因控制在已有综述中完全缺失。
核心方法
整体思路是先把问题形式化，再沿五个互补视角拆解记忆流水线。背景部分将视频抽象为 $N$ 个视觉单元 $y_{1:N}$，外层因果分解为 $p_\theta(y_{1:N}\mid c)=\prod_n p_\theta(y_n\mid y_{<n},c)$；内层单元可由离散 next-token 预测或扩散/流轨迹合成。由于实际只能访问有界窗口 $C_n=y_{\max(1,n-W):n-1}$，引入持久记忆 $M_n$ 得到记忆条件化分解 $p_\theta(y_n\mid C_n,M_n,c)$（式 6）。随后五问展开：形式篇（§3）把载体分为视觉、隐式状态、显式状态与自适应参数四类；功能篇（§4）把六类失败模式映射为身份、空间、动态、语义、因果五种保持职责；操作篇（§5）给出算子化生命周期——生成前读取 $r_n=\mathcal{R}_\beta(q_n,M_n)$ 并集成 $h_n=\mathcal{I}_\eta(C_n,r_n,c)$，生成后写入 $w_n=\mathcal{W}_\alpha(y_n,C_n,c)$、更新并做预算管理 $M_{n+1}=\mathcal{G}_\gamma(\tilde{M}_{n+1};B)$；学习篇（§6）从监督目标、记忆状态分布、记忆感知学习三个维度回答记忆如何学；评估篇（§7）给出协议-目标-指标映射与有效性控制。五问分别对应系统刻画、系统构建与证据验证三个层次。
核心贡献是一组贯穿全文的概念区分，它们与“更大容量就够了”的直觉形成本质差异。第一，记忆与长上下文的边界是操作性的而非架构性的：密集逐步消耗的近期历史属于活动上下文 $C_n$，一旦被选择、压缩、索引、检索、巩固或修订地显式管理，就进入记忆 $M_n$，与载体名称或窗口大小无关。第二，容量≠可访问性≠有效性：远距离 KV 状态可能仍被存储，却因时间偏移超出训练分布而难以被注意（WorldTrace 用位置重映射解决），量化键会引入注意力偏置（Quantized Keys Steal Attention），检索出的正确证据也可能因注入太弱而被局部上下文淹没——存储、寻址、利用是三个相互独立的瓶颈，这解释了为什么单纯扩大存储或上下文不必然改善记忆。第三，存储的历史证据与当前被认可的世界状态估计应当分离：记忆不只是过去观测的档案，更是可修订、可验证、可回滚的世界状态。第四，评估上坚持“视频质量好不等于有记忆”：只有当正确输出依赖于已不在当前条件中的早期历史时，评估才是记忆揭示型的，单纯延长时长并不构成记忆测试。这些区分共同支撑了结论：有效记忆超越容量，必须是准确、可访问且有因果影响力的。
方法步骤详情
第一步（形式，§3）按载体四分类：视觉记忆保留与观测对齐的证据，分像素空间（StreamingT2V 首块锚定、Context-as-Memory 位姿检索）与 VAE 空间（FIFO-Diffusion 潜帧队列、LongLive-RAG 潜块检索）；隐式状态记忆存模型原生神经状态，含 KV 缓存（LongLive 的 sink+滚动、RELIC 近远分层）、循环/状态空间状态（VideoSSM、RAD，规模与 rollout 无关）与编码历史；显式状态记忆存类型化世界变量，如实体记录（VideoMemory）与世界对齐几何（PERSIST 潜 3D、VMem surfel 索引）；参数记忆把历史写入权重（LaCT 大块 TTT、SlowFast-VGen 时间 LoRA、ISPA 闭式吸收被驱逐 KV）。第二步（功能，§4）把六类失败映射为身份/空间/动态/语义/因果五种保持职责，并要求选择性不变性：该不变的保持、该变化的放行。第三步（操作，§5）归纳生命周期各环节策略：写入分穷举/锚点/效用/转移触发/结构化绑定五类；读取分时间/内容/语义/空间/状态条件/注意路由六路；更新含追加、循环巩固、缓存刷新重映射、结构化与世界状态转移、纠正性修订；管理含滚动截断、锚点多层、效用 TopK、压缩与有效性感知遗忘；集成分拼接、交叉注意、KV 注入、门控调制与几何投影。第四步（学习，§6）覆盖三级目标、三种状态分布（教师强制、历史增广、自展开）与四种记忆感知学习（保留/压缩/检索/适应）。第五步（评估，§7）按记忆依赖强度为 33 个基准分级，给出五类信息差协议与四重有效性控制。
技术新颖性
技术新颖性体现在组织方式而非单点方法。首先，统一的记忆条件化公式让离散 token、帧、块级生成与扩散/流内层共用一套外层因果逻辑，使跨范式、跨载体比较成为可能。其次，操作级标注体系（表 6-7）极具原创性：用 EA/SI/CRR/Rev/KVI 等操作代码、Frame/Block/Chunk/Shot 触发节奏与规则/学习/混合策略标签，对约 70 个方法逐一标注写/读/更新/管理/集成的实现，把 LongLive 这类“训练即缓存设计”与 PERSIST 这类“显式世界状态”放到同一张可横向比较的操作表上。第三，功能视角揭示失败模式与保持职责的对应关系，并提出耦合功能分析（指涉耦合、时空耦合、干预耦合），指出单一载体无法同时满足五种职责，实用系统必须组合多种载体并保持一致。第四，评估篇首次系统给出记忆依赖强度分级：记忆导向基准、相邻理解-记忆基准、序列压力测试与组件级消融四档，并给出配对历史、前提检查、组件干预、评估器校准四重归因控制，把记忆评估从指标问题升维为实验设计问题。对领域而言，它把碎片化的工程直觉升华为一张可检索的设计空间地图，其符号体系（表 1）可直接作为后续论文的公共语言。
实验结果
作为综述，其“结果”是对领域的系统化发现而非实验数字。发现一：长时程失败可分解为四个不同瓶颈——丢弃关键观测、维护错误或过期状态、正确状态不可访问、检索到却未被利用；同一视觉症状可能对应不同瓶颈，需要不同药方，这解释了更长上下文与更大存储为何不必然改善记忆。发现二：各载体存在清晰权衡——视觉记忆保真高但存储线性增长且把自生成伪影写回；KV 缓存有界但面临锚点过期、位置失配与量化偏差；循环/SSM 状态规模固定但牺牲情景可分性、错误传播不可逆。发现三：训练-部署记忆状态分布失配 $q_{\mathrm{TF},n}\neq q_{\theta,n}$ 是长时程失败的核心来源；自展开训练最直接，但 $N$ 块×$S$ 去噪步需 $O(NS)$ 次串行评估。发现四：评估现状严重不均衡——33 个生成侧基准中仅记忆导向子集构成真信息差：WBench gated round-trip 含 289 案例/1,058 轮，WRBench 在 9,600 条视频中设 2,073 条隐藏-回归样本，EntityBench 用 140 集/2,491 镜头测纯名称再现；而 VBench-Long 等只测可见一致性，不构成记忆证据。发现五：延迟动作效应与目标/叙事延续协议仍缺标准化，可信更新与回滚几乎无基准覆盖，是最薄弱环节。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 实体重现（Entity Reappearance）记忆评估 | 信息差协议：消失-重现后的存在性+身份+属性一致性 | 提出三重有效性控制：确认实体真正离开可观测上下文、后续提示不得复述待回忆的外观、先验证重现成功再评身份；代表基准 EntityBench（140 集/2,491 镜头，纯名称再现）、MBench、MemoBench（4.1-5.4s 输出） | VBench 类可见一致性测试：目标始终可见或可从当前脚本恢复，成功不构成记忆证据 | 把评估从“测时长/测画质”转向“测信息差”，并区分保留成功与表达失败两个方向 |
| 场景重访（Scene Revisitation） | 位姿闭合误差、PSNR/SSIM/LPIPS、深度/重投影误差、Chamfer 距离、3D P/R/F1 | 归纳 WBench（289 案例/1,058 轮 gated round-trip）、WRBench（9,600 视频中 2,073 条隐藏-回归）、LiveBench（100 场景/400 序列/260 帧）、WorldRoamBench（10-60s/300-1,100 帧执行路径重访）、MAG-Bench（176 条 ~10s 对称离返）等协议族 | InterVBench 等 1,000 条分钟级视频的逐块漂移（VDE）可见一致性压力测试 | 要求相机真正离开、目标不可用且返回位姿可比，避免把轨迹/控制失败混淆为记忆失败 |
| 视野外状态演化（Out-of-View State Evolution） | 状态/进度准确率、事件谓词、因果顺序检查、VQA/VLM 评分 | 总结 MemoBench、StEvo-Bench、LiveBench 的隐藏过程协议：可见过程在视野外继续演化，重现后查询更新后的状态；并要求先用可见条件验证模型能生成该状态转移，再解释记忆归因 | 与单帧参考做像素级重建对比（对多种合法视觉实现过于苛刻） | 把评估目标从“重建旧图像”改为“识别最新有效状态”，并配套过程感知与物理数据集作为前置控制 |
| 记忆学习范式对比 | 训练/部署记忆状态分布匹配度 $q_{\mathrm{TF},n}$ vs $q_{\theta,n}$ 及算力成本 | 系统化三级范式：教师强制（并行高效但分布失配）→ 历史增广（式 58 的变换核 $K_\psi$ 注入噪声/掩码/时序化腐坏）→ 自展开（Self Forcing 等直接采样 $q_\theta$，但 $N$ 块×$S$ 步需 $O(NS)$ 次串行去噪评估） | 纯教师强制训练（ACDiT、Ca2-VDM、GPDiT 等，可完全并行但完全回避模型自生成误差） | 给出覆盖广度-监督范围-优化成本的统一权衡分析框架，指出残余分布差距与梯度截断的代价 |
| 操作生命周期分类覆盖 | 写/读/更新/管理/集成五维操作编码覆盖率与策略标注 | 以 EA/SI/CRR/Rev 等操作代码 + Frame/Block/Chunk/Shot 触发节奏 + 规则/学习/混合策略三维标签，对约 70 个方法完成操作级标注（表 6-7），例如 LongLive 标注为 EA+AA 写入、TR 读取、CRR+Rev 更新、AMR+RT 管理、KVI 集成 | 既有综述按方法名/模块名罗列、或仅按离散-连续生成范式二分的组织方式 | 使 KV 缓存、检索库、显式地图、参数记忆等异质载体方法首次可在同一操作维度上横向比较与组合 |
局限与改进
作者承认的局限：领域快速演化，欢迎社区补充遗漏工作（文末给出联系邮箱与 GitHub 仓库）；延迟动作效应与目标/叙事延续协议尚不成熟，现有交互基准（如 WBench 在当前轮内评分状态改变）未真正标准化“延迟查询”；组件级消融的结论绑定于特定架构，只能提供机制内证据，无法替代模型无关的记忆基准。笔者的补充观察：其一，广度有余、定量不足——综述未对收录方法做任何统一指标下的定量横向对比，读者无法直接得知 LongLive 与 RELIC、检索式与循环式在同一协议下的实际差距；其二，分类边界存在重叠，大量混合方法（如 Memory Forcing 同时是空间检索+混合训练，HippoCampus 同时是快权重+分层压缩）被多表重复收录，交叉引用负担较重；其三，“未来效用在写入时不可观测”这一被反复强调的根本困难，文中提出的对策（前瞻效用估计、反事实移除）仍停留在概念层面，缺少可操作的数学形式化；其四，评估篇对“某基准是否真正制造信息差”的 MD 标注依赖人工研读协议，标注过程本身未做可靠性验证；其五，对音频-视觉、多模态记忆与具身行动记忆的覆盖有意收窄（WAM 仅选择性讨论），框架向这些方向的推广仍需后续工作。
独立分析的弱点
独立分析的弱点：其一，综述未提供可运行的诊断套件或统一排行榜，五维分类虽完整，实践者仍需自行拼装协议与指标，短期可操作性有限——改进方向是把表 9 的协议-指标映射直接实现为开源评估工具包。其二，对参数记忆的可逆性问题着墨不足：LoRA/快权重吸收错误历史后如何检测、隔离与回滚，文中仅以“版本化、回滚”一笔带过，可与优化文献中的信任域、影子参数、低秩更新谱分析对接形成具体方案。其三，检索绑定错误（binding error）被识别为语义寻址的特征失败模式——错误查询会召回内部连贯但属于其他实体的证据，导致身份交换——但没有给出检测与修复的系统方案，可引入实体链接的不确定性估计与多证据交叉一致性校验。其四，显式几何记忆的误差传播（位姿漂移→持久地图腐化→后续生成反复强化同一空间错误）只在风险栏提及，可借鉴 SLAM 的回环检测、鲁棒核函数与关键帧选择机制实现自动纠偏。其五，记忆学习篇的成本分析以自展开为主，对长上下文蒸馏、合成数据回放等替代路线缺少算力-效果对比，难以指导资源受限团队选型。其六，五类保持职责之间的耦合失效（如实体身份正确但位置与轨迹矛盾）被正确指出，但缺少面向耦合失效的专门协议设计。
未来方向
作者提出的六大开放方向：统一与可组合记忆——为四类载体建立共享接口（公共实体 ID、时间戳、坐标框架、来源、置信度与有效期），支持选择性访问、跨载体一致性检查与局部修订；资源感知记忆——把保留决策当作前瞻效用问题，估计复发可能性与遗忘后果，用反事实移除识别关键证据，在重访/交互处动态重分配有界访问预算；可信记忆更新——区分证据与当前有效状态，携带来源与置信度，做选择性、局部化、可逆修订并支持版本回滚，在闭环中暴露矛盾证据训练纠错；自展开学习——以 rollout 深度课程、失败轨迹重放与记忆条目干预提高对部署分布 $q_\theta$ 的覆盖并解决远程信用分配；交互与因果记忆——把干预链接的状态转移当一等公民记忆，支持 code-as-memory、分支隔离与反事实生成，发展 act-wait-query 式训练评估；可比评估协议——从端点分数走向阶段化诊断画像，区分保留/状态正确/可访问/被利用四级失败，联合报告历史-查询间隔与资源开销。可延伸方向：将框架迁移到世界-动作模型与具身智能体，与 LLM agent 记忆文献互引，并开发跨载体记忆一致性的形式化验证工具。
复现评估
作为综述无需复现实验，其“可复现性”体现在知识工件：配套 GitHub 仓库 Awesome-AR-Video-Memory 持续收录文献并接受社区补充；正文提供完整符号表（表 1）与统一记号，五张主分类表（表 2-7）可直接当方法索引使用；arXiv 编号 2609.28466，2026 年 9 月发布，78 页，25 位作者来自 HKUST、CityU、FDU、CMU、NYU、NUS、NVIDIA、UC Merced 等 16 家机构，HuggingFace Daily Papers 35 个赞。若要复现其中讨论的单个方法，需回到原始论文：轻量推理侧机制（sink KV、滚动缓存、KV 重映射）单卡即可实验；自展开训练（Self Forcing 类）与大规模长视频流式微调需要多卡训练资源与数天量级时间；显式 3D 记忆方法还依赖位姿估计、深度估计等感知前端，工程链路更长。用该综述入门一个方向约需通读对应章节加 3-5 篇代表工作，难度中等；真正的门槛在于评估——多数信息差基准（WBench、WRBench、EntityBench 等）需从各自出处获取，协议细节不完全统一，按第 7 章原则自建协议则是可行且被作者明确鼓励的路线。
论文图表
左图对比离散 token 自回归与连续帧/块生成两种范式，说明它们内层合成过程不同但共享相同的外层因果 rollout；右图展示在有界局部上下文 $C_n$ 之外，持久记忆状态如何与当前上下文及外部条件一起条件化逐步生成器，从而近似全历史生成。
该图直观呈现了论文的核心形式化（式 1-9）：为什么需要记忆、记忆如何嵌入 AR 分解，是理解全文记号体系的起点。
展望篇路线图：上路径刻画三个演进阶段——从异质载体到统一资源感知记忆、从门控更新到可信自展开学习、从动作条件世界模型到交互式可分支因果记忆；下路径展示从新兴记忆导向基准到保留/归因/效率标准化评估的并行演进。
概括第 8 章六大开放挑战之间的耦合关系，帮助读者理解领域下一步的整体走向与研究机会分布。
续表：覆盖循环/SSS 方法（RAD、MemoryPack、Echo-Infinity）、显式状态方法（Voyager、PERSIST、ActWorld、VideoMemory 等）与参数记忆方法（ISPA、SlowFast-VGen、LaCT、HippoCampus）的操作级标注，例如 ActWorld 标注为 TW 事件触发写入、SA 语义寻址读取、WST 世界状态转移更新。
补全操作版图，清晰显示显式状态方法的读写最依赖结构化寻址（SA/SI）与状态转移（WST），与隐式方法的注意路由形成对照。