AnchorWeave：基于检索局部空间记忆的世界一致性视频生成

用局部点云记忆替代全局3D重建，实现长时域相机可控视频生成的世界一致性

前置知识

视频扩散模型 (Video Diffusion Models)

基于扩散过程的视频生成模型，通过逐步去噪从随机噪声生成视频。典型架构使用 DiT（Diffusion Transformer）作为骨干网络，配合 VAE 将视频压缩到潜在空间进行建模。训练目标是学习从带噪潜在表示 $z_t$ 恢复干净信号 $z$，通过最小化噪声预测损失 $\mathcal{L} = \|\epsilon - \epsilon_\theta(z_t, t, c)\|^2_2$。推理时从纯高斯噪声开始，通过迭代去噪生成视频。

AnchorWeave 基于 DiT 架构的视频扩散骨干（CogVideoX 和 Wan2.2），其多锚点编织控制器作为 ControlNet 模块注入骨干网络，理解扩散模型的基本原理是理解本文方法的前提。

点云 (Point Cloud)

3D 空间中离散点的集合，每个点包含三维坐标 $(x, y, z)$ 和可选的颜色、法线等属性。在本文中，每帧的局部几何通过 TTT3R 模型估计得到，表示为局部点云与对应相机位姿。点云可以从深度图和相机参数反投影得到，是 3D 重建中最基础的表示形式之一。

本文的核心创新在于用每帧独立的局部点云替代全局融合点云作为空间记忆，理解点云的性质（如不跨帧累积误差）是理解本文核心洞察的关键。

相机可控视频生成 (Camera-Controllable Video Generation)

在视频生成过程中，通过指定相机轨迹（包括位姿参数、旋转矩阵、平移向量等）来控制生成视频的视角变化。常见的控制信号包括 Plücker 嵌入、相机位姿 token、渲染的锚点视频等。用户可以指定如「向左移动→向上旋转→后退」等键盘式相机动作序列。

本文聚焦于相机可控视频生成的长期一致性问题——当相机重新访问之前看到的区域时，如何保持场景结构与历史帧一致，这是现有方法的核心瓶颈。

ControlNet 架构

一种条件注入机制，通过在预训练的扩散模型旁并行添加一个可训练的控制分支，将额外的条件信号（如边缘图、深度图、锚点视频）注入生成过程。控制分支通常镜像骨干网络的前几层结构，提取条件特征后通过加法或注意力机制融合到主干网络的对应层。

AnchorWeave 的多锚点编织控制器采用类似 ControlNet 的架构设计，注入到骨干网络的前 1/3 层，理解 ControlNet 的工作原理有助于理解条件信号如何影响视频生成。

可见性覆盖 (Visibility Coverage)

在 3D 视觉中，指从特定相机视角可以看到的场景区域。本文将记忆检索问题形式化为可见性覆盖最大化问题：选择的局部记忆应联合最大化目标轨迹上的可见区域覆盖。通过贪心策略，每步选择能带来最大新增覆盖面积的记忆，直到完全覆盖或达到检索预算上限。

覆盖驱动的检索策略是本文方法的关键设计之一，它确保检索到的记忆集合紧凑且互补，避免冗余记忆带来的噪声干扰。

研究动机

在长时域相机可控视频生成中，当相机重新访问之前观察过的场景区域时，现有方法难以保持空间一致性。具体来说，SPMem、Spatia、MagicWorld 等最新方法依赖全局 3D 点云作为空间记忆：它们从历史视频帧估计相机位姿和每帧深度图，然后将这些几何信息融合成统一的全局 3D 点云表示。然而，即使是最先进的 3D 重建模型，在密集、长时域视角下也难以维持准确的全局几何。微小的位姿估计误差或深度估计误差会导致同一表面在不同视角下被重建在略有不同的 3D 位置上。当这些不一致的局部几何融合在一起时，误差会累积为有噪声的几何结构。论文 Figure 1(a) 中间列展示了这种全局 3D 重建引入的伪影（artifacts）。这些有噪声的几何结构会「污染」渲染的锚点视频条件信号，导致生成视频中出现鬼影（ghosting）、漂移（drift）和幻觉内容（hallucinated content），如 Figure 1(b) 红色框所示。在 RealEstate10K 和 DL3DV 等数据集上，现有方法的 PSNR 仅为 16-21 dB，SSIM 仅为 0.52-0.67，表明长期一致性仍有很大提升空间。

本文的目标是本文的具体目标是构建一个能够在任意长时域内保持世界一致性的视频生成框架。具体而言，AnchorWeave 旨在：（1）避免全局 3D 重建引入的跨视角不一致问题，通过维护每帧独立的局部几何记忆来提供干净的几何条件信号；（2）实现高效的覆盖驱动记忆检索，从大量历史局部记忆中选择最相关且互补的子集；（3）通过多锚点编织控制器学习协调多个可能仍有残余不一致性的局部锚点视频，将其融合为统一的条件信号；（4）在 RealEstate10K 和 DL3DV 数据集上超越现有方法的质量和一致性指标，同时在开放域场景和长时域探索中展现良好的泛化能力。

与已有工作不同的是，本文的独特切入角度在于对「全局 3D 记忆」范式的根本性质疑。现有工作（SPMem、Spatia、MagicWorld）都将历史信息融合为单一的全局 3D 场景表示，认为更多的几何融合会带来更好的一致性。但本文洞察到：跨视角的对齐误差是不可避免的，而全局融合恰恰是这些误差累积和放大的根源。因此，AnchorWeave 采取了完全相反的策略——用多个干净的每帧局部几何记忆替代一个有噪声的全局记忆。这个洞察的核心在于：局部点云不需要跨视角融合，因此不会累积鬼影或漂移伪影，能为渲染提供更干净的几何信号。虽然渲染的锚点视频可能仍有残余不一致，但将这些不一致的协调视为一个可学习的问题，通过多锚点编织控制器在生成过程中解决。这种「化整为零、学习协调」的思路是本文与已有工作的本质区别。

核心方法

AnchorWeave 的核心思想可以用一个比喻来理解：想象你在画一幅巨大的壁画。传统方法（全局 3D 记忆）试图先用很多张照片拼接出一个完整的 3D 模型，然后从这个模型渲染参考图来指导绘画——但拼接总有误差，渲染出的参考图也有伪影。AnchorWeave 的做法则不同：它保留每张照片作为独立的参考（局部记忆），在需要画某个区域时，检索出最相关的几张照片作为参考，并通过一个学习到的「调色板」（多锚点编织控制器）将这些参考融合为统一的指导信号。技术路线上，给定历史视频帧序列，AnchorWeave 首先用 TTT3R 模型估计每帧的局部几何（局部点云）和相机位姿，建立空间记忆库。给定目标相机轨迹，通过覆盖驱动检索策略选择最相关的 K 个局部记忆，渲染为 K 个锚点视频。这些锚点视频连同检索到目标的相对相机位姿一起送入多锚点编织控制器，通过共享跨锚点注意力和位姿引导融合生成统一的条件信号，注入视频扩散骨干网络指导生成。

AnchorWeave 最本质的创新在于用「多个干净的局部记忆 + 学习协调」替代「一个有噪声的全局记忆」。现有方法（如 SPMem）将所有历史帧的几何信息融合为单一全局点云，然后从这个全局点云渲染锚点视频作为条件。问题在于，深度估计和位姿估计的微小误差会在全局融合时累积——同一面墙在不同帧中被重建在略微不同的 3D 位置，融合后形成有噪声的几何。AnchorWeave 的核心洞察是：如果每帧的局部点云不参与跨帧融合，就不会累积这些误差，从而保持干净。虽然多个局部锚点视频之间仍可能存在残余不一致（比如同一个物体在不同锚点中的位置略有差异），但这种不一致可以通过学习来协调。具体来说，多锚点编织控制器中的位姿引导融合模块会根据每个锚点与目标视角的几何邻近度分配重要性权重——位姿差异小的锚点获得更高权重，从而有效抑制不一致的锚点信号。这种设计的精妙之处在于：它将「消除几何误差」这个困难的 3D 重建问题，转化为「学习融合权重」这个相对简单的条件生成问题。

方法步骤详情

AnchorWeave 的完整流程包含三个核心步骤，以更新-检索-生成的迭代循环运行：（1）局部几何记忆构建（Sec. 3.2）：输入为历史视频帧序列，使用预训练的 TTT3R 模型估计每帧的局部点云和相机位姿。每帧的记忆表示为一个局部点云及其相机位姿，变换到共享世界坐标系后作为独立的空间记忆条目存储。对于新生成的帧，可以增量更新记忆库。（2）覆盖驱动记忆检索（Sec. 3.3）：输入为目标相机轨迹（长度 T），将其分为 T/D 个时间块（每块 D 帧）。对每个块，首先通过粗略的视场（FoV）重叠测试过滤候选记忆池。然后采用贪心策略迭代选择能带来最大新增可见覆盖的局部记忆，直到可见区域完全覆盖、候选池耗尽或达到最大检索数 K。对于每个检索到的记忆，在目标轨迹上渲染锚点视频，并计算检索到目标的相对相机位姿（刚性变换）。各块的锚点视频在时间维度上拼接，形成 K 个长度为 T 的锚点视频。（3）多锚点编织控制器生成（Sec. 3.4）：输入为 K 个锚点视频及其相对位姿序列。每个锚点视频通过 3D VAE 编码为潜在特征，送入多锚点编织控制器。控制器由 DiT-based ControlNet 块组成，在每个去噪层中：首先将 K 个锚点潜在特征拼接为 $1 \times (K \cdot L_a) \times C_a$ 的序列，通过共享注意力块进行跨锚点信息交换；然后用轻量 MLP 编码相对位姿，产生每个锚点的重要性权重；最后通过加权求和得到融合控制特征，注入骨干网络对应层。新生成的帧更新到记忆库，支持下一轮迭代生成。

技术新颖性

AnchorWeave 在技术上有多处新颖性：（1）局部 vs 全局记忆范式的转变：这是首次系统性地论证全局 3D 记忆的缺陷并提出局部记忆替代方案。SPMem 等工作依赖全局点云，而 AnchorWeave 证明了局部记忆在避免跨视角误差累积方面的根本优势，实验显示 PSNR 从 16.31 dB（全局）提升到 20.96 dB（局部），提升达 28.5%。（2）覆盖驱动检索策略：不同于简单的轨迹重叠或关键帧选择，本文将记忆检索形式化为可见性覆盖最大化问题，采用贪心算法逐步选择互补记忆，确保检索集合紧凑高效。（3）多锚点编织控制器设计：共享跨锚点注意力允许跨锚点信息交换，使控制器能聚合互补证据同时抑制矛盾信号；位姿引导融合通过学习到的 MLP 根据几何邻近度分配锚点权重，实现了对残余不一致的自适应协调。这种将几何一致性问题转化为学习问题的思路具有重要启发意义。（4）多锚点 vs 单锚点的系统验证：实验表明即使 K=1 时 AnchorWeave 也优于所有基线，而 K=4 时进一步提升，验证了多锚点条件的有效性。

实验结果

AnchorWeave 在 RealEstate10K 和 DL3DV 两个数据集上进行了全面评估，共使用 500 个视频进行测试。每个视频采样 70 帧，49 帧作为目标段，21 帧作为历史上下文。核心发现如下：（1）整体性能最优：在 CogVideoX-5B 骨干上，AnchorWeave（K=4）获得总质量分 80.30，超越所有基线，包括 SEVA（79.66）、ViewCrafter（78.58）和 Context-as-Memory（78.07）。使用 Wan2.2-5B 骨干时进一步提升至 80.98。（2）一致性显著提升：AnchorWeave 在 PSNR 上达到 20.96 dB（CogVideoX）和 21.04 dB（Wan2.2），相比最强基线 SEVA 的 21.13 dB 接近或持平，但 SSIM 达到 0.6727（CogVideoX）和 0.6739（Wan2.2），与 SEVA 的 0.6711 相当。相比 SPMem 的 17.25 dB / 0.5710 提升显著。（3）时序质量优势明显：在 Motion Smoothness（96.21 vs SEVA 的 94.31）和 Temporal Flickering（93.90 vs SEVA 的 91.00）上领先明显，得益于保留了预训练视频骨干的运动先验。（4）局部 vs 全局记忆验证：使用局部点云记忆相比全局点云，PSNR 从 16.31 提升到 20.96（+28.5%），SSIM 从 0.5345 提升到 0.6727（+25.9%），直接验证了局部记忆范式的优势。（5）多锚点有效性：从 K=1 到 K=4，PSNR 从 19.01 提升到 20.96（+10.3%），SSIM 从 0.6145 提升到 0.6727（+9.5%），表明更多锚点提供互补的空间证据。（6）相机控制能力：在单帧输入设置下，AnchorWeave 的旋转误差为 0.61，平移误差为 1.72，均优于所有基线（SEVA: 0.78/1.96，Gen3C: 0.97/1.98）。（7）开放域泛化：在从未训练过的开放域场景（如木屋、小巷、帆船）和第三人称游戏场景中，AnchorWeave 展现了良好的泛化能力，能够生成 241 帧的长时域一致性视频。

**Table 1**: RealEstate10K 和 DL3DV 上的定量结果对比

查看结构化数据

任务	指标	本文	基线	提升
视频生成质量（总分）	Total Quality Score	80.98 (Wan2.2-5B)	79.66 (SEVA)	+1.32
重建保真度	PSNR (dB)	21.04 (Wan2.2-5B)	21.13 (SEVA)	-0.09 (持平)
结构相似性	SSIM	0.6739 (Wan2.2-5B)	0.6711 (SEVA)	+0.0028
运动平滑度	Motion Smoothness	96.45 (Wan2.2-5B)	94.31 (SEVA)	+2.14
时序闪烁	Temporal Flickering	94.15 (Wan2.2-5B)	91.00 (SEVA)	+3.15
相机控制（旋转）	Rotation Error (↓)	0.61	0.78 (SEVA)	-0.17 (降低21.8%)
相机控制（平移）	Translation Error (↓)	1.72	1.96 (SEVA)	-0.24 (降低12.2%)

局限与改进

尽管 AnchorWeave 取得了显著成果，仍存在以下局限性：（1）依赖外部 3D 重建模型：AnchorWeave 需要预训练的 TTT3R 模型来估计每帧的局部几何和相机位姿。如果 TTT3R 的估计质量下降（例如在低纹理、透明/反射表面等困难场景下），局部记忆本身的质量也会受到影响，进而影响生成质量。（2）推理效率：每帧都需要维护独立的局部点云记忆，且每个时间块需要进行覆盖驱动检索和多锚点渲染，推理计算量相比无记忆方法显著增加。论文未报告推理时间和 GPU 内存开销的具体数据。（3）固定锚点数 K：当前方法为每个块检索固定数量的锚点（K=4），未根据场景复杂度或几何覆盖情况进行自适应调整。简单场景可能不需要 4 个锚点，而复杂场景可能需要更多。（4）训练数据局限：仅在 RealEstate10K 和 DL3DV 两个静态室内/城市场景数据集上训练，虽然展示了开放域泛化能力，但在大规模动态场景、室外自然环境等分布外场景下的表现未经定量评估。（5）VAE 潜在空间的瓶颈：锚点视频需要通过 VAE 编码到潜在空间，这个压缩过程可能丢失细粒度的几何细节，影响对精细结构的保持能力。（6）视频长度限制：虽然论文展示了 241 帧的长时域生成，但骨干网络本身限制为 81 帧，更长的序列依赖迭代生成，累积误差可能随迭代次数增加。

独立分析的弱点

从独立分析的角度，AnchorWeave 存在以下可改进的弱点：（1）检索策略的离线性：当前的覆盖驱动检索需要对整个候选记忆池进行可见性测试和贪心选择，在记忆库规模较大时（如数千帧历史）可能成为性能瓶颈。改进方向包括引入基于学习的检索模型（如使用 Transformer 对记忆进行编码，通过注意力机制隐式选择相关记忆），或构建空间索引结构（如 KD-Tree、体素网格）加速 FoV 重叠测试。（2）位姿引导融合的简单性：当前使用轻量 MLP 编码相对位姿产生标量重要性权重，这种设计假设几何邻近度是决定锚点质量的唯一因素。但在实际场景中，遮挡关系、纹理丰富度等因素也会影响锚点的可靠性。改进方向是引入更复杂的融合机制，如基于注意力的自适应融合，或考虑语义信息的条件融合。（3）缺乏全局一致性验证：虽然局部记忆避免了跨视角误差累积，但多锚点编织控制器仅在生成时隐式协调不一致，缺乏显式的全局一致性检验。可以考虑引入几何一致性损失，或在记忆库维护阶段进行局部记忆的对齐优化。（4）对 TTT3R 的强依赖：TTT3R 的质量直接影响记忆质量。改进方向包括联合训练 3D 重建和视频生成模块，或引入不确定性估计来加权记忆质量。

未来方向

基于 AnchorWeave 的框架，未来研究可以从多个方向拓展：（1）动态场景扩展：当前工作仅在静态场景上训练和评估，将框架扩展到包含运动物体的动态场景是重要方向。需要区分静态背景和动态前景，对动态物体采用不同的记忆策略（如跟踪物体级别的点云）。（2）交互式世界探索：结合强化学习或人类反馈，实现更智能的记忆检索策略，根据用户的探索意图动态调整检索优先级。（3）多模态记忆融合：除了视觉几何，将语义信息（如 CLIP 特征、物体标签）融入记忆表示，支持更丰富的条件生成（如「保持桌子上的红色花瓶」）。（4）实时生成优化：通过模型蒸馏、缓存机制或更高效的注意力设计，降低推理延迟，支持交互式实时视频世界探索。（5）更长时域的一致性保证：研究记忆库的压缩和更新策略，在有限存储下维持更长时间跨度的一致性。可以借鉴 SLAM 系统中的关键帧选择和地图管理技术。（6）与其他条件信号的结合：将 AnchorWeave 的局部记忆框架与文本、音频、触觉等其他模态的条件信号结合，实现更丰富的视频生成控制。

复现评估

从复现角度来看，AnchorWeave 的复现难度为中等偏高。有利因素包括：（1）骨干网络开源——CogVideoX 和 Wan2.2 均为公开可获取的预训练模型；（2）训练数据公开——RealEstate10K 和 DL3DV 均为公开数据集；（3）论文提供了详细的实现细节，包括训练超参数（学习率 $2\times10^{-4}$、10K 步、batch size 8）、控制器注入位置（前 1/3 层）、去噪步骤比例（80%）等；（4）TTT3R 3D 重建模型也已开源。不利因素包括：（1）计算资源需求高——论文使用 8×H100 GPU 训练约 1 天，这对大多数研究者来说是显著的算力门槛；（2）代码未开源——论文未明确提及开源计划，复现需要从头实现覆盖驱动检索算法、多锚点编织控制器等关键组件；（3）TTT3R 的集成需要额外的依赖和预处理流水线；（4）多锚点渲染和相对位姿计算的工程实现有一定复杂度。总体而言，拥有充足 GPU 资源的研究团队预计可在 2-4 周内完成核心功能复现。

AnchorWeave：基于检索局部空间记忆的世界一致性视频生成 AnchorWeave: World-Consistent Video Generation with Retrieved Local Spatial Memories