PermaVid：基于解耦上下文记忆的跨编辑一致视频生成

通过解耦语义外观与几何结构实现编辑后视频长期一致性

前置知识

扩散模型（Diffusion Models）

扩散模型是一类生成模型，通过逐步添加噪声破坏数据，然后学习逆向去噪过程来生成新样本。在视频生成中，通常使用3D VAE将视频压缩到潜在空间，然后在扩散过程中逐步去噪。本文使用的Wan2.1-14B架构基于扩散Transformer（DiT），相比传统U-Net有更强的长程建模能力。

本文的内存引导视频生成模型基于扩散Transformer构建，理解扩散模型的去噪过程和条件注入机制对于理解PermaVid如何融合多模态上下文至关重要。

相机位姿编码（Camera Pose Encoding）

相机位姿编码将相机的旋转矩阵R和平移向量T编码为特征向量，用于控制视频生成中的视角变化。6自由度位姿包括位置（x,y,z）和朝向（roll,pitch,yaw），通过相机编码器映射到与DiT兼容的特征空间。本文中目标相机位姿$pcam = [R, T] \in \mathbb{R}^{f \times (3 \times 4)}$被编码后注入主DiT token。

PermaVid的核心能力之一是相机控制的视频生成和视角一致性，理解相机位姿如何作为条件注入生成过程是理解内存检索策略（基于视角重叠）的基础。

多模态特征融合（Multi-modal Feature Fusion）

多模态特征融合指将来自不同模态（如RGB图像、深度图、文本）的特征进行有效整合。在本文中，RGB和深度参考帧通过共享的3D VAE独立编码，然后通过相对位置编码拼接成混合条件。VACE风格的上下文分支设计支持这种异构条件的融合。

PermaVid的核心创新就是解耦RGB（语义外观）和深度（几何结构）两种模态的内存，理解如何融合这些异构上下文是理解方法的关键。

视觉锥重叠（View-frustum Overlap）

视觉锥是指相机能看到的3D空间区域，由相机内参和位姿决定。两个视角的重叠度可以用视觉锥的交集体积或投影重叠来度量。本文中使用归一化的视觉锥重叠$L(p_i, p_q)$来计算内存单元与目标轨迹的相关性，重叠分数$s_i = \max_{p_q \in P} L(p_i, p_q)$。

这是PermaVid内存检索策略的核心，通过计算视觉锥重叠来判断历史帧与当前目标视角的空间相关性，从而选择合适的参考上下文。

研究动机

现有的相机控制视频生成方法在面临编辑操作时难以保持长期一致性。当用户对视频进行全局编辑（如风格转换）或局部编辑（如对象替换）后，模型需要在后续生成中保持编辑内容的持久性，并在相机重新访问之前观察到的区域时维持视觉连贯性。然而，现有的内存设计将语义外观和几何结构耦合在统一的表示中，导致编辑后历史上下文可能部分或完全过时。例如，当全局风格编辑发生后，之前存储的RGB帧虽然几何结构仍然有效，但其外观信息已不再适用，模型若直接重用这些陈旧信息会导致语义不一致、视觉伪影，甚至回退到编辑前的状态。在长视频生成场景中，随着时间推移和视角变化，这种不一致性问题会进一步放大。

本文的目标是本文的目标是实现跨编辑操作的长期一致视频生成，使编辑后的内容在后续帧中持久存在，并在改变视角时保持连贯。具体而言，当全局编辑改变场景整体语义外观时，模型应在保持几何结构稳定的同时，将更新后的语义一致地传播到所有后续生成；当局部编辑修改特定区域时，模型应在相机重新访问该区域时正确回忆编辑后的内容，同时保持周围未编辑区域的完整性。

与已有工作不同的是，本文的独特切入点在于重新审视视频空间信息的本质，识别出语义外观和几何结构这两个具有不同时间行为的组件。现有方法将这两者耦合在统一的内存表示中，使得当语义发生变化时整个内存变得不可靠，即使底层的几何结构仍然有效。PermaVid通过显式解耦这两个组件，允许模型选择性刷新外观信息而保留可重用的结构知识，这是对现有内存机制的根本性改进。

核心方法

PermaVid的整体思路是将视频空间上下文分解为语义外观和几何结构两个独立的内存表示，并根据编辑操作的类型和空间范围智能地更新和检索这些内存。在生成过程中，模型从混合模态内存中检索空间相关且在当前编辑状态下有效的参考上下文，然后通过内存引导的视频生成模型融合这些多模态条件，实现跨时间、视角和编辑的一致生成。直觉上，就像人类记忆中既有场景的'样子'（外观）又有'布局'（结构），当场景风格改变时我们更新外观记忆但保留布局记忆，当摆放新物体时我们只更新相关区域的记忆。

PermaVid的核心创新点是提出了解耦的多模态上下文内存设计，将语义外观和几何结构分离为互补的内存表示。具体来说，维护两个内存库：RGB上下文内存$M_{rgb} = \{(I_{rgb}^i, p_i, t_i, g_i)\}_{i=1}^N$捕获外观感知的观测，同时隐式编码几何信息；深度上下文内存$M_{dep} = \{(I_{dep}^j, p_j, t_j)\}_{j=1}^M$仅保留与语义解耦的几何结构。与已有方法的本质区别在于，PermaVid可以根据编辑类型独立更新这两种模态的内存——全局编辑使RGB内存失效但保留深度内存，局部编辑只使重叠区域的内存失效。这种设计使模型能够在编辑后重用有效的几何上下文，而不受陈旧外观信息的干扰。

方法步骤详情

PermaVid的方法包含四个主要步骤。第一步是解耦的多模态内存初始化，模型维护RGB和深度两个独立的内存库，每个内存单元存储观测（RGB或深度图）、相机位姿$p$、时间戳$t$，RGB内存还记录全局语义版本$g$。第二步是编辑感知的内存更新，对于全局编辑（如风格转换），模型清空RGB内存并递增全局语义版本$M_{rgb} \leftarrow \emptyset, g^* \leftarrow g^* + 1$，但保留深度内存；对于局部编辑，模型只使那些视角足迹$\Pi(p_i)$与编辑区域$\Omega_e$重叠的内存单元失效，即$M_{rgb} \leftarrow M_{rgb} \setminus \{m_{rgb}^i | \Pi(p_i) \cap \Omega_e \neq \emptyset\}$。第三步是空间相关的内存检索，对于每个内存单元计算轨迹级重叠分数$s_i = \max_{p_q \in P} L(p_i, p_q)$，其中$L$度量归一化视觉锥重叠，$P$是目标相机轨迹。RGB内存仅当空间相关且属于当前语义版本时检索$R_{rgb}^c = \{m_{rgb}^i \in M_{rgb} | s_i > \tau, g_i = g^*\}$，深度内存只基于空间相关性检索$R_{dep}^c = \{m_{dep}^j \in M_{dep} | s_j > \tau\}$，最终候选集为$R_{rgb}^c \cup R_{dep}^c$，贪婪选择至多$B=10$个覆盖目标轨迹的内存单元。第四步是内存引导的视频生成，目标相机位姿$pcam = [R, T] \in \mathbb{R}^{f \times (3 \times 4)}$通过相机编码器编码并与文本条件一起注入主DiT token，内存上下文分支使用共享的3D VAE独立编码检索到的RGB和深度参考帧，通过相对位置编码拼接，生成过程可总结为$xt-1 = \epsilon_\theta(xt, c_{text}, p_{cam}, R_{mem})$。

技术新颖性

PermaVid的技术新颖性体现在三个方面。首先是内存表示的解耦设计，首次将视频上下文明确分离为语义外观和几何结构两个独立模态，这是对现有统一内存表示的根本性突破。其次是编辑感知的内存更新策略，根据全局/局部编辑类型智能选择性地使内存失效，而非简单丢弃所有历史上下文或盲目重用。第三是混合模态的内存检索和融合机制，在检索时根据模态特性应用不同的验证规则（RGB需检查语义版本，深度无需），在生成时通过VACE风格的上下文分支融合异构条件。为了支持学习这种内存行为，论文还构建了UE-Mem数据集，使用Unreal Engine内置导航代理在100个场景中生成4000个高质量长视频，每个视频1000帧，包含丰富的跨场景重访问轨迹和准确的6自由度相机位姿。

实验结果

在全局编辑下的长期一致性实验中，PermaVid在结构一致性方面取得PSNR 22.84、SSIM 0.8703、LPIPS 0.2102的最佳表现，显著优于HY-WorldPlay（PSNR 22.34、SSIM 0.8674、LPIPS 0.2339）和HY-Gamecraft（PSNR 18.83、SSIM 0.8194、LPIPS 0.2951）。在语义一致性方面，PermaVid的CLIP-Vid分数达到27.87，远超基线方法HY-WorldPlay的19.96和VMem的18.74。视觉质量（VBench-Avg）为0.8565，与最佳基线HY-Gamecraft的0.8691接近。定性分析显示，在全局风格编辑后，PermaVid在重新访问之前观察到的视角时保持了稳定的几何结构（如建筑布局和钟楼几何），同时一致地传播编辑后的语义外观。相比之下，HY-WorldPlay保持了几何一致性但未能更新语义，导致全局编辑后出现过时风格；HY-Gamecraft和Matrix-Game-2.0在结构和语义两方面都表现出明显的不一致。在局部编辑下的长期一致性实验中，PermaVid在视角召回一致性方面取得PSNR 22.332、SSIM 0.8622、LPIPS 0.2369的最佳结果，视觉质量VBench-Avg为0.8544，超越所有基线方法。定性分析显示，当相机重新访问局部编辑区域时，PermaVid能够正确回忆编辑后的内容，同时保持周围未编辑区域的几何结构完整性。消融实验验证了解耦上下文内存的有效性，在全局日夜转换编辑后，解耦设置一致地传播更新后的语义并保持稳定几何，而耦合RGB设置重复检索过时上下文，导致语义不一致。内存开销分析显示，在长序列生成中深度预测和内存检索的开销可以忽略不计，检索时间随历史上下文积累逐渐增长但保持在毫秒级别，序列末尾仅几百毫秒，相对于扩散视频生成过程不构成实际瓶颈。

**Table 1**: Quantitative comparison across edits.

**Figure 3**: Qualitative comparison under global edits.

**Figure 4**: Qualitative comparison under local edits.

**Figure 5**: Memory overhead profiling during long-duration generation.

**Figure 6**: Ablation study on disentangled context memory.

查看结构化数据

任务	指标	本文	基线	提升
全局编辑结构一致性	PSNR↑	22.84	HY-Worldplay: 22.34	提升0.50（约2.2%）
全局编辑结构一致性	SSIM↑	0.8703	HY-Worldplay: 0.8674	提升0.0029（约0.3%）
全局编辑结构一致性	LPIPS↓	0.2102	HY-Worldplay: 0.2339	降低0.0237（约10.1%）
全局编辑语义一致性	CLIP-Vid↑	27.87	HY-Gamecraft: 26.17	提升1.70（约6.5%）
局部编辑视角召回一致性	PSNR↑	22.332	HY-Worldplay: 21.922	提升0.410（约1.9%）
局部编辑视角召回一致性	SSIM↑	0.8622	HY-Worldplay: 0.8523	提升0.0099（约1.2%）
局部编辑视角召回一致性	LPIPS↓	0.2369	VMem: 0.3216	降低0.0847（约26.3%）

局限与改进

作者承认的局限性包括：首先，方法依赖于准确的深度估计，在推理时需要通过深度预测器[42]从生成的视频帧中提取深度上下文，如果深度估计不准确会影响几何结构的保留。其次，内存检索策略基于视觉锥重叠，在某些极端视角配置下可能不够精确。从自己的观察来看，PermaVid的内存更新策略假设全局编辑只影响语义而不改变几何，这在风格转换等场景中成立，但对于可能改变几何结构的全局编辑（如场景重构）可能不适用。此外，方法在训练时使用40%纯RGB参考、40%纯深度参考、20%混合模态参考，但在推理时固定内存大小为10，这种训练-推理差异可能影响性能。计算开销方面，虽然内存检索时间在毫秒级别，但维护两个独立的内存库仍有一定存储开销。

独立分析的弱点

PermaVid存在几个可以改进的弱点。首先，深度预测器作为独立模块引入了额外的误差源，如果深度预测不准确会直接影响几何一致性，可以考虑将深度估计集成到端到端训练中或使用更鲁棒的深度估计方法。其次，当前的内存更新策略基于Ditto[19]的全局/局部编辑二分法，但实际编辑操作可能更复杂（如半全局编辑或渐变式编辑），可以考虑更细粒度的编辑类型分类和相应的内存更新策略。第三，视觉锥重叠计算虽然有效，但在动态场景或快速相机运动下可能不够准确，可以引入时序一致性约束或学习式检索策略。第四，方法假设编辑后的语义外观立即生效并全局传播，但在某些交互式编辑场景中用户可能期望渐进式或局部化的语义传播，可以考虑用户可控的传播范围和速度参数。第五，当前使用固定的内存大小$B=10$，对于特别复杂的场景或长轨迹可能不够，可以考虑自适应内存大小调整策略。

未来方向

作者提出的未来研究方向包括扩展内存机制以支持更复杂的编辑操作，如渐变式编辑或时序连贯的风格过渡。基于论文成果可以延伸的方向包括：将解耦内存思想应用于其他视频生成任务，如视频插值或视频修复；探索更多模态的解耦，如法向量、分割掩码或光流，以提供更丰富的几何和语义信息；研究内存压缩和高效检索算法，以支持更长视频和更大场景的实时生成；将编辑感知机制与用户交互结合，支持实时反馈和迭代编辑；探索跨模态的内存迁移，如从RGB-Depth内存扩展到RGB-Normal或RGB-Semantic内存组合；研究内存的一致性保证机制，确保在多次编辑后仍能保持视觉连贯性；将方法与3D重建或神经渲染结合，实现从2D编辑到3D场景更新的端到端流程。

复现评估

论文未明确说明是否开源代码和模型，但从实施细节可以推断复现难度较高。训练使用32个NVIDIA H200 GPU分两个阶段进行，第一阶段在SpatialVid[38]数据集上训练10k步，第二阶段在自建的UE-Mem数据集上训练8k步，这意味着需要大量算力资源。UE-Mem数据集的构建依赖Unreal Engine 5和自动数据合成管道，虽然论文描述了导航代理的控制向量$u = [v_x, v_y, \omega, g]$和数据采集流程，但重现相同的数据集需要访问相同的100个Unreal Engine场景和精确配置导航策略。评估使用200张来自免费网站和AI生成图像的测试集，包含随机和复杂的相机轨迹，但未公开具体的图像和轨迹配置。总体而言，完整复现研究需要 substantial 的计算资源、Unreal Engine 5环境、以及访问原始测试数据，难度较大。但论文提供了详细的实现细节，包括训练配置、超参数和评估指标，为部分复现（如推理和特定实验）提供了基础。

PermaVid：基于解耦上下文记忆的跨编辑一致视频生成 PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory