闭环：面向自回归生成式渲染的无训练重访一致性方法 Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering

完整流程分六步。第一步 cache 布局：把 clean-cache 预算 $M=4F=12$ 分成 anchor（$F=3$，固定首段，提供全局外观参考）、retrieved（$F=3$，位姿检索的历史 chunk）、recent window（$2F=6$，最新 chunk 保局部时序连续）；被驱逐的 clean latent 与位姿在 cache 外保留以便任意历史 chunk 可被检索。第二步 loop-closure 检测：对当前 chunk $n$ 与每个历史 chunk $j$，计算位姿距离评分 $s(j)=\|c_j-c_n\|_2/E+w_v(1-v_j^\top v_n)$（$w_v=0.5$，$E$ 为场景尺度归一化），只考虑满足三道闸的可行集 $A_n$：归一化返回距离 $\le\tau_c$、视角方向夹角 $\le\tau_v$、时间间隔 $\ge\Delta$ chunks；从 $A_n$ 选 $s(j)$ 最小的 chunk 回填；若 $A_n$ 为空，retrieved slot 退化为 recent 窗口。三道闸功能上必要：距离与角度约束保证只在真正重访时注入长程记忆，时间间隔防止紧邻的 recent chunk 被平凡选为伪环闭合。第三步 cache packing：检索 chunk 按 RoPE 位置紧贴 recent 窗口打包（而非按其原始时间索引），保证 cache 位置在无界流式下不发散；同时把对应位置的 VACE control cache slice 复制到同一 packed 位置，实现 main branch 与 control branch 对齐。第四步重投影 warp：对当前目标帧 $t$ 上的 query token $p$，用其度量深度 $z_p=D_t(u_p)$ unproject 到 3D $X_t=z_p K_t^{-1}\tilde{u}_p$，经相对位姿变到源相机 $X_s=R_s^\top R_t X_t+c_t-c_s$，再投影 $\hat{u}_s(p)=\pi(K_s X_s)$ 得源帧预测对应点（公式 3）；当相机中心固定时深度在投影中抵消，退化为旋转-缩放 homography。第五步 occlusion-aware 可见性：仅当源相机深度测试 $[X_s]_z\le(1+\epsilon)D_s(\hat{u}_s(p))$（公式 4）通过才接受对应；否则该 query 不施加偏置，避免 disocclusion 时把背景 token 错导到遮挡它的前景、产生重复结构。第六步注意力偏置注入：对每个通过测试的 query $p$ 与检索源帧 key $k$，logits 改为 $A_{pk}=q_p^\top k_k/\sqrt{d}+\lambda B_s(p,k)$（公式 2），$B_s(p,k)=-\|u_k-\hat{u}_s(p)\|_2^2/(2\sigma^2)$；偏置在主分支 self-attention 的所有 head、仅对检索 chunk 的 key 列施加，其余 key 列（current/recent/anchor 与整个 control branch）不变，使短程时序注意力不受影响。

技术新颖性可归为五点。第一，'correspondence-guided memory' 范式首次把 SLAM 的 loop closure 概念与视频扩散的 KV cache 管理结合，且完全训练免——不依赖任何 curated 长 horizon 数据，不动模型权重，与既有训练免缓存方案（Infinity-RoPE、Deep Forcing、MemRoPE）在同一冻结 student 上叠加即用。第二，'logits-only' 设计是关键洞察：作者明确论证 warp/blend 特征在 30×52 低分辨率 token 网格下会因不完美位姿/深度引入模糊与几何误差直接进内容路径，而把对应关系转化为'乘性高斯抑制掩码'$\exp(\lambda B_s)\in(0,1]$ 后，对应点保持原权重、远处 key 指数衰减，'看哪里'被几何约束而'复制什么'仍交给学习注意力，保持 cached value 锐利。第三，cache packing 用相邻 RoPE 位置而非原始时间索引，巧妙解决'无界流式下位置无界'问题，使 cache 始终落在固定位置范围。第四，cross-branch cache 对齐：因 Causal Wan-VACE 对 main branch 与 VACE control branch 各维护独立 KV cache，方法把同一检索位置的 main cache slice 与 control cache slice 都复制好，保证检索 chunk 在两个分支同时可用——这点在以 Wan-VACE 为 backbone 的复现中容易被忽略。第五，occlusion-aware visibility test（公式 4）显式拒绝被遮挡对应，避免 disocclusion 时把新暴露背景 token 错导到曾遮它的前景、产生重复结构——这是简单重投影方案常忽略的 failure case。

独立分析有五点弱点。第一，单一 retrieved slot 的记忆容量受限：$M=12$ 中只留 3 帧给 retrieved，当相机在复杂场景频繁重访多个位置时只能记最近一个，改进方向是引入多 slot 检索或按位姿聚类维护一个小型 loop-closure memory bank，并设计替换策略（如 LRU-by-pose-distance）。第二，检索是纯几何位姿匹配、不含语义：若两处位姿相近但内容语义不同（如相似走廊），可能误检索；改进方向是 pose + CLIP/DINO 语义相似度的混合检索打分。第三，阈值泛化性存疑：$\tau_c,\tau_v,\Delta,\sigma,\lambda,\epsilon$ 均依赖场景 scale 与 token 网格分辨率，论文未做敏感性曲线；改进方向是把 $E$ 归一化、$\sigma$ 自适应于深度分布、$\lambda$ 用 confidence-weighted，或用学习的 temperature 替代固定 $\sigma$。第四，GB 只在 retrieved chunk 施加且只对 main branch，对 recent window 内的小范围重访（视角变化小但已驱逐关键帧）不生效；改进方向是把几何偏置扩展到 recent window，或对 current chunk 内部也加轻量 self-correspondence prior。第五，只测 Wan-VACE 一个 backbone：方法对其他自回归视频 DiT（Sora 类架构）的兼容性、对非深度条件（segmentation/edge 控制）的迁移均未验证；改进方向是补充第二个 backbone 与第二种控制信号的实验。

作者第 6 节明确提出的方向是用在线几何估计（VGGT、VGGT-Ω）替代 engine-supplied 位姿与深度，把方法扩展到真实视频——本文 soft attention bias 对噪声的容忍度正是为此设计。基于成果可延伸的方向有五：(1) 多 chunk/多视角 loop-closure memory bank：从单 slot 扩展为按位姿聚类的 memory bank，支持同时重访多位置，类似 VMem 的 surfel-indexed view memory 但保持 training-free；(2) 与学习式记忆方法融合：把 correspondence-guided retrieval 作为初始化或蒸馏信号，训练一个轻量 memory-query 模块（如 MemLearner），既保留几何先验又学到语义检索；(3) 动态物体处理：当前几何重投影假设静态场景，对动态物体（行人、车辆）的对应会失效，可结合光流或 instance mask 对动态区域关闭几何偏置；(4) 从 2D 重投影升级到 3D Gaussian/NeRF 式显式 memory：把 retrieved chunk 提升为持久 3D 表征，使重访从'看回 latent'升级为'看回真实 3D'，进一步提升一致性上限；(5) 实时性优化：当前每帧每 token 都做重投影 + occlusion test，对 832×480 的 30×52 网格计算量不小，可做 token-sparse 偏置（只对前景/高深度梯度区域施加）以适配实时游戏引擎。

复现评估分四方面。开源情况：论文提供了项目主页 https://wenchao-m.github.io/ClosetheLoop.github.io/，但正文未明确声明代码与 checkpoint 是否开源；作者来自 Roblox，工业背景可能影响代码 release，以论文时间为准需自行实现核心机制（KV cache 管理、位姿检索、重投影偏置注入），好在 Wan-VACE 已开源可作 base。数据可获得性：TartanAir 公开但原始场景不公开、无人机轨迹抖动不适合视频生成，TartanAir-Revisit 的 285 个 clip 是作者从 360° panorama 自己 script 渲染的（rotation excursion yaw 90–180°、zoom excursion FOV 90°→35°），benchmark 本身复现需联系作者或重写 scripting；TartanGround 场景部分不公开，71 个 loop 的 mining 规则（返回 2m/45°、间隔≥100 帧、excursion≥5m）描述清楚可复刻 mining 但需 TartanGround 访问权。算力需求：方法本身 training-free，推理时只需冻结的 Causal Wan-VACE，但 832×480 × 长 horizon 自回归视频生成仍需单卡 A100/H100 级别显存；重投影 + occlusion test 在 CPU/GPU 上额外开销可控。复现难度：核心算法（重投影公式 3、occlusion test 公式 4、高斯偏置公式 2）数学清晰、公式完备，关键是工程上要修改 Wan-VACE DiT 的 self-attention 实现以在特定 key 列注入 logits 偏置，并维护 main branch 与 VACE control branch 两套独立 KV cache 的同步检索——这是复现的主要工程门槛。若干超参（$\tau_c,\tau_v,\Delta,\sigma,\lambda,\epsilon$）论文未全给数值，需自行调参。