AnyRecon：基于视频扩散模型的任意视角稀疏三维重建 AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model

完整方法流程可以拆为六个阶段。第一阶段是Initial Geometry Construction:把所有输入RGB图像$I_\text{cap}=\{(I_i,P_i)\}$连同相机位姿一起送入π3或VGGT前馈重建,得到统一坐标下的稠密点云$\mathcal{M}_\text{geo}$。第二阶段是Novel Trajectory Preprocessing:把用户指定的novel trajectory $V_\text{novel}$切成多个小segment以适配显存;对每个segment,先用$\mathcal{M}_\text{geo}$在$V_\text{novel}$下渲染点云投影$I_\text{render}$和visibility mask $M_t$,后者逐像素标记该点来自哪个$I_\text{cap}$。第三阶段是Geometry-Driven View Selection:对每个候选$I_\text{cap}$,用公式$s_i=|\mathcal{V}_\text{novel}\cap S_i|/|\mathcal{V}_\text{novel}|$计算几何贡献分$S_i$是$\mathcal{M}_\text{geo}$中由$I_i$重建出的子集,$\mathcal{V}_\text{novel}$是从target viewpoint可见的点集,选取top-k作为$I_\text{sel}$。第四阶段是Unordered Contextual Video Diffusion:把$I_\text{sel}$前置到序列开头并保留原始分辨率作为global KV cache,把$I_\text{render}$和$M_t$沿通道维concat到target noisy latents上,然后用Context-Window Sparse Attention的Wan2.1-I2V-14B+LoRA(rank=32)生成$\hat{I}_\text{novel}$。注意力配置为$2\times 8\times 8$ block-sparse,每个target帧只attend到前8帧+后8帧+I_sel中的几何相关子集。第五阶段是4-Step Diffusion Sampling:用DMD2把50步Wan蒸馏到4步,噪声轨迹$T_\text{steps}=\{1000,750,500,250,0\}$,generator loss $\mathcal{L}_\text{gen}=\mathbb{E}\|x_\theta(z_t)-\text{sg}(x_\psi(z_t)-x_\phi(z_t))\|_2^2$让student的denoised预测匹配teacher的真分布方向,critic loss $\mathcal{L}_\text{critic}=\mathbb{E}\|x_\phi(z_t)-x_\text{clean}\|_2^2$训练critic做score估计,二者交替更新。第六阶段是3D Geometry Memory Update:把生成的$\hat{I}_\text{novel}$用π3反投影回3D,与既有$\mathcal{M}_\text{geo}$合并,得到$\mathcal{M}_\text{geo}^{(t+1)}$,作为下一segment的检索/渲染/生成基础。训练数据来自DL3DV-10K,每40帧一段,从中随机选N∈[2,4]张(50%从前20帧选,50%从整段选)做conditioning,512×896分辨率;训练分三阶段:10万步full self-attention、1万步sparse-attention warm-up、3万步DMD2蒸馏,64张A800,AdamW学习率$1\times 10^{-4}$(前两阶段)/$1\times 10^{-5}$(蒸馏)。

技术新颖性可以归纳为四点。第一,把global scene memory这一来自LLM长上下文处理的思路首次移植到视频扩散,并通过前置$I_\text{sel}$+persistent KV的设计巧妙绕开了传统视频模型对时序顺序的依赖——这是处理任意稀疏输入在原理层面的突破,而不是像Uni3C那样只能接1-2张参考图。第二,显式放弃3D-VAE时序压缩是一种反直觉的设计选择(主流都认为压缩提升效率),但作者用Fig.3c/d vs e和Table 2(PSNR从21.10/20.16提升到21.57)给出了清晰证据:大基线下压缩假设本身就是错的,per-frame 2D VAE反而是更鲁棒的设计——这为后续高保真稀疏视角生成研究提供了一个重要的反共识基线。第三,Geometry-Driven View Selection把哪些参考视角有用这个问题从外观相似度/FOV启发式提升到了3D空间贡献度,公式$s_i=|\mathcal{V}_\text{novel}\cap S_i|/|\mathcal{V}_\text{novel}|$简洁但有力,直接利用$\mathcal{M}_\text{geo}$的几何信息做可微检索,这是把检索与重建两个本不相干的研究方向第一次在生成式3D中耦合。第四,三阶段训练(full self-attn→sparse-attn warm-up→DMD2)揭示了一个重要经验:稀疏注意力的引入必须在蒸馏前完成warm-up,否则直接对稀疏模型做DMD2会因critic不稳定而崩溃,作者把这一工程细节明确写在implementation里,对社区复现有直接价值。

独立分析本文有三个值得改进的弱点。第一,初始几何$\mathcal{M}_\text{geo}$对π3/VGGT的强依赖是单点故障:当前pipeline假设前馈重建总是能给出基本结构一致的点云,但在低纹理、镜面反射、动态物体丰富的场景下,π3会产生大尺度伪影,这些伪影会被$I_\text{render}$原样放大,导致扩散模型在错误的几何骨架上做完美幻觉。改进方向是引入一个轻量级的几何置信度评估模块,对低置信度区域自动降权$M_t$或回退到纯global memory条件。第二,sparse attention的$2\times 8\times 8$窗口是经验值,缺乏自适应机制:在剧烈相机运动段(如Fig.1底部Large Scene的Frame 120→160),相邻8帧的像素重叠可能极低,sparse attention的有效感受野反而小于full attention;但在缓动段,8帧窗口又过于保守、浪费了可用上下文。改进方向是基于光流估计动态调整每个segment的窗口大小,或引入跨segment的隐状态传递(long-range KV compression)替代固定窗口。第三,DMD2蒸馏虽然在DL3DV上有4步105秒的极佳表现,但蒸馏数据完全来自DL3DV,向Tanks and Temples的迁移仍依赖原数据集做少量refine;若要在新场景(如文物扫描)直接部署,需要重做蒸馏数据采样,改进方向是用online self-distillation在测试场景上做轻量适配(几百步LoRA微调即可)。

作者明确提出了超稀疏/无重叠这一未来方向(对应Limitation),我的进一步展望包括四条路径。第一,把AnyRecon扩展到4D动态场景重建:目前的$\mathcal{M}_\text{geo}$是静态点云,如果用4D Gaussian或dynamic point map作为memory,理论上可以支持任意时刻+任意视角的视频重建,与CAT4D等动态生成模型结合。第二,把global scene memory机制推广到更一般的long-context video generation(不限3D),特别是多镜头电影生成、可控叙事视频——这一思想对视频编辑/扩展有直接借鉴价值。第三,与LLM/VLM结合做交互式3D编辑:用户用自然语言指定把这把椅子换成沙发,AnyRecon可以用global memory检索相关区域、修改$I_\text{render}$后重新生成,实现语言驱动的3D编辑。第四,作者提出的geometry-driven retrieval本质上是一种3D空间检索,可以独立发展成一个通用模块——给定任意3D场景和target query,自动返回空间贡献最高的top-k视角,这对智能机器人/AR的主动感知(where to look next)有应用价值。

复现评估整体偏难但可行。算法层面,论文给出了完整的技术细节:骨干是Wan2.1-I2V-14B(开源可商用),LoRA rank=32的训练配置、AdamW学习率$1\times 10^{-4}$→$1\times 10^{-5}$的切换、64张A800的硬件规模、三阶段训练步数(100k+10k+30k)都明确披露。数据集方面,DL3DV-10K(训练)和DL3DV-Evaluation/Tanks and Temples(测试)均为公开数据集,可在HuggingFace和TUM官网下载。代码方面,作者主页https://yutian10.github.io/AnyRecon/2026承诺发布代码与模型权重,但截至本文写作时尚未确认开源时间,因此实际复现需要自行实现π3/VGGT接入、context-window sparse attention、DMD2 distillation等模块,工程量约2-3人月。算力门槛是最大障碍:64张A800的满负荷训练即使每次实验只需3-5天,也意味着任何消融实验都要付出数十万元算力成本;推理端则亲民得多,单卡A800(80GB)即可运行4步采样的105秒/段流程。综合看,论文的可复现性良好(细节充分、数据公开),但完整训练仍受限于算力门槛,适合有大型GPU集群的实验室跟进。