WildRayZer：动态环境中的自监督大规模视角合成 WildRayZer: Self-supervised Large View Synthesis in Dynamic Environments

WildRayZer 的完整训练流程分为三个阶段。第一阶段：RayZer 预训练。在纯静态的 RealEstate10K 数据集上训练基线 RayZer 模型，使用 2 个输入视角和 6 个目标视角，优化 L2 重建损失（权重 1.0）和 VGG 感知损失（权重 0.2），训练 100K 步，学习率 $4 \times 10^{-4}$，批量大小 64，场景 token 数 768，图像分辨率为 $256 \times 256$，patch 大小 $16 \times 16$。第二阶段：运动掩码学习。冻结渲染器，将动态图像输入预训练的 RayZer，获取渲染结果 $\hat{I}$。对每一对目标图像 $I$ 和渲染 $\hat{I}$，构造伪运动掩码：先计算 SSIM 不相似度图 $D_{SSIM}$ 和 DINOv3 余弦不相似度图 $D_{DINO}$，分别 z-score 标准化后按自适应权重融合为显著性图 $D_{bin}$（渲染质量差时侧重 DINO，质量好时侧重 SSIM）。然后在 batch 内对所有帧的 DINOv3 patch 特征做 K-means 聚类，将平均显著性得分在前 5% 且在至少 4 帧中显著的聚类标记为前景。最后通过形态学平滑、小连通域移除和 GrabCut 边界精修得到二值掩码 $M_{bin}$。运动估计器 $E_{mot}$ 接收三种信号的融合：DINOv3 patch 特征、RayZer 图像 token、Plücker 射线 token，经 LayerNorm 和线性投影后拼接，通过融合 MLP 和 4 层 Transformer 处理，再经 DPT 风格解码器上采样到原始分辨率，输出逐像素 logit $S(I)$。训练目标为 BCE 损失，仅使用渲染 PSNR $> 17$ dB 的样本。第三阶段：掩蔽重建与联合训练。冻结运动估计器，对输入图像预测运动概率图，下采样到 patch 网格，阈值化得到二值 patch 掩码 $\Pi$，将动态位置的 token 置零后再编码场景。同时进行 copy-paste 增强：从 COCO 中随机粘贴 1-2 个物体到 50% 的训练场景中（占图像面积 25-35%），粘贴区域作为精确的运动掩码监督。最终联合微调所有组件，在动态数据和增强数据上端到端训练。

WildRayZer 的技术新颖性体现在多个层面。首先，它是第一个将自监督大视角合成模型扩展到动态环境的前馈框架——此前的 RayZer、LVSM 等完全不处理动态内容，而 NeRF On-the-Go 等动态场景方法是优化式的，需要每个场景单独优化。其次，伪掩码构造策略是全新的：不是简单使用 MSE 残差（在渲染质量差时噪声极大），而是融合 DINOv3 语义相似度和 SSIM 外观相似度，并根据当前渲染质量自适应调整两者的权重——训练早期渲染粗糙时依赖更稳定的语义信号，后期渲染精细时利用更精确的外观信号。第三，copy-paste 增强在运动掩码学习中的应用是独特的：已有 copy-paste 工作（如实例分割中的 Simple Copy-Paste）用于增强分割模型，但本文将其用于为自监督运动检测提供精确合成监督，且发现 copy-paste 单独使用效果差（mIoU 仅 18.2），但与伪掩码结合后在域外数据上显著提升（DAVIS 上 mIoU 从 3.4 提升到 31.0）。第四，本文揭示了一个重要发现：即使有完美的运动掩码，简单地掩蔽 token 并不够（如 RayZer+SAV 基线仍然有明显的遮挡伪影），跨视角补全必须通过学习来实现——这说明掩蔽只是第一步，渲染器本身也需要学习在部分 token 缺失时如何利用其他视角的信息来补全被遮挡的静态区域。

第一个弱点是伪掩码的质量瓶颈：当前的伪掩码构造依赖于冻结渲染器的渲染质量，但渲染器是在静态数据上预训练的，对动态场景的渲染本身就不可靠——这形成了一个“鸡和蛋”的问题。虽然交替优化在一定程度上缓解了这个问题，但训练早期的噪声伪标签可能给运动估计器带来不可逆的错误学习。改进方向：可以引入课程学习（curriculum learning），从简单场景（运动物体小且明显）逐步过渡到复杂场景；或者使用多轮迭代，每轮用更新后的渲染器重新生成伪标签，逐步提升掩码质量。第二个弱点是 token 置零策略过于粗暴：将动态 patch 的 token 直接置零相当于丢失了该区域的所有信息，包括可能有价值的静态背景线索（如动态物体后面的墙壁纹理）。改进方向：可以用可学习的“掩码 token”替代硬置零，让模型自己学习如何处理被屏蔽的区域；或者使用软注意力屏蔽（soft attention masking）而非二值掩蔽。第三个弱点是模型对大运动物体的处理能力不足：当运动物体占据图像面积很大时（如一个人几乎填满整个画面），几乎没有静态区域可用于场景重建和渲染，此时方法自然会失效。改进方向：可以引入时序信息，利用同一场景不同时间点的视频帧来累积静态区域的观测。第四个弱点是缺乏与优化式方法的公平比较：优化式方法可以在测试时针对特定场景反复迭代优化，而前馈方法一次前向传播就决定了结果。在实际应用中，如果用户愿意等待更长时间，优化式方法可能通过更多迭代缩小差距。改进方向：可以探索测试时适应（test-time adaptation），用少量梯度更新来微调运动掩码或渲染器。

作者提出的方向包括：将 WildRayZer 扩展到更大规模的动态数据集上训练，利用互联网上无尽的含有动态内容的视频；以及进一步减少对 DINOv3 等外部预训练模型的依赖。基于本文成果，还有几个值得探索的方向：第一，将框架扩展到时序新视角合成（temporal NVS），不仅渲染新视角还渲染新时刻，实现真正的 4D 重建；第二，将运动掩码的预测精度提升到实例级别，结合 SAM2 等分割模型实现更精细的物体级动态分离；第三，探索更高分辨率（$512 \times 512$ 或 $1024 \times 1024$）下的训练和推理，这对实际应用至关重要；第四，将自监督运动检测的思路应用到 3D Gaussian Splatting 等显式表示中，利用 WildRayZer 生成的伪掩码来指导显式 3D 表示的动态/静态分离；第五，探索动态物体本身的建模——当前方法将所有动态内容视为“噪声”并去除，但很多应用（如视频编辑、增强现实）需要保留和理解动态物体的 3D 结构。

复现评估方面，本文的可复现性整体较好。代码方面，作者声明将发布实现代码（“We will release our implementation as a reference”），且 RayZer 的官方代码已开源，WildRayZer 在其基础上扩展。数据方面，D-RE10K 数据集的标注和视频链接将在 CC 许可下发布，但需要注意这是从 YouTube 爬取的视频，可能因版权问题被下架。D-RE10K-iPhone 是作者自行采集的 50 序列基准，预计也会开源。算力方面，训练使用 4 张 H100 GPU，RayZer 预训练 100K 步，运动掩码训练和联合训练各需额外迭代——对于学术实验室来说算力需求较高，但并非不可企及。评估方面，作者承诺发布指标计算代码，因为不同实现可能导致不同的评估结果。复现难度中等：核心架构修改不复杂（在 RayZer 基础上增加运动估计器和 token 屏蔽），但伪掩码构造管线（DINOv3 特征提取、K-means 聚类、GrabCut 精修等）涉及多个步骤和超参数调优，完整的三阶段训练流程也需要仔细管理交替优化的训练稳定性。