RealMaster：将渲染场景提升为照片级真实感视频 RealMaster: Lifting Rendered Scenes into Photorealistic Video
用视频扩散模型将3D引擎渲染视频转化为照片级真实感视频
前置知识
视频扩散模型 (Video Diffusion Model)
基于去噪扩散概率模型（DDPM）的视频生成架构，通过在时间维度扩展图像扩散模型来实现视频合成。代表性模型包括 Stable Video Diffusion、CogVideoX、Wan 等。这类模型通过在潜空间逐步去噪高斯噪声来生成视频帧序列，能够捕获丰富的自然现象先验（如运动、光照、材质等）。扩散模型的训练目标可以表示为 $\mathcal{L} = \mathbb{E}_{t, \epsilon}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$，其中 $x_t$ 是加噪后的潜变量。
RealMaster 的核心是基于预训练视频扩散模型（Wan2.2 T2V-A14B）进行微调，理解扩散模型的工作原理是理解本文方法的基础。
IC-LoRA (In-Context Low-Rank Adaptation)
一种轻量级微调技术，最初由 Huang et al. (2024) 提出，用于在扩散 Transformer 中实现实例级条件生成。IC-LoRA 将参考图像/视频编码为干净的参考 token（timestep 固定为 $t=0$），与正在去噪的噪声 token 拼接在一起，共享位置编码。通过在预训练模型上添加低秩适配器（rank 为 $r$ 的 LoRA 矩阵 $W = W_0 + BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times d}$），让模型学会利用上下文参考信息来引导生成。
本文采用 IC-LoRA 架构来训练 sim-to-real 翻译模型，它决定了模型如何接收渲染视频输入并生成真实感输出，是理解训练方法的关键。
VACE (Video Creation and Editing)
Jiang et al. (2025) 提出的视频生成与编辑模型，能够基于参考帧和结构信号（如边缘图、深度图）进行条件化视频生成。VACE 接受首尾帧作为外观锚点，配合逐帧的结构条件信号，生成与条件信号一致的完整视频序列。它在本文中充当数据生成管线的核心组件，负责将关键帧的外观传播到中间帧。
VACE 是本文数据生成管线中负责稀疏到密集传播的关键工具，理解其条件化生成机制有助于理解为什么边缘条件优于深度和多锚点条件。
Sim-to-Real Translation
将合成/渲染内容映射到照片级真实感域的任务。与艺术风格迁移不同，sim-to-real 需要同时满足两个看似矛盾的目标：结构精确性（精确保留输入的几何、运动和动力学）和全局语义变换（整体转换材质、光照和纹理以实现照片级真实感）。输入已经接近真实感，细节不能像传统风格迁移那样被抽象掉，模型必须在保留细节的同时添加真实世界特征的高频细节。
本文将 sim-to-real 视频翻译定义为与视频编辑本质不同的任务，理解这一区别是理解本文创新动机的关键。
稀疏到密集传播策略 (Sparse-to-Dense Propagation)
本文提出的数据构建核心策略。给定渲染视频，首先使用图像编辑模型编辑首尾帧，使其具有照片级真实感，作为外观锚点。然后使用结构化条件（边缘图）引导视频模型，将锚点的外观传播到中间帧，生成与输入对齐的真实感视频。这种方法比直接编辑每一帧更高效，比多锚点编辑更稳定。
这一策略解决了 sim-to-real 配对数据稀缺的核心问题，是本文能够训练模型的前提条件。
研究动机
当前视频生成领域存在一个根本性矛盾：最先进的视频扩散模型能够生成令人惊叹的照片级真实感视频，但缺乏精确的场景控制能力，无法对齐到具体的场景需求，且由于缺乏底层显式几何表示，无法保证三维一致性。例如，Lumiere、CogVideoX、MovieGen 等模型依赖文本提示或参考图像来控制内容，无法精细控制单个场景元素。另一方面，传统3D引擎提供了对每个场景元素的精细控制并天然保证三维一致性，但其输出经常陷入"恐怖谷"效应——合成结果保留了明显的渲染感，缺乏真实世界素材的高频细节。这种 sim-to-real 差距要求输出必须精确保留输入的几何和动态（结构精确性），同时将材质、光照和纹理整体转换为照片级真实感（全局语义变换）——这两个目标在实践中是相互矛盾的。现有视频编辑方法在应用于 sim-to-real 时，要么无法识别输入的合成性质而几乎不改变内容，要么改变太多而破坏原始细节。
本文的目标是本文的目标是提出 RealMaster 方法，利用视频扩散模型将渲染视频提升为照片级真实感视频，同时完全保持与3D引擎输出的对齐。具体来说，RealMaster 需要解决的核心任务是 sim-to-real 视频翻译——将合成的渲染视频转换为逼真的视频，同时保持底层场景结构和动力学不变。方法需要在 GTA-V 等复杂虚拟环境中验证有效性，包括复杂的光照变化、高速运动、复杂的几何细节以及多个交互角色等挑战性场景。
与已有工作不同的是，本文的独特切入角度在于将 sim-to-real 视频翻译重新定义为一个与视频编辑本质不同的任务。现有视频编辑方法（如 Runway-Aleph、LucyEdit、Editto）在设计时优先考虑创意编辑的灵活性，而 sim-to-real 需要在全局外观转换和严格的输入保留之间找到平衡。RealMaster 的核心洞察是将视频扩散模型视为"学习的第二阶段渲染器"，而非自由形式的生成器——它在显式3D引擎之上运行，将结构控制与视觉呈现分离，从而在不牺牲图形管线的确定性和可编辑性的前提下注入丰富的真实世界外观先验。此外，本文提出了通过稀疏到密集传播策略构建高质量配对训练数据的方案，解决了 sim-to-real 领域缺乏配对数据的根本问题。
核心方法
RealMaster 采用两阶段方法实现 sim-to-real 视频翻译。第一阶段是数据生成管线：给定渲染视频，使用稀疏到密集传播策略构建高质量的渲染-真实配对视频数据。具体来说，首先使用图像编辑模型（Qwen-Image-Edit）编辑视频的首尾帧，使其具有照片级真实感，作为外观锚点；然后使用 VACE 视频生成模型，以边缘图作为结构条件，将锚点的外观传播到所有中间帧，生成与输入严格对齐的真实感视频。第二阶段是模型训练：在生成的配对数据上训练一个轻量级 IC-LoRA 适配器（基于 Wan2.2 T2V-A14B 预训练模型），将数据生成管线的行为蒸馏到一个能够直接执行 sim-to-real 任务的模型中。直觉上，这类似于计算机图形学中的渲染管线——传统渲染将场景描述转换为像素，而 RealMaster 将"初级渲染"（3D引擎输出）转换为"照片级渲染"（真实感输出），利用视频模型学习到的真实世界先验来补充3D引擎无法提供的高频细节。
RealMaster 的核心创新点在于将 sim-to-real 视频翻译与视频编辑明确区分开来，并提出了一种新颖的数据驱动解决方案。与现有视频编辑方法的本质区别在于三个方面：首先，RealMaster 将视频扩散模型定位为"学习的第二阶段渲染器"而非通用编辑器，明确分离结构控制（由3D引擎提供）和视觉呈现（由扩散模型补充），避免了现有方法在结构保持和外观转换之间的权衡困境。其次，本文提出了基于稀疏到密集传播的配对数据构建策略，解决了 sim-to-real 领域长期存在的配对数据稀缺问题——通过编辑首尾帧作为锚点，结合边缘条件引导 VACE 传播，可以直接从渲染视频构造高质量的真实感对应物。第三，训练得到的 IC-LoRA 模型能够泛化到数据生成管线的限制之外——例如处理在两个边界锚点之间首次出现的物体和角色——这是因为模型利用预训练视频扩散模型的强大先验来"折扣"合成数据中的不完美之处，直接在推理时执行 sim-to-real 翻译。
方法步骤详情
RealMaster 的方法包含两个主要阶段。第一阶段是数据生成管线（Synthetic-to-Realistic Data Generation）：(1) 从 SAIL-VOS 训练集采样81帧视频片段，从8fps上采样到16fps（重复每帧），分辨率为800x1200；(2) 使用 Qwen-Image-Edit 图像编辑模型，以提示词"make it look photorealistic"编辑每个片段的首尾帧，生成照片级真实感的外观锚点；(3) 提取输入视频的边缘图作为结构条件；(4) 使用 VACE 视频生成模型，以首尾帧作为参考、边缘图作为条件，生成完整的真实感视频序列；(5) 为了提高身份一致性，使用 ArcFace 人脸检测计算输入和生成视频之间的余弦相似度，仅保留平均相似度超过0.4的片段，最终从3,050个初始片段中筛选出1,216个训练片段。第二阶段是模型训练（Model Training）：(1) 在 Wan2.2 T2V-A14B 预训练模型上添加 rank=32 的 LoRA 适配器；(2) 按照 IC-LoRA 训练方式，将渲染输入编码为干净的参考 token（timestep 固定为 $t=0$），与正在去噪的噪声 token 拼接，共享位置编码；(3) 使用 AdamW 优化器，学习率 $1 \times 10^{-4}$，batch size 8，共训练1,200步；(4) 训练完成后，模型可以在推理时直接将渲染视频转换为照片级真实感视频，无需依赖首尾帧锚点，支持流式和自回归生成。
技术新颖性
RealMaster 的技术新颖性体现在多个层面。首先，在问题定义层面，本文明确将 sim-to-real 视频翻译与视频编辑区分开来，指出这是一个需要同时满足结构精确性和全局语义变换的根本不同任务，这一洞察挑战了当前将 sim-to-real 视为视频编辑特例的主流观点。其次，在数据构建层面，本文提出的稀疏到密集传播策略是一种原创性的配对数据生成方法——通过仅编辑首尾帧并用边缘条件引导传播，避免了直接编辑每一帧的计算成本和多锚点编辑带来的闪烁问题，同时保持了与原始渲染视频的严格对齐。ArcFace 人脸相似度过滤（阈值0.4）进一步提高了数据质量。第三，在模型架构层面，将 IC-LoRA 应用于 sim-to-real 任务是新颖的——模型不仅学会了数据生成管线的行为，还能泛化到管线的限制之外（如处理中间出现的新物体），这是因为基础模型的强大先验能够补偿合成训练数据的不完美。最后，在应用层面，RealMaster 展示了通过简单修改文本提示即可添加天气效果（雨、雪）的能力，以及跨模拟器泛化（从 GTA-V 到 CARLA）的能力，这些都是传统渲染管线需要大量工程努力才能实现的功能。
实验结果
RealMaster 在多个维度上显著超越现有基线方法。在照片级真实感方面，RealMaster 在 GPT-RS$_{no-ref}$ 指标上达到5.296（优于 Editto 的5.104、Runway-Aleph 的4.98、LucyEdit 的3.48），在 GPT-RS$_{ref}$ 指标上达到7.33（大幅领先 Editto 的3.838、Runway-Aleph 的5.33、LucyEdit 的4.20），表明其输出在与渲染输入对比时仍保持高度真实感。在身份一致性方面，ArcFace 相似度达到0.473，相比基线方法（Editto 0.204、Runway-Aleph 0.300、LucyEdit 0.375）有显著提升。在结构保真度方面，DINO 特征距离降至30.28（基线分别为41.79、38.04、36.68），表明输出与输入的语义结构更加一致。在时间一致性方面，RealMaster 达到了最佳的时间闪烁分数0.976，运动平滑度0.973与最强基线持平。用户研究进一步验证了这些结果：45名参与者在675次成对比较中，RealMaster 在真实感（73%偏好率）、忠实度（89%）和整体视觉质量（80%）三个指标上均优于所有基线。值得注意的是，LucyEdit 虽然运动平滑度略高（0.986），但这是通过模糊视频实现的，牺牲了高频细节，同时其真实感得分（3.48）远低于 RealMaster。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Sim-to-Real 视频翻译 | GPT-RS$_{no-ref}$ (照片级真实感，无参考) | 5.296 | Editto: 5.104, Runway-Aleph: 4.98, LucyEdit: 3.48 | 相对最佳基线 Editto 提升3.8% |
| Sim-to-Real 视频翻译 | GPT-RS$_{ref}$ (照片级真实感，有参考) | 7.33 | Runway-Aleph: 5.33, Editto: 3.838, LucyEdit: 4.20 | 相对最佳基线 Runway-Aleph 提升37.5% |
| Sim-to-Real 视频翻译 | ArcFace 相似度 (身份一致性) | 0.473 | LucyEdit: 0.375, Runway-Aleph: 0.300, Editto: 0.204 | 相对最佳基线 LucyEdit 提升26.1% |
| Sim-to-Real 视频翻译 | DINO 特征距离 (结构保真度，越低越好) | 30.28 | LucyEdit: 36.68, Runway-Aleph: 38.04, Editto: 41.79 | 相对最佳基线 LucyEdit 降低17.4% |
| Sim-to-Real 视频翻译 | Temporal Flickering (时间闪烁) | 0.976 | Runway-Aleph: 0.976, LucyEdit: 0.976, Editto: 0.972 | 与最佳基线持平 |
局限与改进
本文明确承认了两个主要限制。首先，输出的真实感受限于当前图像编辑模型的能力上限——Qwen-Image-Edit 作为数据生成管线中提供真实感锚点的组件，其编辑质量直接决定了训练数据的质量上限，因此 RealMaster 的输出可能仍无法达到完全的照片级真实感。其次，虽然方法保留了渲染输入中的运动和动力学，但并未对运动本身进行显式推理——复杂的人体运动、关节手势和精细姿态动力学完全继承自模拟器，当底层动画本身不合理时，这会限制输出的真实感。此外，实验中还发现了两个失败模式：(1) 包含许多小的、远处物体的场景会导致过于保守的输出，仅有细微变化；(2) 快速相机或角色运动会导致时间伪影，这是因为基础视频扩散模型本身不是为处理大帧间位移而设计的。从更宏观的角度看，本文仅在 GTA-V 和 CARLA 两个虚拟环境中验证，对于工业级渲染引擎（如 Unreal Engine 5）的泛化能力尚未验证；评估仅涵盖81帧（约5秒）的短视频，对于长视频的时间一致性表现有待考察；用户研究参与者数量（45人）和覆盖场景数量（100个片段）相对有限。
独立分析的弱点
RealMaster 存在几个值得深入分析的弱点。第一，数据生成管线的级联误差问题：首尾帧由 Qwen-Image-Edit 编辑，中间帧由 VACE 传播生成，这意味着数据质量受两个独立模型的误差累积影响——如果首尾帧编辑质量不佳，整个视频都会受到影响。改进方向可以是采用多轮迭代精炼策略，或引入质量评估模型自动筛选高质量锚点。第二，ArcFace 人脸过滤（阈值0.4）是基于启发式选择的，可能过滤掉一些有用的样本或保留一些低质量样本。可以考虑使用更全面的感知质量评估指标（如 CLIP 相似度、LPIPS 等）进行联合过滤。第三，边缘条件虽然比深度条件更好地保留了身份和面部细节，但可能丢失某些高层语义信息（如材质类型、光照方向）。可以探索多模态条件融合（边缘+语义分割+材质标签）。第四，模型对快速运动的处理能力不足——基础模型的帧率和分辨率限制导致大位移场景出现时间伪影。改进方向可以是在训练时增加运动增强数据，或采用分层处理策略（先处理低频运动再补充高频细节）。第五，实验设置存在局限性：仅评估了 GTA-V 数据集，CARLA 仅展示了定性泛化结果而没有定量评估，这限制了对方法泛化能力的全面理解。
未来方向
本文在讨论中提出了几个有前景的未来研究方向。首先是实时流式变体：当前方法需要完整的视频序列作为输入，开发因果的、低延迟的 sim-to-real 翻译系统将支持交互式应用，这对虚拟现实和游戏渲染具有重要价值。其次是运动真实感增强：当前方法继承模拟器的运动，将学习先验引入运动动力学和手势——例如通过大规模人体动作数据集训练运动先验模型——可以纠正僵硬或合成的运动，进一步缩小模拟与真实视频的差距。基于本文成果还可以延伸出更多方向：(1) 多引擎适配器：针对不同3D引擎（Unreal、Unity、Blender）训练专门的 LoRA 适配器，通过混合训练实现跨引擎泛化；(2) 长视频处理：结合时间窗口和记忆机制，支持分钟级甚至小时级的连续 sim-to-real 翻译；(3) 用户可控性：在 sim-to-real 的基础上支持用户指定目标风格（如不同天气、时间段、艺术风格）的精细控制；(4) 反向学习（Real-to-Sim）：将真实视频转换为渲染风格，用于数据增强和模拟器改进；(5) 与神经渲染结合：将 RealMaster 与 NeRF/3DGS 等神经渲染方法结合，实现真正的可编辑神经场景渲染。
复现评估
从复现角度来看，本文提供了相对充分的信息。数据生成管线使用的组件（Qwen-Image-Edit、VACE）均为公开可用的模型，训练超参数在论文的 Table 3 中详细列出（基础模型 Wan2.2 T2V-A14B、LoRA rank 32、学习率 $1 \times 10^{-4}$、batch size 8、1,200步、分辨率800x1200、81帧）。然而，复现存在几个挑战：(1) 算力要求：训练使用单张 H200 GPU，推理可能需要类似的高端 GPU，这对大多数研究团队来说成本较高；(2) 数据获取：SAIL-VOS 数据集是公开的，但完整的数据生成管线（包括 VACE 推理和 ArcFace 过滤）需要运行约3,050个视频片段，计算量不小；(3) 代码开源状态：论文未明确提及是否开源代码或模型权重，这可能影响完全复现的可行性；(4) 评估细节：用户研究的问卷设计、GPT-RS 评估的提示词模板已在附录中提供，自动评估的实现细节也足够清晰。总体而言，对于拥有足够算力的研究团队，复现本文结果是可行的，但完整复现数据生成管线和训练流程可能需要数天到数周的时间。
论文图表
主图展示了 RealMaster 的核心效果：上排是3D引擎（GTA-V）渲染的原始视频，保留了明显的合成感和'恐怖谷'效应；下排是 RealMaster 处理后的照片级真实感视频，材质、光照和纹理都得到了真实化处理，同时场景结构、角色身份和运动动态完全保留。
这是论文的核心展示图，直观体现了 sim-to-real 翻译的效果——'lifting rendered scenes into photorealistic video'，是理解本文贡献的第一印象。
展示了在 CARLA 驾驶模拟器数据上应用 RealMaster 的更多结果，包括不同天气条件、不同车辆类型和不同道路环境的场景。
进一步证明了跨模拟器泛化能力，展示了方法在完全不同的渲染引擎和场景类型上的表现。
展示了两种主要失败模式：(上) 包含许多小的、远处物体的场景导致过于保守的输出，仅有细微的真实感变化；(下) 快速相机和角色运动导致的时间伪影。
诚实展示失败案例对理解方法的适用边界和未来改进方向至关重要——这些限制来源于基础图像编辑模型和视频扩散模型的固有特性。