生成式世界渲染器：从AAA游戏提取大规模数据集推动双向渲染突破 Generative World Renderer

数据构建管道分为三个主要阶段。第一阶段：G-buffer拦截。使用ReShade拦截图形API级别的渲染管道。首先用RenderDoc进行离线帧分析，识别候选渲染过程及其关联的渲染目标附件，包括其格式、尺寸和采样计数。基于离线帧检查和通道追踪，实现游戏特定的ReShade插件，挂钩图形API回调以监控每帧渲染目标绑定。在运行时，维护候选附件的小池，仅GPU复制满足稳定不变量（一致格式、范围和循环绑定模式）的缓冲区。记录轻量级每帧签名，包括格式和范围稳定性以及过程局部绘制调用跨度。选择后，将选定的渲染目标绑定为ReShade效果运行时的输入纹理，效果着色器可以将其着色到屏幕。对于法线信息，采用相机空间法线，但由于缺乏可靠访问视图矩阵无法将世界转换为相机空间，因此通过逆投影和有限差分从深度重建相机空间法线：$n = \text{normalize}(\partial P/\partial x \times \partial P/\partial y)$，其中$P$是从深度缓冲区重建的视图空间位置。第二阶段：注释和过滤。部署Qwen3-VL-235B-A22B-Instruct模型，对于每个视频片段，沿时间轴均匀采样五帧并将带时间戳的帧输入Qwen以获得相应注释。注释四个分类属性：纹理、天气、场景、运动。过滤掉场景内容和相机在整个注释中保持静态的片段，并排除亮度过低的帧。第三阶段：运动模糊合成。首先通过RIFE插值8个RGB子帧，在线性域中平均它们，然后转换回RGB：$I_{\text{blur}}^t = \text{RGB}(K^{-1}\sum_{i=1}^{K}\text{Lin}(\tilde{I}_{t,i}))$，其中$\tilde{I}_{t,i}$表示RIFE插值的RGB帧，$\text{Lin}(\cdot)/\text{RGB}(\cdot)$是RGB到线性转换。

技术新颖性体现在多个方面。首先，数据获取管道创新性地结合了图形API拦截和双屏拼接策略，突破了传统屏幕捕获的分辨率限制，实现了720p有效分辨率的六个同步通道记录。其次，针对现代游戏使用引擎和特定标题的G-buffer打包/编码且没有标准化布局的问题，提出了基于元数据不变量的自动过滤规则，结合RenderDoc离线检查和运行时签名验证，实现了鲁棒的运行时G-buffer识别。第三，针对金属度和粗糙度经常被打包到单个G-buffer渲染目标的不同通道、通过屏幕捕获视频记录可能导致通道耦合伪影的问题，采用空间分离渲染策略，确保压缩噪声不会交叉污染材料属性。第四，提出了针对真实场景测试用例的VLM评估协议，系统评估语义正确性、空间保真度和时间一致性，展示了与人类偏好的强相关性。最后，数据集规模达到400万帧720p/30fps视频，总游戏时间40小时，平均片段8分钟，最大片段53分钟，覆盖两个AAA游戏，提供了前所未有的长时间连续、多样化天气和长期时间连贯性监督。

独立分析的弱点包括：数据集仅覆盖两个游戏，虽然互补性强（Cyberpunk 2077偏向金属丰富的城市环境，Black Myth: Wukong偏向自然场景），但仍可能存在领域偏差，难以泛化到其他类型的场景。改进方向：扩展到更多游戏，特别是具有不同艺术风格和渲染引擎的游戏，增加场景多样性。VLM评估虽然在金属度上与人类判断一致性高，但在粗糙度上一致性较低，可能影响对更微妙材料属性的客观评估。改进方向：开发更细粒度的VLM提示，或结合多种评估方法获得更全面的评估。从深度重建相机空间法线可能引入数值误差，特别是在深度不连续区域。改进方向：直接从渲染管道提取相机空间法线，或开发更鲁棒的重建算法。运动模糊合成基于插值，可能无法完全模拟真实相机的曝光积分过程。改进方向：采用更物理准确的运动模糊模拟，或直接从游戏引擎捕获带运动模糊的输出。数据集发布受限访问可能影响研究社区的使用。改进方向：与游戏开发商合作，探索更开放的数据共享机制，同时保护知识产权。

作者提出的未来研究方向包括：将数据集扩展到更多游戏引擎和标题，增加场景和材料的多样性；开发更先进的VLM评估协议，提高对复杂材料属性的判断准确性；探索将本文数据获取管道应用于其他类型的中间表示，如体积缓冲区、光照贴图等；研究在本文数据上训练端到端的神经渲染器，直接从G-buffer生成高保真图像。基于本文成果可延伸的方向包括：将本文数据集用于训练更复杂的逆向渲染模型，如结合扩散模型和神经场的混合架构；探索利用本文数据集学习通用材料先验，支持跨域的材料估计和编辑；研究在本文数据上训练视频生成模型，实现更可控和物理一致的视频编辑；开发更高效的数据获取管道，支持更高分辨率和更多通道的实时捕获；探索将本文VLM评估协议应用于其他生成任务，如纹理合成、风格迁移等；研究在本文数据上训练的模型在现实世界应用中的部署，如AR/VR、数字孪生等。

复现评估：数据集将在CC BY-NC-SA 4.0许可下发布，采用受限访问，研究人员需要签署使用条款。数据获取工具包将完全开源，使研究人员能够利用本文管道从其他游戏合法策划数据，促进此类数据集的持续扩展和多样化。代码已在GitHub上开源，项目页面提供演示和更多信息。实验使用Cyberpunk 2077训练，Black Myth: Wukong测试，微调DiffusionRenderer官方实现，使用57帧24FPS的固定长度片段和1280乘720分辨率。对于游戏编辑，适配Wan 2.1-T2V-1.3B模型，在832乘480（480p）空间分辨率和16FPS帧率下使用81帧片段完全微调。VLM评估使用Gemini 3 Pro作为裁判模型。复现需要访问受限数据集和游戏，需要一定的硬件资源用于训练和推理。总体而言，复现难度中等，主要挑战是数据集访问和游戏环境设置。