← 返回 2026-04-10

基于渲染器智能体推理的光照接地视频生成 Lighting-grounded Video Generation with Renderer-based Agent Reasoning

Ziqi Cai, Taoyu Yang, Zheng Chang, Si Li, Han Jiang, Shuchen Weng, Boxin Shi 📅 2026-04-09 👍 10 2026-07-13 08:36
PBR渲染 Wan2.2 可控视频生成 场景代理 扩散Transformer 物理光照建模
arXiv HuggingFace PDF

用LLM驱动的渲染智能体将文本转为带物理光照的3D场景代理以引导视频生成

前置知识

基于物理的渲染 (PBR) 与BRDF

PBR用光学物理模型计算光照传输,核心是双向反射分布函数BRDF,描述入射光如何反射。GGX(Trowbridge-Reitz)用一个粗糙度参数控制反射从漫反射到镜面的过渡。

LiVER把光照表示拆成Diffuse/Rough GGX/Glossy GGX三层渲染pass,本质上是把PBR的反射分解"摊开"成可学习的条件通道,不理解BRDF就无法理解为什么选这三个通道及其物理含义。

HDR环境贴图 (HDR Environment Map)

HDR环境贴图以球面坐标存储的全景图记录来自所有方向的入射光辐射亮度(可达$10^4$ cd/m$^2$量级),用于PBR管线中的环境光照积分计算。

LiVER的核心控制旋钮就是HDR贴图:换HDR就换整段视频的光照,演示yaw旋转180°-240°时光照连续过渡(Fig.5)。理解HDR等价于"无穷远方向光积分"才能体会其解耦控制能力。

Flow Matching (流匹配)训练目标

流匹配是连接数据分布与噪声分布的生成式训练目标,LiVER的损失为$\mathcal{L}=\mathbb{E}_{z,\epsilon,t}\|u_\theta(z_t,y,c_{txt},t)-v_t\|_2^2$,$z_t=(1-t)\epsilon+tz$为线性插值latent。

LiVER的Wan2.2-5B骨干与proxy模块均在Flow Matching下联合优化。读Eq.(2)损失函数与Sec.5.1的训练配置都需要这一基础。

扩散Transformer (DiT) 与条件注入

DiT用Transformer block做扩散去噪,每block含自注意力、交叉注意力(接收外部条件)和FFN。LiVER在Wan2.2-5B上通过Eq.(3)$z'=z+\alpha z_y$做proxy残差注入,$\alpha$初始化为0。

proxy encoder输出的$z_y$与VAE latent $z$分辨率对齐,$\alpha$零初始化保证proxy在训练初期不影响基模型输出,是保留Wan2.2先验的关键trick,类似ControlNet的zero convolution思路。

LoRA低秩适配

LoRA在原权重$W$上并行低秩分解$\Delta W=BA$(B、A远小于$d\times d$),训练只更新$BA$而冻结$W$,极大降低显存与防止灾难性遗忘。

LiVER的三阶段训练围绕LoRA设计:Stage 1只训proxy encoder,Stage 2加入LoRA联合微调,Stage 3混入合成数据。没有LoRA的"小步增量",Wan2.2-5B无法在不破坏先验的前提下学到新控制信号。

场景图 (Scene Graph) 与LLM智能体

场景图$G=(V,E)$用节点表示物体(类别、材质、姿态)、边表示空间关系(如"in front of")。LiVER用LLM作为scene agent解析文本→实例化mesh→优化位姿满足关系约束。

LiVER与端到端视频扩散的核心区别是把"文本→3D结构"这一高难度映射外包给LLM+渲染器pipeline,使生成阶段只需做"3D→视频",这是光照/布局/相机三重解耦控制的工程基础。

研究动机

近年来基于扩散的视频生成模型(如Stable Video Diffusion、Wan2.2-5B、CogVideoX)在视觉质量与时序一致性上取得显著进展,但其"可控性"仍是核心瓶颈。研究者通过引入2D代理(Boximator的bounding-box轨迹、TrailBlazer的sparse trajectory、CameraCtrl的相机位姿、MotionCtrl的稀疏物体轨迹、VideoFrom3D的锚点视图等)使视频能跟随某些3D-aware条件,但这些工作普遍把光照当成"无关变量"忽略——它们既不显式建模HDR环境光,也不在材质层面区分漫反射、粗糙反射、镜面反射。结果是生成的视频在皮肤、金属、玻璃等真实材质上仍会出现明显的光照失真,如阴影错位、反射缺失、镜面高光方向错误等。这一缺陷在电影、虚拟制作等需要精确光照的创作场景下尤其致命:导演不能接受"这束光明显该打在脸上的角色鼻梁上没有高光"。此外,这些方法大多把布局、相机、光照纠缠在同一个latent里,用户难以对单个物理量做独立编辑。

本文的目标是本文的具体目标是提出LiVER(Lighting-grounded Video genERation)框架,把光照作为与布局、相机并列的一类显式3D物理条件,使视频生成具备三项能力:(a)物理正确的光照效果,包括阴影、反射、镜面高光和环境遮挡;(b)对场景几何布局的精细控制,物体位置和形状忠实于3D proxy;(c)对相机轨迹的精确跟随,同时光照、布局、相机三者彼此解耦,可独立编辑。具体数据目标上,作者在自建的LiVERSet(11K视频,81帧@720×1280,10K训练+1K测试,实拍+合成各半)上训练,期望FVD低于CameraCtrl/MotionCtrl/VideoFrom3D等基线,同时在相机位姿误差(ATE、RPEt、RPEr)、光照误差(LE、LI)、布局mIoU上全面领先。

与已有工作不同的是，本文独特切入角度在于把"光照"从隐变量提升为显式物理条件,通过三层差异化设计实现:(1)采用PBR渲染器(Blender)的分层pass——Diffuse($x_{DIFF}$)、Rough GGX($x_{GGX1}$)、Glossy GGX($x_{GGX2}$)——堆叠为9通道场景代理$y\in\mathbb{R}^{F\times9\times H\times W}$,同时保留物理光照与几何布局;(2)设计基于LLM的renderer-based agent,把"高层文本"翻译为"结构化3D场景图+相机关键帧+HDR选择",而非常见的端到端latent条件化;(3)配套LiVER-Real(用VGGT+Grounding-DINO+SAM2+DiffusionLight-Turbo重建)+LiVER-Syn(用Objaverse-XL+Poly Haven HDR程序化合成,yaw旋转180°-240°)双子集弥补光照多样性。这与CameraCtrl/MotionCtrl/VideoFrom3D/PhysCtrl的路线形成本质差异。

核心方法

LiVER的整体思路是"让3D物理推理发生在视频生成之前":先用一个LLM驱动的渲染器智能体把文本描述"具象化"为一个3D场景代理(scene graph + HDR环境贴图 + 相机轨迹),再让PBR渲染器把这个3D代理渲染成由Diffuse/Rough GGX/Glossy GGX三层叠加而成的"光照接地"场景代理$y$,最后用Wan2.2-5B视频扩散模型把场景代理、条件文本、相机条件一起去噪成最终视频。这一设计把难以学习的"文本→3D结构"问题外包给LLM+渲染器pipeline,把视频扩散模型的工作量降到"3D→2D外观"这一相对简单的问题。直觉上可以这样理解:传统视频扩散像是在"凭文字描述画画",而LiVER是"先搭一个乐高场景,再让画家照着这个场景画"——乐高本身自带正确的光照信息,画家只需要把外观画出来。

LiVER的核心创新是把"物理光照分量"作为可学习的视频条件通道。具体三个本质区别于已有方法的点:(a)场景代理不是2D depth/box/trajectory这类弱几何代理,而是用PBR渲染器从3D场景+sun/sky HDR生成的9通道RGB渲染pass——Diffuse层编码低频环境光与几何布局,Rough GGX编码中频宽反射,Glossy GGX编码高频镜面高光,这三层联合起来形成完整的物理光照+布局信息;(b)轻量级的2D proxy encoder把9通道输入降采样到与VAE latent同分辨率的$z_y$,通过Eq.(3)$z'=z+\alpha z_y$($\alpha$初始化为0)的残差注入方式,保证proxy在训练初期不影响基模型输出,从而在保留Wan2.2先验的前提下逐步学会光照对齐;(c)三阶段训练(scenario pathway→joint LoRA→lighting diversity)把"学proxy对齐"、"让基模型响应proxy"、"扩展光照多样性"三个目标解耦,避免端到端联合训练时控制信号与生成质量互相干扰的优化难题。

方法步骤详情

方法分四模块。(1)Renderer-based Agent:输入文本T,Scene Agent用LLM得场景图G=(V,E)并从Objaverse-XL检索mesh优化位姿得s_geo;Lighting Setup选HDR贴图l_inf;Camera Planning解析镜头术语并样条插值得F帧相机轨迹c_inf。(2)场景代理(Eq.(1)):y=[x_DIFF,x_GGX1,x_GGX2]=R(s_i,l_i,c_i),y的形状F×9×H×W。(3)光照接地视频生成:Wan2.2-5B的VAE编码视频到z=E(x),Proxy Encoder把y降采样到z_y,按Eq.(3)z'=z+α·z_y(α零初始化)残差注入;相机与光照通过cross-attention进入Flow Matching主干。(4)三阶段训练:Stage 1冻结主干训proxy 10 epoch;Stage 2解冻LoRA联合微调10 epoch;Stage 3按1:1混入LiVER-Syn继续训练,AdamW学习率1e-5,batch 16(8卡H100)。

技术新颖性

技术新颖性可从四个维度评估。第一,把PBR渲染输出(3层BRDF通道)直接作为视频扩散条件具有原创性——PhysCtrl/GenLit/Light-A-Video等relighting工作只用单一光照线索或后处理fusion,LiVER把渲染器当作"3D-物理-grounded feature extractor"嵌入训练循环。第二,Eq.(3)的残差注入$z'=z+\alpha z_y$与$\alpha$零初始化是关键trick,类似ControlNet的zero convolution思路,但LiVER是首个用在BRDF分层渲染条件上的。第三,LLM agent作为"文本→3D"翻译器而非端到端条件,使系统可被用户通过修改3D代理二次编辑(Fig.5的yaw旋转HDR、Fig.4的布局对比),这是端到端latent方法做不到的。第四,数据层面LiVER-Real自动重建11K视频物理标注,LiVER-Syn通过yaw旋转180°-240°HDR保证多样性,这种"实拍+合成"双子集是底层数据基础。

Overall framework. (1) A renderer-based agent produces a coarse geometric layout, camera trajectory, and a High Dynamic Range (HDR) environment map. (2) Physically-based rendering generates a lighting-grounded scene proxy containing diffuse, rough, and glossy materials with shading signals. (3) These physical cues are injected into a video diffusion model to synthesize photorealistic sequences with accurate lighting behavior, faithful scene layout, and precisely aligned camera trajectory.
Figure 1: Overall framework. (1) A renderer-based agent produces a coarse geometric layout, camera trajectory, and a High Dynamic Range (HDR) environment map. (2) Physically-based rendering generates a lighting-grounded scene proxy containing diffuse, rough, and glossy materials with shading signals. (3) These physical cues are injected into a video diffusion model to synthesize photorealistic sequences with accurate lighting behavior, faithful scene layout, and precisely aligned camera trajectory.
Our data annotation pipeline for LiVER-Real. We process each video to reconstruct its 3D geometry and estimate its HDR environment map. These are then used to render three pixel-aligned lighting representations (Diffuse, Glossy GGX, Rough GGX), which are concatenated to form the final conditioning input.
Figure 2: Our data annotation pipeline for LiVER-Real. We process each video to reconstruct its 3D geometry and estimate its HDR environment map. These are then used to render three pixel-aligned lighting representations (Diffuse, Glossy GGX, Rough GGX), which are concatenated to form the final conditioning input.
Pipeline of LiVER. Given a text prompt T, our Scene Agent parses object categories, spatial relations, and coarse geometry to construct an initial 3D scene. The Camera Agent infers a camera trajectory consistent with the described viewpoint and scene semantics, producing the camera condition C. The 3D scene is then rendered through a physically-based renderer to obtain the lighting-grounded scene proxy, including diffuse, glossy GGX, and rough GGX components, forming the scene condition Xcond.
Figure 3: Pipeline of LiVER. Given a text prompt T, our Scene Agent parses object categories, spatial relations, and coarse geometry to construct an initial 3D scene. The Camera Agent infers a camera trajectory consistent with the described viewpoint and scene semantics, producing the camera condition C. The 3D scene is then rendered through a physically-based renderer to obtain the lighting-grounded scene proxy, including diffuse, glossy GGX, and rough GGX components, forming the scene condition Xcond.

实验结果

实验在LiVERSet测试集(1K视频)进行,核心发现分四层。(1)视频质量:16帧协议LiVER取得FVD 32.45/FID 42.32/CLIP 29.62,显著优于CameraCtrl(48.03/98.29/28.75)和MotionCtrl(63.13/97.21/26.67);81帧FVD 32.56、CLIP 30.97。(2)相机控制:81帧ATE 2.48/RPEt 0.71/RPEr 0.50°,RPEt/RPEr大幅领先CameraCtrl(1.39/1.68)与MotionCtrl(2.03/7.32)。(3)光照与布局:81帧LE 0.04/LI 0.02/mIoU 0.87,LE/LI全面优于基线(0.05-0.07),mIoU比CameraCtrl 0.68高0.19。(4)消融+用户研究:无合成数据输出光照错误,无阶段训练输出近乎静止;LiVER获VQ 83.4%/SC 83.3%/CC 72.1%/LC 59.3%偏好率,远超CameraCtrl/MotionCtrl(<6%)与VideoFrom3D(8.7-29.0%)。

Quantitative comparison with state-of-the-art methods. Our method consistently outperforms the baselines. †Only compare first 16 frames.
Table 1: Quantitative comparison with state-of-the-art methods. Our method consistently outperforms the baselines. †Only compare first 16 frames.
Percentage of samples in which each method is selected as the most preferred solution.
Table 2: Percentage of samples in which each method is selected as the most preferred solution.
Qualitative comparison with state-of-the-art controllable video generation models. In each block, each row corresponds to one video, and frames are arranged from left to right in temporal order. The top row shows the results of each comparison method, followed by ours, with the ground truth (GT) shown in the final row.
Figure 4: Qualitative comparison with state-of-the-art controllable video generation models. In each block, each row corresponds to one video, and frames are arranged from left to right in temporal order. The top row shows the results of each comparison method, followed by ours, with the ground truth (GT) shown in the final row.
By manipulating the HDR environment map, our model produces continuous and physically consistent lighting variations. We show the diffuse, glossy, and rough GGX components of the scene proxy (top three rows) and the corresponding synthesized outputs (bottom). Lighting changes are reflected in shading and reflections while geometry and materials remain stable.
Figure 5: By manipulating the HDR environment map, our model produces continuous and physically consistent lighting variations. We show the diffuse, glossy, and rough GGX components of the scene proxy (top three rows) and the corresponding synthesized outputs (bottom). Lighting changes are reflected in shading and reflections while geometry and materials remain stable.
查看结构化数据
任务指标本文基线提升
LiVERSet 16帧视频生成(对比CameraCtrl/MotionCtrl) FVD (Fréchet Video Distance) 32.45 CameraCtrl 48.03, MotionCtrl 63.13 比CameraCtrl下降15.58 (-32.4%),比MotionCtrl下降30.68 (-48.6%)
LiVERSet 16帧视频生成(对比CameraCtrl/MotionCtrl) FID (Fréchet Inception Distance, 每帧图像质量) 42.32 CameraCtrl 98.29, MotionCtrl 97.21 比CameraCtrl下降55.97 (-56.9%),比MotionCtrl下降54.89 (-56.5%)
LiVERSet 16帧视频生成(对比CameraCtrl/MotionCtrl) CLIP (图像-文本相似度) 29.62 CameraCtrl 28.75, MotionCtrl 26.67 比CameraCtrl提升+0.87,比MotionCtrl提升+2.95,语义对齐更准
LiVERSet 81帧视频生成(对比VideoFrom3D) FVD (Fréchet Video Distance) 32.56 VideoFrom3D 36.94 下降4.38 (-11.9%),长视频分布匹配更接近真实
LiVERSet 81帧视频生成 相机姿态误差 ATE / RPEt / RPEr ATE 2.48, RPEt 0.71, RPEr 0.50° CameraCtrl 2.15/1.39/1.68°, MotionCtrl 3.42/2.03/7.32°, VideoFrom3D 17.55/3.85/3.12° RPEr比MotionCtrl降6.82°(-93.2%),RPEt比VideoFrom3D降3.14(-81.6%),相机轨迹稳定性显著领先
LiVERSet 81帧视频生成 光照误差 LE / 光照不稳定性 LI (越低越好) LE 0.04, LI 0.02 CameraCtrl 0.06/0.03, MotionCtrl 0.07/0.04, VideoFrom3D 0.05/0.03 LE比所有基线低0.01-0.03(降幅17-43%),LI比所有基线低0.01-0.02,物理光照正确性领先
LiVERSet 81帧视频生成 布局保真度 mIoU (平均交并比, 越高越好) 0.87 CameraCtrl 0.68, MotionCtrl 0.66, VideoFrom3D 0.74 比CameraCtrl提升+0.19(+27.9%),比MotionCtrl提升+0.21(+31.8%),比VideoFrom3D提升+0.13(+17.6%),物体形状与空间结构最忠实
用户主观偏好(25人×20组对比) 视频质量(VQ)/场景控制(SC)/相机控制(CC)/光照控制(LC)偏好率 VQ 83.4%, SC 83.3%, CC 72.1%, LC 59.3% CameraCtrl 4.3/4.1/2.2/6.0%, MotionCtrl 3.6/3.6/1.6/5.7%, VideoFrom3D 8.7/8.9/24.1/29.0% VQ/SC偏好率为最强基线的9.6-9.4倍,CC/LC为2.0-2.4倍,主观感知全面领先

局限与改进

作者明确承认的最大局限是"3D几何重建是粗粒度的"——VGGT+Grounding-DINO+SAM2只能给出coarse mesh,因此模型必须依赖文本描述来合成细粒度几何与材质细节。这带来两个具体后果:(1)用户prompt质量直接决定最终输出的几何一致性与材质丰富度,prompt不够详细会出现明显几何缺失或材质错配;(2)first-frame segmentation只标注"主要物体",视频后段新出现的小物体不被显式建模,只能由扩散模型"幻觉"生成,可能导致时序不一致。从独立观察看,Table 1的FID 129.56虽比VideoFrom3D 157.89好但绝对值仍偏高,提示长视频单帧细节质量并非本文优势方向;Ours†(16帧)与Ours(81帧)之间RPEr从1.16°降到0.50°说明长视频相机漂移更小,但ATE从1.30升到2.48说明全局对齐存在累积漂移,与Eq.(3)只注入proxy latent、不显式建模长程相机约束有关。此外,推理需先调用LLM+Blender渲染(几十秒级),远慢于纯扩散基线,是把控制力换延迟的典型trade-off。

独立分析的弱点

独立分析本文有三个潜在弱点。弱点一:渲染管线依赖导致推理链路长且对资产库敏感——Scene Agent必须从Objaverse-XL的10M+物体中检索匹配mesh,若用户prompt描述罕见物体(如"维多利亚时期的鹿角椅")而库里没有,检索失败会让整个pipeline退化;改进方向是接入AssetGen等生成式资产生成或允许用户提供自定义mesh。弱点二:9通道RGB渲染pass虽物理正确但通道间共享几何,冗余较高;经proxy encoder压成C=4通道latent存在信息瓶颈,可能丢失细节光照;改进方向是用3D-aware稀疏卷积或NeRF-based feature。弱点三:三阶段训练虽是独立工程开关,若实拍与合成数据分布差异大(如光照风格剧变)Stage 3切换可能出现灾难性遗忘;且合成HDR yaw旋转固定在180°-240°区间,对云移动等小范围光照起伏缺乏建模;改进方向是设计连续光照强度参数或引入物理光照扩散方程约束。

未来方向

作者明确提出的未来工作是"通过更复杂的prompt工程提升场景解读能力"以缓解粗3D重建带来的几何不一致。基于本文成果可延伸的方向包括:(a)把"渲染代理+DiT"框架推广到视频编辑场景,反向重建3D代理后用LiVER代理重新渲染,实现"调光照不改动作"或"换布局保留相机"的细粒度编辑;(b)用NeRF或3D Gaussian Splatting替代3D mesh+渲染pass,因为前者内存效率与连续几何表达更适合视频中的动态物体;(c)把LiVER的agent框架接入机器人或自动驾驶的sim-to-real pipeline——LLM解析任务文本、3D代理作为可执行世界模型、视频生成作为rollout可视化;(d)研究长程光照一致性,让HDR贴图随时间连续变化(模拟日出到日落)而几何稳定;(e)探索声学、触觉等多模态物理量的grounded生成。

复现评估

复现评估分四方面。代码与模型:论文arXiv 2604.07966v1,代码仓库链接未直接给出(需查arXiv HTML版);基于Wan2.2-5B开源骨干+Blender+DiffusionLight-Turbo+Grounding-DINO+SAM2+VGGT+Objaverse-XL+Poly Haven全开源依赖,工程上理论可复现。数据:LiVERSet的LiVER-Real依赖DL3DV-10K原始视频,LiVER-Syn用Objaverse-XL子集与Poly Haven HDR库,公开11K视频、81帧@720×1280的10K/1K划分。算力:训练需8卡NVIDIA H100、batch 2、约100K步,完整训练成本在数千美元GPU时。难度:整体复现难度为高,挑战在于(1)LiVER-Real pipeline容错率低;(2)三阶段训练与LoRA rank细节部分放补充材料;(3)LLM agent的prompt需针对部署调优;小规模实验(只跑LiVER-Syn子集)是较现实的起步方案。

论文图表

Figure 6: Qualitative results of our ablation study.

消融研究的可视化对比图,从左到右四列分别为:w/o SynData(仅实拍数据训练,光照错误甚至主体被错误照亮)、w/o staged(端到端无阶段训练,输出近乎静止)、Ours(完整模型,光照正确且动态)、GT(参考视频),展示合成数据与三阶段训练各自对最终效果的必要性。

这是支撑Sec.5.6消融结论的核心可视化证据,把"无合成数据→光照错"和"无阶段训练→控制失败"两个关键论点用具体帧展示出来,是论证设计选择必要性的关键图。