学习潜在代理以实现可控单图像重光照 Learning Latent Proxies for Controllable Single-Image Relighting
提出LightCtrl框架，通过少量物理先验实现细粒度可控的单图像重光照
前置知识
重光照(Relighting)
重光照是指将一张在特定光照条件下捕获的图像，重新渲染到不同光照条件下的过程。这涉及理解场景中的几何结构、材料属性（反照率、粗糙度、金属度）以及光照传播机制。从单张RGB图像进行重光照是计算机视觉中的经典欠约束问题，因为相同的外观可以由无数种几何-材料-光照组合产生，传统方法需要复杂的逆渲染或多视角数据
本文核心解决的就是单图像重光照问题，理解这个概念有助于把握论文的动机和挑战所在
Intrinsic Decomposition(内在分解)
内在分解是指将图像分解为反照率、法线、粗糙度、金属度等物理独立的属性分量。反照率代表材质本身的颜色，不受光照影响；法线描述表面朝向；粗糙度决定镜面反射的散布程度；金属度区分导体和绝缘体。完全的内在分解通常需要密集的PBR(Physically Based Rendering)监督，即渲染时输出的完整G-buffer信息
现有方法依赖完整的内在分解，但本文认为这是冗余的，只需要稀疏但物理有意义的线索即可
扩散模型(Diffusion Model)
扩散模型通过逐步去噪从高斯噪声中生成高质量图像。在条件生成中，可以通过cross-attention机制注入控制信号。扩散模型有强大的先验知识，能学习复杂的图像分布，但在需要物理一致性时会遇到挑战。本文使用Stable Diffusion作为backbone，通过精心设计的条件注入实现可控编辑
本文基于扩散模型构建重光照框架，理解扩散模型的工作原理有助于理解方法的技术路线和条件机制
DPO(Direct Preference Optimization)
DPO原本用于大语言模型对齐，通过对比偏好对来直接优化模型，避免显式训练奖励模型。核心思想是：给定偏好样本和当前预测作为非偏好样本，通过对比强化物理一致性。在本文中，DPO用于后训练阶段，用GT的PBR地图作为偏好，模型当前预测作为非偏好，强化物理一致性
DPO是本文的关键技术之一，用于在稀疏监督下稳定latent proxy encoder
Spherical Harmonics(球面调和函数)
球面调和函数是定义在球面上的正交基函数，用于紧凑表示球面上的信号，如光照分布。低阶SH(如二阶)只需要少量系数(9个)就能近似平滑的环境光照。本文将光源的yaw-pitch方向转换为SH系数，得到连续、旋转感知的嵌入表示，避免角度差分的周期性问题
本文使用SH编码光照方向，这是构建相对光照表示的关键技术
研究动机
单图像重光照面临根本性欠约束：相同的RGB外观可以由无数种几何-材料-光照组合产生。小变化的光照条件（方向、强度、色温）会在阴影、高光和漫反射上产生大的非线性变化，而几何和材料完全不可观察。现有基于扩散的方法存在两极分化：IC-Light等纯粹在潜空间操作，缺乏物理基础，使得对方向、强度和颜色的细粒度控制不可靠；Neural LightRig等基于内在分解的管道需要密集的G-buffer监督（反照率、法线、粗糙度、金属度地图），这些监督昂贵、脆弱且难以大规模获取。表1显示，OpenIllumi仅64个对象，OWL仅8个对象，LightProp虽然有80K+对象但缺乏光照控制。这种两难困境限制了方法的可扩展性和可控性
本文的目标是本文旨在实现既能保持物理一致性，又能细粒度控制光照的单图像重光照，但不需要完整的内在分解。具体目标包括：支持对光照方向（如60度向下或向右）、强度（如调暗200 lux或调亮50 lux）和色温（如偏移到1800K或+2000K）的精确连续控制；在保持细纹理、镜面高光和材料外观的同时，输出物理一致的重光照结果；使用远少于传统方法所需的PBR监督（仅需约3%训练数据有标注）；在物体级和场景级基准上都超越现有方法
与已有工作不同的是，本文的独特切入点是：精确的重光照不需要完整的内在分解，只需要稀疏但物理有意义的线索，指示光照应该在哪里变化以及材料应该如何响应。这个洞察源于观察到光照变化通常只影响一小部分像素（如阴影边界或镜面区域），而大部分区域的内在外观保持不变。基于此，LightCtrl在两个层次整合物理先验：一是从有限PBR监督中提取紧凑材料-几何线索的few-shot latent proxy encoder；二是识别敏感光照区域并引导去噪器的lighting-aware mask。为补偿PBR数据稀缺，还采用基于DPO的目标来增强预测线索的物理一致性。这种方法在保留物理 meaningful 的同时大幅降低了监督成本，填补了纯扩散方法和密集内在方法之间的空白
核心方法
LightCtrl的整体框架基于扩散模型，通过精心设计的条件注入实现可控重光照。给定源图像和参考图像（或目标光照参数），首先计算相对光照表示，编码几何和光度差异（方向、强度、色温）。然后构建三个互补的条件信号：源图像编码器提取的外观token（保持对象身份锚点）；相对光照编码通过MLP映射的光照token（确定目标光照）；以及从少量PBR监督学习的latent proxy token（提供材料-几何先验）。在去噪过程中，通过cross-attention机制融合这些token，并用lighting-aware mask调制注意力权重，使光照敏感区域接受完整条件，稳定区域主要依赖外观线索。这种设计既保留了扩散模型的生成能力，又注入了必要的物理约束
核心创新点在于用稀疏但物理有意义的条件替代完整的内在分解。具体体现在三个方面：（1）Few-shot latent proxy：不像传统方法需要所有样本都有G-buffer监督，只在约3%训练数据上学习紧凑的内在线索（反照率、法线、粗糙度、金属度），通过损失约束，然后空间池化和投影为单个token；（2）Lighting-aware mask：从源-目标对的亮度差异推导软掩码，在训练时用轻量预测器从源图像和光照编码预测；（3）DPO后训练：用GT的PBR地图作为偏好，模型当前输出作为非偏好，通过DPO目标优化编码器。这与需要完整内在分解的方法有本质区别
方法步骤详情
方法步骤完整描述如下：步骤1：数据准备。构造ScaLight数据集，从Objaverse等3D资产库采样超过300K可控3D对象，每个对象在多个视角下渲染，系统变化光源的位置、方向、能量、温度和颜色，得到超过1M渲染图像，其中约3%包含材料标注用于弱监督。步骤2：相对光照编码。给定源光照和目标光照，映射为单位方向向量，投影到二阶球面调和基，计算SH差分，结合对数强度差和色温差，得到完整相对光照向量。步骤3：训练阶段。首先联合训练backbone UNet和PBR encoder，对有PBR监督的样本计算proxy损失，对无监督样本只用扩散目标。然后固定backbone，对PBR encoder进行DPO后训练：构建偏好对，其中是GT PBR地图，是当前编码器输出，计算奖励差并优化。步骤4：推理阶段。给定输入图像和目标光照参数，计算并映射为token；用冻结的图像编码器提取；用训练好的PBR encoder提取proxy并池化为；预测lighting mask；在每步去噪时，通过cross-attention融合三个token，并用mask调制：，其中。最终得到重光照图像。
技术新颖性
技术新颖性体现在：（1）条件表示方面：首次将相对光照编码为方向-强度-色温的组合向量，使用SH编码方向而非原始角度，避免周期性和不连续性问题，为细粒度控制提供直观参数化；（2）监督范式方面：提出few-shot proxy学习，只需约3%数据有PBR标注即可提供物理先验，远少于传统方法的密集监督需求；（3）训练策略方面：首次将DPO应用于视觉任务中的物理一致性强化，通过对比GT和当前预测教导模型什么破坏物理一致性，而非仅仅展示正确状态；（4）数据集方面：ScaLight是首个具有完整相机-光照元数据的大规模物体级数据集，300K+对象远超OpenIllumi的64个和OWL的8个，支持精确的光照控制而非简单变化；（5）空间引导方面：lighting-aware mask直接从光度观测推导软空间权重，无需显式几何监督或完美阴影分割，完全自动生成。这些创新共同实现了物理一致性和可控性的平衡
实验结果
核心发现包括三个方面：（1）定量性能上，LightCtrl在ScaLight控制子集上的温度、位置、能量三种光照变化下都取得最优结果。温度变化：RMSE 0.053、SSIM 0.974、PSNR 30.2；位置变化：RMSE 0.074、SSIM 0.929、PSNR 25.6；能量变化：RMSE 0.083、SSIM 0.988、PSNR 27.1。作为对比，LumiNet在温度变化下RMSE 0.172、SSIM 0.848、PSNR 15.8，位置变化下RMSE 0.146、SSIM 0.847、PSNR 17.8。消融实验显示每个组件都重要：移除proxy导致温度RMSE从0.053升至0.062、位置RMSE从0.074升至0.087、能量RMSE从0.083升至0.171；移除mask导致温度RMSE升至0.073、位置RMSE升至0.102、能量RMSE升至0.126；移除DPO导致温度RMSE升至0.114、位置RMSE升至0.163、能量RMSE升至0.194，证明DPO对稳定proxy最关键。（2）场景级泛化上，在MIIW真实室内场景数据集上，LightCtrl RMSE 0.167、SSIM 0.655、PSNR 18.30，超越RGB-X的RMSE 0.389/SSIM 0.425/PSNR 8.25和IC-Light的RMSE 0.413/SSIM 0.337/PSNR 7.94。尽管主要在合成物体数据上训练，但仍能处理真实场景中的复杂几何、混乱布局和混合材料。（3）用户偏好研究显示，在复杂真实场景（MIIW和RWR）上，LightCtrl偏好率55.73%，显著高于LumiNet的12.83%、IC-Light的9.37%和NanoBanana的22.07%；在控制物体（ScaLight）上，偏好率81.45%，远超LumiNet的4.3%、IC-Light的11.45%和NanoBanana的2.8%。这表明用户认为LightCtrl的输出在真实性和可控性上都优于现有方法。图7显示的失败案例分析表明，模型在长距离阴影投射和高频高光区域仍有局限，这是未来改进方向
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 场景级重光照(MIIW测试集) | RMSE/SSIM/PSNR | 0.167/0.655/18.30 | RGB-X: 0.389/0.425/8.25; IC-Light: 0.413/0.337/7.94; LumiNet: 0.139/0.904/17.20 | 相比RGB-X，PSNR提升10.05 dB，RMSE降低57%；相比IC-Light，PSNR提升10.36 dB，RMSE降低60% |
| 物体级重光照-温度变化 | RMSE/SSIM/PSNR | 0.053/0.974/30.2 | IC-Light: 0.397/0.346/8.21; LumiNet: 0.172/0.848/15.8 | 相比LumiNet，PSNR提升14.4 dB，RMSE降低69% |
| 物体级重光照-位置变化 | RMSE/SSIM/PSNR | 0.074/0.929/25.6 | IC-Light: 0.375/0.363/8.65; LumiNet: 0.146/0.847/17.8 | 相比LumiNet，PSNR提升7.8 dB，RMSE降低49% |
| 物体级重光照-能量变化 | RMSE/SSIM/PSNR | 0.083/0.988/27.1 | IC-Light: 0.380/0.382/8.63; LumiNet: 0.164/0.825/16.2 | 相比LumiNet，PSNR提升10.9 dB，RMSE降低49% |
| 用户偏好-场景级 | 偏好率 | 55.73% | LumiNet: 12.83%; IC-Light: 9.37%; NanoBanana: 22.07% | 比第二高(NanoBanana)提升33.66个百分点 |
| 用户偏好-物体级 | 偏好率 | 81.45% | LumiNet: 4.3%; IC-Light: 11.45%; NanoBanana: 2.8% | 比第二高(IC-Light)提升70个百分点 |
| PBR监督规模影响 | RMSE/SSIM/PSNR | 9K样本: 0.194/0.873/23.5 | 1K样本: 0.468/0.487/12.8; 3K样本: 0.421/0.534/14.7; 6K样本: 0.331/0.612/19.3 | 9K样本相比1K样本，PSNR提升10.7 dB，RMSE降低58%，但12K样本后边际收益递减 |
局限与改进
局限性分析分为作者承认的和观察到的。作者明确指出：在合成、物体中心设置中证据最强，转移到混乱的真实场景时控制行为变得不那么稳健，质量提升更混合。主要失败模式是不准确的全局投影阴影重铸：模型通常可以处理局部阴影变化，但可能遗漏远处物体与支撑表面之间锐利的长距离阴影，特别是在大的视点相关光照变化下。第二个局限出现在高频几何和高光区域：在强光照对比或集中镜面高光下，细结构细节可能被过度平滑，局部纹理可能部分被洗掉。这些与proxy设计一致：因为条件信号是从稀疏单视图线索推断而非密集多视图几何或显式遮挡推理，去噪器可能默认为平滑环境调整而非物理精确的阴影交叉。从论文中还可以观察到：SSIM指标上LumiNet有时更高（场景级0.904 vs 本文0.655），这反映感知-失真权衡，像素对齐的SSIM固有偏向保守的结构保留，常奖励保留原始阴影或产生模糊平均（类似风格迁移）的模型，而LightCtrl执行需要显著结构变化的灵活精确光照命令，如合成新颖锐利的投影阴影，这在SSIM上有惩罚但物理正确。此外，表5显示PBR监督规模超过9K后边际收益递减，12K样本仅比9K样本RMSE从0.194降至0.105，SSIM从0.873升至0.921，PSNR从23.5升至28.6，表明该方法对监督密度的饱和点较低
独立分析的弱点
独立分析的弱点包括：全局光传输推理不足。在复杂真实场景中，远处物体间的相互反射和间接光照影响显著，但本文的latent proxy主要是局部的材料-几何线索，缺乏全局遮挡和光传输推理。这导致长距离阴影不准确。改进方向：引入显式的遮挡图或多视图几何先验，或在proxy中加入全局光传输编码。高频细节丢失。在高光区域，细结构被过度平滑，可能是因为diffusion mask不够精确，或去噪过程在高频区域倾向于保守。改进方向：细化mask预测网络，引入高频感知损失，或在去噪过程中用自适应步长控制高频区域。泛化到极端光照。在论文中没有充分测试极端光照条件（如背光、强对比度），这些场景下阴影和高光边界更加复杂。改进方向：在训练数据中加入更多极端光照案例，或设计针对极端条件的专用模块。计算效率。虽然单次推理仅需0.84秒（50步），但模型参数量约1.2B，在资源受限环境下部署困难。改进方向：探索模型蒸馏或知识压缩，或设计更高效的proxy encoder。评估指标局限性。过度依赖RMSE/SSIM/PSNR等传统指标，这些指标可能不能完全反映重光照的真实性。改进方向：引入更多感知指标（如FID、LPIPS）和物理一致性指标（如阴影准确性、高光保留率）。
未来方向
未来研究方向包括：作者提出的方向是加强全局光传输推理、引入更丰富的几何/遮挡监督、添加控制特定诊断用于阴影准确性、结构保真度和高光保留。基于成果可延伸的方向：视频重光照扩展。本文方法针对单图像，可以扩展到视频，利用时间一致性约束改善单帧结果的稳定性。交互式重光照工具。结合本文的细粒度控制能力，开发允许用户通过滑块或画笔实时调整光照的交互式编辑器。真实场景无监督适应。虽然主要在合成数据上训练，但可以通过域适应技术（如 adversarial training、style transfer）更好地适应真实场景。多光源建模。本文主要处理单一光源变化，未来可扩展到多光源场景，支持更复杂的光照设置。语义感知重光照。结合语义分割，对不同语义区域应用不同的光照策略，如人脸、材质、背景分别处理。理论分析。深入分析为什么稀疏物理线索足够，内在分解的最小充分条件是什么，为设计更高效的重光照方法提供理论指导。
复现评估
复现评估：论文提供了详细的实现细节，包括训练设置（4×NVIDIA H800 GPU，fp16混合精度，AdamW优化器，初始学习率，批大小16/GPU共64，训练400K扩散步骤）、网络架构（基于Stable Diffusion的UNet backbone，CLIP-ViT图像编码器，MLP光照编码器）、损失函数（proxy损失、diffusion损失、DPO目标）和数据集构造流程（ScaLight的渲染参数范围、采样策略）。但没有明确声明代码或数据是否开源。数据集方面，ScaLight从Objaverse等公开3D资产库采样，渲染使用Blender，可以复现，但需要大量计算资源。算力需求较高：训练需要4×H800 GPU约数天，单次推理512×512图像约0.84秒（50步），峰值显存2.53GB。复现难度中等偏高，主要挑战在于数据集构造和训练成本，但详细的技术描述有助于复现核心思想。建议作者未来提供代码和预训练模型，或至少提供ScaLight的子集用于验证
论文图表
Figure 7 展示了在真实场景MIIW和RWR上的针对性失败分析，显示了代表错误：阴影重铸不准确、结构保持不理想、高光区域的问题。这反映了模型在长距离阴影投射和高频几何区域的局限。
这张图对理解方法的局限性很重要。诚实的失败分析有助于读者理解方法的边界和适用场景。它显示了两个主要失败模式：不准确的长距离投影阴影和高频细节的过度平滑。这是未来改进的明确方向。