可重新照明的多视图3D重建与解耦光照 ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination
首个端到端多视图3D重建，同时重建几何、PBR材质和HDR环境光，速度小于1秒
前置知识
Physically Based Rendering (PBR)
基于物理的渲染框架，描述光与物体表面的相互作用。核心是双向反射分布函数BRDF fr(ωin, ωout)，建模从方向ωin入射的光有多少被反射到方向ωout。材质通过Disney principled BRDF参数化，包括RGB反照率ρ、标量粗糙度r、标量金属度m以及法线贴图nbump。空间变化的BRDF（svBRDF）允许材质属性在表面上变化，这是可重新照明的关键。
本文的核心目标是材质-光照解耦，PBR提供了物理准确的材质表示，使得重建的物体可以在任意新光照条件下重新渲染。如果不理解PBR，就无法理解为什么解耦材质和光照如此重要，以及如何通过物理约束来实现这一点。
Multi-view Constraints
多视图约束是指利用多个视角对同一场景的观测来约束重建过程。当多个观测看到同一表面点时，它们在共同光照下的外观一致性会将可行解空间大大缩小，将原本不适定的单视图问题转化为更好约束的问题。数学上，对于表面点p，在视角i和j的观测Ii(p)和Ij(p)应该与相同的材质fr和光照Lenv一致。
这是本文的核心洞察——单视图的材质-光照分离本质上是不适定的，因为相同的2D外观可能来自无数种材质-光照组合。多视图约束提供了缺失的信息来解决这个问题，这是本文方法能够实现高质量材质解耦的根本原因。
Triplane Representation
高效编码3D信息的表示方法，由三个正交的2D特征平面T组成。对于任意3D点p=(x,y,z)，通过投影到每个平面来提取特征：f(p) = concat(Txy(x,y), Tyz(y,z), Tzx(z,x))。这些拼接特征然后通过MLPs解码来预测几何和外观属性。相比体素网格，triplane具有更高的内存效率；相比NeRF隐式表示，它支持更快的特征查询。
本文使用3×40×384×384的triplane作为统一的3D表示，被几何+外观路径和光照路径共享。理解triplane对于理解本文如何实现端到端前向推理（无需每对象优化）至关重要，这是区别于基于优化方法的关键。
Differentiable Monte Carlo Renderer
可微分的物理渲染器，通过蒙特卡洛积分计算物理准确的光照。使用多重重要性采样（MIS）来高效估计渲染方程Lo = ∫Ω fr · Li · (n · ωi) dωi。关键采样技术包括VNDF采样（用于GGX分布）、球面帽和反向采样来稳定训练。渲染器是可微分的，意味着可以通过端到端反向传播来优化材质和光照参数。
这是本文实现材质-光照解耦的核心机制。通过可微分的物理渲染，预测的材质fr和光照Lenv必须共同解释观测图像，这强制了物理有意义的解耦。消融实验显示，移除MC渲染器会使PSNR从19.92降到17.54，证明其不可或缺。
RENI++ Latent Space
环境光照的紧凑表达，学习真实光照模式的紧凑潜在空间。环境图从潜在代码z解码为：Lenv(ω) = exp(fθ(z, γ(ω)))，其中fθ是预训练解码器，γ(ω)提供位置编码。相比球面谐波或球面高斯，RENI++能够捕获高频光照细节如锐利阴影和明亮光源，同时保持低维度表示，非常适合快速前向重建。
本文使用RENI++作为环境光照表示，其紧凑性使得在有限内存内实现端到端训练成为可能。理解这一点有助于理解为什么本文能够在H100 GPU上训练，而直接预测HDR环境图在内存上不可行。
研究动机
现有的3D重建方法需要分离的管线来处理几何重建、材质估计和光照恢复，每个都有不同的限制和计算开销。单视图方法本质上是不适定问题，相同的2D外观可能来自无数种表面反射和光照的组合，导致不完整的空间变化材质预测、不可靠的法线和有限的重新照明保真度。大型重建模型（LRMs）如LRM、SF3D、TripoSR虽然快速且实用，但主要优化单视图重建，预测每个对象只有单一的粗糙度/金属度值，缺乏空间变化的材质预测，也没有环境估计。扩散方法如Hunyuan3D可能具有优越的几何细节，但推理时间长（Hunyuan3D需要69.40秒），且依赖于耗时的概率采样。
本文的目标是本文的目标是创建第一个统一的端到端管线，能够在不到一秒的时间内从稀疏多视图图像同时重建完整的3D几何、空间变化的基于物理的材质和连贯的HDR环境。具体而言，实现多视图光照解耦重建，通过双路径方法驱动一致性，在交互速度（≤1秒）下实现完整可重新照明的3D资产的近瞬时生成，在合成和真实世界数据上都达到可推广的结果。
与已有工作不同的是，本文的独特切入角度是将多视图约束作为材质-光照解耦的主要机制，而不仅仅是鲁棒性的附加功能。与现有的LRMs优化单视图重建不同，本文设计了一个架构，其中多视图融合是实现材质-光照解耦的主要机制。这是首个利用多视图推理进行鲁棒环境估计的方法，通过自适应背景遮罩支持双模式操作——从直接背景观测或间接材质反射线索恢复HDR环境。另一个独特之处是使用可微分蒙特卡洛多重重要性采样渲染器来统一两个重建路径，强制物理有意义的材质-光照解耦，同时实现混合域训练。
核心方法
方法的核心直觉是利用多视图约束来解决单视图方法中材质-光照分离的不适定问题。当多个观测看到同一表面点时，跨视图的一致性约束大大缩小了可行解空间，使得将材质属性从光照效果中分离成为可能。技术路线上，设计了一个共享交叉条件transformer来融合任意数量的输入视图，创建一致的特征表示。然后使用统一的triplane特征驱动两个并行路径：几何+外观路径预测网格结构和空间变化的BRDF参数（albedo、粗糙度、金属度、法线），而光照路径估计HDR环境图。最后通过可微分的物理蒙特卡洛多重重要性采样渲染器将两个路径统一，强制物理有意义的材质-光照解耦。
核心创新点是双路径光照解耦架构，这与现有方法有本质区别。现有方法如SF3D只预测全局材质属性，缺乏环境估计，且针对单视图优化。本文的第一个路径通过triplane transformer从统一的triplane特征预测网格和svBRDF（albedo/粗糙度/金属度/法线），而第二个路径通过融合遮罩感知tokens预测RENI++潜在代码表示连贯的HDR环境。这种设计使得方法可以鲁棒地从图像背景或对象反射恢复HDR环境。另一个关键区别是训练方法——使用可微分的物理多重重要性采样蒙特卡洛渲染器来绑定两个路径，强制物理有意义的材质-光照解耦。这与依赖直接材质监督的优化方法形成对比。
方法步骤详情
方法分为四个主要步骤。步骤1是跨视图特征融合：输入是N个遮罩图像和相机集合，首先通过DINOv2形成每视图tokens并相机调制，选择一个主视图h并将其tokens连接到学习的triplane token bank Ttri驱动查询流Q0。然后通过潜在混合，学习潜在tokens bank与投影的交叉视图tokens交织形成记忆M，主transformer计算Tout。步骤2是空间变化材质预测：transformer输出tokens直接解释为triplane像素形成统一的3D表示T，对于任意3D点p，通过triplane投影提取特征，预测所有材质和几何属性，使用Flexicubes提取几何并通过快速UV展开用空间变化PBR参数纹理化。步骤3是多视图环境估计：编码遮罩-图像对通过可训练DINOv2-small获得遮罩感知tokens，与对象transformer输出连接形成环境上下文，专用1D transformer通过交叉注意力映射学习环境tokens到RENI++潜在和全局旋转。步骤4是通过MC+MIS的解耦训练：使用可微分物理蒙特卡洛多重重要性采样渲染器统一两个重建路径，强制物理有意义的材质-光照解耦，同时支持混合域训练。
技术新颖性
技术新颖性体现在四个方面。第一，首次提出多视图解耦架构，将多视图融合作为材质-光照解耦的主要机制而非鲁棒性的附加功能，这与针对单视图优化的LRMs形成本质区别。第二，双路径并行预测策略，几何+外观路径和环境光照路径独立但统一通过共享特征表示，这是首个从稀疏视图联合预测空间变化PBR材质和HDR环境的方法。第三，可微分蒙特卡洛多重重要性采样训练，使用VNDF采样、球面帽和反向采样稳定训练，消融实验显示移除MC渲染器使PSNR从19.92降至17.54，证明其不可或缺。第四，混合域训练协议，结合合成PBR监督数据和真实RGB捕获使用图像空间自监督，在仅174k对象上训练（比最近的大规模方法少10-50倍数据）实现强大真实世界性能，因为多视图约束提供比大规模单视图数据集更强的监督信号。
实验结果
在材质-光照解耦这个核心贡献上，本文在Polyhaven+Blender Shiny数据集上排名第一：albedo重建达到25.00 dB PSNR（vs SF3D的18.42 dB，提升36%），粗糙度达到22.69 dB PSNR，金属度预测达到32.73 dB。重新照明性能方面，即使在竞争方法接收真实环境图作为输入的情况下，本文在所有重新照明指标上排名第一：PSNR 20.09 dB（vs SF3D的18.03 dB）和LPIPS 0.094（vs SF3D的0.120）。环境估计方面，即使单视图也足以恢复正确的天空颜色和太阳方向，背景信息帮助恢复正确光源，多视图帮助恢复正确光方向，甚至在黑暗环境中。整体重建质量上，单视图重建在分布外合成（GSO、Stanford ORB）和真实世界（UCO3D）数据上达到定量和定性最先进结果。多视图设置在平均0.31秒内在几何上表现良好并在所有图像指标上超越，仅提供四个视图就将CD降低27%并将F-score@0.5推至0.993。在Stanford ORB数据集上超越所有基线：CD 0.116（vs SF3D的0.152），PSNR 18.68（vs SF3D的17.75），albedo PSNR 24.21（vs Hunyuan3D的21.37）。速度上，单视图推理仅需0.30秒，远快于扩散方法如3DTopia-XL（45.03秒）和Hunyuan3D（69.40秒），快约100倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 材质-光照解耦（Albedo重建） | PSNR (dB) | 25.00 | SF3D | +36% (6.58 dB提升) |
| 材质-光照解耦（Roughness重建） | PSNR (dB) | 22.69 | SF3D | +16% (3.09 dB提升) |
| 材质-光照解耦（Metallic重建） | PSNR (dB) | 32.73 | SF3D | +15% (4.36 dB提升) |
| 重新照明性能 | PSNR (dB) | 20.09 | SF3D | +11% (2.06 dB提升) |
| 单视图3D重建（Chamfer Distance） | CD↓ | 0.105 | SF3D | -20% (0.027降低) |
| 单视图3D重建（F-Score@0.5） | FS@0.5↑ | 0.985 | SF3D | +1.1% (0.011提升) |
| 单视图图像重建 | PSNR (dB) | 19.57 | SF3D | +11% (1.93 dB提升) |
| 推理速度（单视图） | Time (s) | 0.30 | Hunyuan3D | 快约230倍 |
| 真实世界重建（Stanford ORB CD） | CD↓ | 0.116 | Hunyuan3D | -18% (0.025降低) |
| 真实世界重建（Stanford ORB PSNR） | PSNR↑ | 18.68 | Hunyuan3D | +10% (1.72 dB提升) |
局限与改进
作者承认的局限性包括：在少数情况下，解耦失败导致烘焙光照影响材质图，当环境光照不在RENI++先验范围内时最明显，尤其是存在多个非常强光源时。triplane分辨率相对有限（3×40×384×384）限制了纹理和几何分辨率，在与Hunyuan3D的重建示例中可见，当前模糊结果主要源于此分辨率约束和DINOv2微调瓶颈，而非解耦框架本身。透明对象是另一个限制：虽然基于密度的NeRF预训练处理透明性，但透明表面的显式网格重建仍然是当前范围外的开放研究挑战。ReLi3D假设已知相机姿态和物理可信材质，这些经常被扩散模型生成的图像违反。当姿态估计准确时单图像输入一般工作良好，但严重错误的姿态估计导致模糊伪影。多视图生成有时由于姿态和外观不一致而降低性能。
独立分析的弱点
独立分析的弱点首先是triplane分辨率限制。当前3×40×384×384的分辨率限制了纹理和几何细节的保真度，特别在高分辨率资产需求下。改进方向可以是扩展到更高分辨率的triplane，或者探索混合表示（例如高分辨率纹理贴图结合低分辨率几何triplane）。其次是光照先验的局限性。RENI++无法很好地处理多个非常强的局部光源，导致烘焙光照。改进方向是开发更强大的光照先验，能够处理更广泛的光照分布，或者直接预测HDR环境图。第三是对相机姿态估计的依赖性。姿态估计误差会导致模糊伪影，特别是在单视图设置中。改进方向是集成更鲁棒的姿态估计，或者设计对姿态误差更鲁棒的架构。第四是透明对象的限制。虽然NeRF预训练处理透明性，但显式网格重建仍然困难。改进方向是探索透明物体的专用表示，例如结合体密度和显式表面。最后是训练数据的局限性。虽然混合域训练有效，但更多样化的真实世界数据集可能会进一步提升泛化能力。改进方向是扩展真实世界数据集，特别是具有挑战性的光照条件和透明对象。
未来方向
作者提出的未来方向包括：设计更强大的光照先验以处理更广泛的光照分布，特别是多个非常强的局部光源。扩展到更高分辨率的3D表示以提高纹理和几何分辨率。适应生成图像的相机姿态估计，因为扩散模型生成的图像经常违反物理可信材质的假设。基于成果可延伸的方向包括：将解耦框架扩展到动态场景和时间序列重建，利用多时间视图的一致性约束。将方法应用于材料理解和分类，训练在变化真实世界光照下捕获的对象以学习跨光照条件泛化的材质先验。集成到实时内容创建工作流，例如VR/AR应用，其中快速资产数字化至关重要。探索将方法与其他模态结合，例如深度传感器或光谱信息，以进一步增强材质-光照解耦。
复现评估
复现性评估方面，作者声明将发布所有代码、预训练权重和数据集生成脚本以促进采用和社区在此基础上的构建。这表明项目具有良好的开源承诺。训练在174k对象上进行：42k合成PBR（完整材质监督），70k合成RGB-only，62k来自UCO3D的真实世界捕获。所有实验在单个H100 GPU上运行，包括网格提取和纹理烘焙，这使得研究资源相对可访问。多阶段训练协议从体积渲染通过球面高斯近似阶段（128→256→512高斯）到完整蒙特卡洛积分，每个阶段60,000训练步骤。批大小适应计算需求：体积渲染期间64，球面高斯阶段192，蒙特卡洛积分期间32。使用512×512输入分辨率并每训练迭代随机采样1-4个条件视图。整个管线端到端训练，学习率为5×10^-5。复现难度中等，主要挑战是计算资源需求（H100 GPU）和多阶段训练协议的复杂性。然而，详细的实现细节和权重发布应该使研究社区能够复现和扩展工作。
论文图表
这张图展示了真实世界捕获的重建质量。我们的方法对真实世界数据产生准确重建，尽管具有挑战性。结合多个视图通过清除未观察区域的不确定性进一步提高性能。图比较了多个基线在真实世界UCO3D捕获上的结果，显示我们的方法保持鲁棒，而其他方法失败或产生伪影。特别注意到泰迪熊的脸等例子，我们的方法随多视图输入改善而其他方法不改善。这展示了混合域训练的有效性。
这张图对理解论文在真实世界数据上的泛化能力至关重要，它直观地展示了方法在具有挑战性的真实世界捕获上的鲁棒性。它清楚地展示了方法相对于基线的优势，支持论文关于混合域训练实现强大真实世界泛化的主张。
这张图展示了失败情况，显示烘焙光照影响材质图的解耦失败挑战。这主要发生在环境光照不在RENI++先验域时，最显著的是当存在多个非常强光源时，或者强自阴影导致材质图中烘焙光照，或者黑暗场景使basecolor预测困难。然而，即使在这些具有挑战性的情况下，ReLi3D仍然超越像Hunyuan3D这样的强基线。图比较了Hunyuan3D和我们方法在强自阴影（鲨鱼鳍）和黑暗场景（犀牛）下的结果。
这张图对理解论文的局限性至关重要，它直观地展示了方法在具有挑战性的条件下的失败模式。它清楚地展示了光照先验的局限性和极端条件的挑战，为未来工作提供方向。