鲁棒且具3D感知的暗光 RGB-NIR 成像 Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

完整步骤分五步。Step 1 体渲染基座：保留标准 NeRF 体渲染公式不做改动，相机位姿用 COLMAP 标定，每场景 5 视图测试、其余训练。Step 2 NIR 条件隐式融合：NIR MLP 从 NIR 观测预测体密度 $\sigma$ 与 NIR 估计 $c_N$；RGB MLP 接收 $(x,d,\gamma(c_N))$ 预测颜色 $c_R$，对 RGB 到 NIR 的反向路径停梯度，确保 NIR 表示不被退化 RGB 污染（见 Figure 2(b)、3(b)）。Step 3 NIR 调制位置编码：定义正弦位置编码 $\gamma(\cdot)$，按式 (1) $c_R=\text{RGBMLP}(x,d,\gamma(c_N))$，把 $(x,d)$ 直接送入、只对 $c_N$ 升维，实现频率对齐调制（见 Figure 7(b)）。Step 4 Color Code MLP：对每个 $c_N$ 预测非均匀对数概率 $\pi$，按式 (2) $\delta=\text{one\_hot}\,\arg\max_i[g_i+\log\pi_i]$（Gumbel-Softmax 可微、$g_i\sim\text{Gumbel}(0,1)$、默认 $K=16$）得 one-hot 颜色码 $\delta$，再作为 RGB MLP 输入（见 Figure 5）。Step 5 优化：最小化 $\mathcal{L}_{photo}=\frac{1}{|\mathcal{R}|}\sum_r(\|c_N^r-\hat{c}_N^r\|_2+\phi\|c_R^r-\hat{c}_R^r\|_2)$，$\phi$ 为放大噪声 RGB 曝光的超参；200,000 步 Adam 优化。

技术新颖性体现在四点。其一，首次把 3D 感知神经隐式建模引入 RGB-NIR 暗光成像：此前 NIR 引导去噪全在 2D 配准融合，作者证明只有让 MLP 在体渲染框架的 3D 空间隐式融合才能利用多视图一致性，并用两阶段 2D 融合+NeRF 基线（Table 3）反证 2D 融合因丢失多视图一致性而崩塌。其二，频域驱动的 NIR 调制位置编码：用 $\rho_f$ 能量比定量论证噪声高频问题，再巧妙复用 NIR 与干净 RGB 的频域相似性，把位置编码从空间坐标改到 NIR 值——这是对 NeRF 位置编码本质的重新思考。其三，Color Code MLP 用可微离散颜色码分布化解 NIR→RGB 的不适定映射，比确定性 MLP 的颜色混合伪影更合理。其四，方法论纪律性强：从 vanilla NeRF→并行结构→NIR 条件结构→加 NIR-P.E.→加 C.C. MLP 逐步累加，每步都有视觉与定量消融（Figure 11/12、Table 2/4）支撑，使每个组件的贡献可分离验证。

独立分析五处弱点及对应改进方向。弱点一：逐场景优化、无法泛化到新场景，单次前向即出结果才能实用——改进方向是引入前馈 3D 融合网络（如多视图 Transformer 或前馈 3D Gaussian Splatting 变体），把隐式融合蒸馏为推理期一次前向。弱点二：强依赖 COLMAP 位姿标定与 RGB/NIR 像素级对齐，对自由双相机采集失效——改进方向是联合学习位姿估计与去噪，或用可微位姿细化（如 BARF）降低对 COLMAP 依赖。弱点三：仅静态场景，动态主体（手持拍摄、人物运动）无法处理——改进方向是引入动态 NeRF/4D 高斯或运动场，类似作者自己引用的 RS-NeRF、KFD-NeRF 动态建模工作。弱点四：场景多样性不足（5 合成加 4 真实），室外大尺度、高纹理复杂度未覆盖——改进方向是扩充更大多样性数据集并在自然暗光（无主动 LED）下评测。弱点五：训练成本偏高（3 小时每场景）且需 NIR 硬件，部署门槛高——改进方向是研究轻量化位置编码与蒸馏，降低训练步数与显存。

作者明确提出的未来工作是处理动态场景，以及解决 RGB/NIR 完全不对齐时的位姿获取问题。基于本成果可延伸的方向包括：(1) 把 3D 神经隐式 RGB-NIR 融合推广到前馈架构，实现单次前向去噪以服务实时场景；(2) 联合位姿估计，去掉 COLMAP 依赖并支持自由双相机采集；(3) 与动态 NeRF 或 4D Gaussian Splatting 结合处理运动场景；(4) 把 Color Code MLP 的离散颜色码化解不适定映射思想推广到其他单通道到多通道的逆映射任务（如去马赛克、灰度上色）；(5) 探索 NIR-P.E. 频率对齐调制在普通噪声 NeRF（无 NIR）中的退化形式，看能否用自监督结构先验替代 NIR；(6) 在自动驾驶夜间感知、安防监控、农业表型（作者获森林数字孪生与田间表型项目资助暗示此类应用方向）等真实管线落地评估；(7) 与 RAW 域 ISP 联合优化，端到端输出 sRGB。

复现评估总体偏友好。有利因素：代码已开源 (https://github.com/MyNiuuu/3DarkFusion)，且承诺数据将发布；关键超参齐全——训练 200,000 步、Adam lr $5\times10^{-4}$、$\beta_1=0.9,\beta_2=0.999$、$K=16$、单卡 RTX 4090 约 3 小时、峰值显存 9GB，算力门槛适中（单卡可跑）；合成数据用开源 Mitsuba3 渲染，噪声按 Brooks et al. 的物理散粒加读出噪声合成，复现路径明确；基线（Restormer、RawNeRF、LLNeRF、SANet、NAID、NVEU）均有公开实现。不利因素：真实数据 SAKANA 需 JAI FS-3200T10GE-NNC 双通道相机加 850nm LED 硬件，普通研究者难采集；COLMAP 位姿标定与逐场景 200k 步训练带来工程量；正文未给出曝光超参 $\phi$ 的具体取值与网络层宽细节，需待代码补充。整体难度评估：合成实验单卡中等可复现，真实实验需专用 NIR 硬件偏难。