← 返回 2026-04-16

基于对数编码潜在空间对齐的 HDR 视频生成 HDR Video Generation via Latent Alignment with Logarithmic Encoding

Naomi Ken Korem, Mohamed Oumoumad, Harel Cain, Matan Ben Yosef, Urska Jelercic, Ofir Bibi, Yaron Inger, Or Patashnik, Daniel Cohen-Or 📅 2026-04-13 👍 14 2026-07-13 08:36
HDR视频生成 LoRA微调 LogC3编码 扩散模型 潜在空间对齐
arXiv HuggingFace PDF

LogC3 对齐扩散模型潜在空间，LoRA 微调实现 SDR→HDR 视频生成。

前置知识

HDR 与 SDR 图像

SDR（标准动态范围）图像像素值被限制在 [0,1] 区间并经过感知压缩，而 HDR（高动态范围）图像以场景线性辐射值表示，像素跨度可达几个数量级且分布重尾，难以被传统模型直接处理。

论文核心问题就是 HDR 数据分布与预训练扩散模型学习到的 SDR 分布严重不匹配，必须找到一种编码方式桥接两者。

潜在扩散模型与 VAE

潜在扩散模型（如 Stable Diffusion）先用 VAE 把像素压缩到低维潜在空间，再在潜在空间做扩散；VAE 通常只在 SDR 数据上训练，对超出 [0,1] 的输入会重建失败。

本文用同一个冻结 VAE 处理 LogC3 压缩后的 HDR 帧，因此必须证明 HDR 经 LogC3 编码后的分布落在 VAE 已学习的流形内。

LoRA（低秩适配）

LoRA 在冻结的 Transformer 权重旁添加低秩矩阵 $\Delta W = BA$，只训练这个小矩阵就能适配新任务，参数量通常不到原模型的 1%。

LumiVid 整套方案只训练 LoRA 适配器（约 <1% 参数），这意味着它可以低成本复用到任何兼容的视频扩散主干。

LogC3 相机对数编码

LogC3 是 ARRI Alexa 摄像机使用的对数编码曲线，将线性场景辐射 $x \in [0,\infty)$ 通过参数化对数函数映射到约 [0,1] 区间，保留高光层次。

本文的关键发现是 LogC3 比 PQ/HLG/ACES 等显示端编码更能与预训练 VAE 的潜在分布对齐，是整篇论文的工程基石。

研究动机

现有 SDR-to-HDR 方法普遍面临两大瓶颈：其一，HDR 数据在线性空间中像素值跨越数个数量级、呈重尾分布，与扩散模型训练所用的 [0,1] 感知压缩数据严重失配，直接学习需要从头训练专用 VAE 或新表示（如 DiffHDR、HDR-V-Diff），引入额外架构、数据和训练阶段；其二，多数方法以图像为单位逐帧处理，时间一致性依赖光流对齐或后处理平滑，在 X2HDR 等图像扩散方法上甚至出现严重闪烁（Flicker 高达 0.163），无法直接生成 49 帧级的连贯 HDR 视频流，限制了面向专业影视后期（曝光调整、调色）和新一代 HDR 显示屏的应用。

本文的目标是提出一个名为 LumiVid 的极简适配框架，仅使用一个冻结的预训练 SDR 视频扩散主干，通过固定的 LogC3 相机曲线把 HDR 帧压回 VAE 学过的分布，再以 LoRA（<1% 参数）训练条件生成，从而把任意 SDR 输入视频转换为场景线性 float16 EXR 的时序连贯 HDR 视频，最终在 ARRI 与 UPIQ 两个 OOD 基准上同时取得最高 PU21-PSNR、最高 JOD 感知质量与最佳 F2F-PSNR 时序稳定性。

与已有工作不同的是，作者的核心切入角度是「表示选择」而非「模型扩容」：他们观察到 LogC3 这条已在电影行业使用数十年的对数曲线，恰好能把 HDR 数据映射到与 VAE 潜在空间对齐的分布，从而绕开重训 VAE 的工程负担；进一步用相机拟真退化（MP4 压缩、对比度缩放、选择性模糊）人为破坏 SDR 参考帧的极亮/极暗区域，逼模型利用先验「幻觉」出无法从输入直接拷贝的高动态范围内容。这一组合让原生视频扩散模型首次直接输出时间一致的 HDR 视频流。

核心方法

LumiVid 的整体思路可以用「让 HDR 看起来像 SDR」来概括：给定一段 SDR 参考视频，先用一个固定的、灵感来自电影摄影机的 LogC3 对数曲线把场景线性 HDR 值压缩进 [0,1]，让冻结的 VAE 能像处理普通 SDR 一样编解码；接着把 SDR 参考帧经过 VAE 编码得到的潜在向量 $z_{ref}$ 与噪声拼接，作为 DiT+LoRA 的条件，让它去噪生成对应 HDR 帧的潜在向量 $z_{tgt}$；最后用 $\text{LogC3}^{-1}$ 解码回 float16 EXR。训练阶段只更新 LoRA 适配器（不到 1% 参数），推理时仅需 11 步去噪即可得到时序连贯的 HDR 视频。

本文与同期 X2HDR 等工作的本质区别在于两点：第一，编码选择上抛弃了面向显示端的 PQ/HLG，转用面向相机的 LogC3，并通过 KL 散度在像素空间（$\text{KL}_{px}$）和潜在空间（$\text{KL}_{lat}$）双重对齐证明 LogC3 与预训练 SDR 分布最贴近；第二，训练策略上引入「相机拟真退化」——对 SDR 参考帧施加 MP4 压缩、对比度缩放、选择性高光/阴影模糊——让模型无法直接复制像素，而必须从先验中合成被裁切的高光与被压死的暗部，从而真正学到生成式 HDR 重建。

方法步骤详情

完整流程分训练与推理两条路径。训练时：① 把场景线性 HDR 帧 $x$ 经 LogC3 压缩为 [0,1] 张量，再用冻结 VAE 编码为目标潜在向量 $z_{tgt}=\mathcal{V}_{enc}(\text{LogC3}(x))$；② 同一 HDR 帧经色调映射生成 SDR 参考，再叠加 MP4 压缩、对比度缩放、选择性模糊三类相机拟真退化，得到参考潜在向量 $z_{ref}=\mathcal{V}_{enc}(\text{deg}(\text{ToneMap}(x)))$；③ 把 $z_{ref}$ 与噪声沿通道拼接，输入带 LoRA 的 DiT，由流匹配损失监督；④ 同时施加联合曝光偏移以增强亮度鲁棒性。推理时：把 SDR 输入视频 VAE 编码为 $z_{ref}$，与噪声拼接后 DiT+LoRA 去噪 11 步，VAE 解码，再经 $\text{LogC3}^{-1}$ 输出 float16 EXR。AVControl 框架负责高效条件注入，整套流水线 VAE 与 DiT 主干全程冻结。

技术新颖性

技术新颖性体现在三个层面：在表示层面，首次系统比较 LogC3、PQ、HLG、ACES 四种 HDR 编码在像素空间和潜在空间的 KL 散度以及 VAE roundtrip 误差，给出「表示决定生成能力」的量化证据；在训练目标层面，相机拟真退化把 SDR-to-HDR 从「像素映射」问题升级为「先验合成」问题，与传统 iTM 直接插值形成对照；在系统层面，<1% LoRA 参数、约 300 个 clip、1 万步训练（约 8 小时单卡）即可在 ARRI 12-bit 专业素材上把 PU21-PSNR 从 HDRTVNet 的 26.48 dB 推到 36.20 dB，验证了「极简适配 + 表示对齐」路线的可扩展性。

LumiVid Training Overview. 场景线性 HDR 帧经 LogC3 压缩并被冻结 VAE 编码为目标潜在向量 $z_{tgt}$；同一 HDR 帧经色调映射并退化（MP4 压缩、模糊、对比度）生成参考潜在向量 $z_{ref}$；两者拼接喂给带 LoRA 的 DiT，仅 LoRA 权重被流匹配损失训练。
Figure 2: LumiVid Training Overview. 场景线性 HDR 帧经 LogC3 压缩并被冻结 VAE 编码为目标潜在向量 $z_{tgt}$；同一 HDR 帧经色调映射并退化（MP4 压缩、模糊、对比度）生成参考潜在向量 $z_{ref}$；两者拼接喂给带 LoRA 的 DiT，仅 LoRA 权重被流匹配损失训练。
LumiVid Inference Overview. SDR 视频经 VAE 编码为 $z_{ref}$，与噪声拼接后被 DiT+LoRA 去噪；输出潜在向量经 VAE 解码并通过 $\text{LogC3}^{-1}$ 解压回场景线性 float16 EXR。VAE 与 DiT 始终冻结，仅 LoRA（<1% 参数）被训练。
Figure 3: LumiVid Inference Overview. SDR 视频经 VAE 编码为 $z_{ref}$，与噪声拼接后被 DiT+LoRA 去噪；输出潜在向量经 VAE 解码并通过 $\text{LogC3}^{-1}$ 解压回场景线性 float16 EXR。VAE 与 DiT 始终冻结，仅 LoRA（<1% 参数）被训练。
HDR transform analysis. (a) 压缩后像素空间分布与 SDR 先验（灰）叠加，LogC3/PQ 最接近 SDR，ACES 塌缩到 0，HLG 溢出。(b) VAE 编码后潜在空间分布，HLG 宽尾导致重建失败。(c) VAE roundtrip 误差，LogC3/PQ 在全亮度范围保持有界误差。(d) 各变换把场景线性 HDR 映射到 [0,1] 的传输曲线。
Figure 4: HDR transform analysis. (a) 压缩后像素空间分布与 SDR 先验（灰）叠加，LogC3/PQ 最接近 SDR，ACES 塌缩到 0，HLG 溢出。(b) VAE 编码后潜在空间分布，HLG 宽尾导致重建失败。(c) VAE roundtrip 误差，LogC3/PQ 在全亮度范围保持有界误差。(d) 各变换把场景线性 HDR 映射到 [0,1] 的传输曲线。

实验结果

实验在 ARRI 12-bit 视频与 UPIQ 校准 HDR 图两个 OOD 基准上进行。ARRI 上 LumiVid 取得 PU21-PSNR 36.20 dB、LPIPS 0.020、JOD 7.86，领先 HDRTVNet（26.48/6.94）与 X2HDR（20.68/3.54）约 9.7 和 15.5 dB；UPIQ 上同样达到 30.05 dB/JOD 8.22，远超 LEDiff（14.94/0.40）。时序方面 LumiVid 是唯一兼具高 JOD 与低 Flicker 的生成方法，F2F-PSNR 45.63 dB 优于 X2HDR 的 36.36。表 1 roundtrip 表明 LogC3 KLlat 仅 0.007、PU21-PSNR 34.70 dB，显著优于 ACES（KLpx 3.338）与 HLG（KLlat 3.419）；表 4 显示 LogC3 在 JOD 上以 7.86 vs 7.62 vs 7.40 领先 PQ 与 ACES；表 5 证明完整退化流水线 JOD 比无退化高 0.43，验证「破坏输入逼出先验」的有效性。

Comparison against learned baselines. 在 ARRI（视频）与 UPIQ（图像）上比较 LumiVid/HDRTVNet/X2HDR/LEDiff 的 PU21-PSNR、LPIPS、JOD。
Table 2: Comparison against learned baselines. 在 ARRI（视频）与 UPIQ（图像）上比较 LumiVid/HDRTVNet/X2HDR/LEDiff 的 PU21-PSNR、LPIPS、JOD。
Temporal stability on ARRI (48 clips × 49 frames). LumiVid 是唯一兼具高质量与时序连贯性的生成方法。
Table 3: Temporal stability on ARRI (48 clips × 49 frames). LumiVid 是唯一兼具高质量与时序连贯性的生成方法。
Transform ablation on ARRI (58 clips, 1080p). 感知指标 LPIPS、JOD 确认 LogC3 为最佳选择。
Table 4: Transform ablation on ARRI (58 clips, 1080p). 感知指标 LPIPS、JOD 确认 LogC3 为最佳选择。
Augmentation ablation on ARRI (58 clips, 1080p). 感知指标证明完整退化流水线最优，即使 PSNR 略低。
Table 5: Augmentation ablation on ARRI (58 clips, 1080p). 感知指标证明完整退化流水线最优，即使 PSNR 略低。
LumiVid qualitative results. 对每个场景对比输入 SDR（左）与生成 HDR（右），在多个 EV 下展示细节恢复。
Figure 5: LumiVid qualitative results. 对每个场景对比输入 SDR（左）与生成 HDR（右），在多个 EV 下展示细节恢复。
HDR generation comparison. 在 ActionVFX 车库场景上对比 LumiVid 与 HDRTVNet/LEDiff/X2HDR，色调映射到 EV -7/-3/0/+1；LumiVid 恢复了车库门外的山与云以及车头灯眩光，HDRTVNet 高光扩展有限，X2HDR 仍存在裁切。
Figure 6: HDR generation comparison. 在 ActionVFX 车库场景上对比 LumiVid 与 HDRTVNet/LEDiff/X2HDR，色调映射到 EV -7/-3/0/+1；LumiVid 恢复了车库门外的山与云以及车头灯眩光，HDRTVNet 高光扩展有限，X2HDR 仍存在裁切。
查看结构化数据
任务指标本文基线提升
ARRI 12-bit 视频 HDR 重建 PU21-PSNR (dB) / JOD (0-10) / F2F-PSNR 36.20 dB / 7.86 / 45.63 dB（49 帧联合生成） HDRTVNet 26.48/6.94/44.59；X2HDR 20.68/3.54/36.36（逐帧运行） PSNR 提升 +9.72 dB（vs HDRTVNet）与 +15.52 dB（vs X2HDR）；JOD 提升约 +0.92 与 +4.32
UPIQ 校准 HDR 图像重建 PU21-PSNR (dB) / JOD 30.05 dB / 8.22（视频模型处理 9 帧序列） HDRTVNet 22.59/4.48；LEDiff 14.94/0.40；X2HDR 17.47/6.06 PSNR 提升 +7.46 dB（vs HDRTVNet）和 +15.11 dB（vs LEDiff）；JOD 提升约 +3.74 与 +2.16
HDR 编码对齐质量（VAE roundtrip） KLlat(SDR)↓ / PU21-PSNR↑ LogC3 0.007 / 34.70 dB PQ 0.011/35.73；HLG 3.419/22.86；ACES 0.016/16.42 KLlat 比 HLG 低 488×，PU21-PSNR 比 ACES 高 18.28 dB；PQ 略优于 LogC3 的 PSNR 但 KLlat 高 57%
时序稳定性（ARRI 48×49 帧） F2F-PSNR↑ / Flicker↓ / JOD↑ 45.63 / 0.0245 / 7.86 HDRTVNet 44.59/0.0162/6.94；X2HDR 36.36/0.1630/3.54 F2F-PSNR 比 X2HDR 高 +9.27 dB，Flicker 比 X2HDR 低 6.6×，JOD 同时领先

局限与改进

作者明确承认两点限制：一是训练数据规模偏小，仅约 300 个 clip、1 万步训练（单卡 8 小时），缺乏真实世界大规模 HDR 视频库，限制了向未见过的相机/光照的泛化；二是当前是「text→SDR→HDR」两阶段流程，并未原生支持文本到 HDR 视频的端到端生成。读者还可从实验数据推出更多隐忧：UPIQ 上 LumiVid 仍落后于 PQ 编码的 roundtrip PSNR（35.73 vs 34.70），提示 KLlat 最小未必等价于端到端最优；且 PSNR 提升极大但 JOD 增量相对克制（如 ARRI 上 vs HDRTVNet 仅 +0.92），意味着感知增益主要来自分布对齐而非细节重建；ACES 在表 5 中 PSNR 反而最高（39.30 dB）但 JOD 最低（7.40），也暗示像素级保真与感知质量可能存在权衡。

独立分析的弱点

独立审视可发现三处潜在弱点：① 表 4 中 ACES 的 PU21-PSNR（39.30 dB）反而高于 LogC3（36.97 dB），说明 KLlat 最小并不能保证端到端最优，作者虽承认这点但未给出明确判据，未来可引入感知损失或 HDR-VDP-3 直接优化；② 训练数据严重依赖 PolyHaven 静态 HDRI 的相机轨迹渲染与 Tears of Steel 单部电影，缺乏人脸多样性、复杂生物运动、室内光照过渡，可能在 OOD 场景（人像特写、夜景街拍、强逆光）出现伪影；③ 推理固定 11 步两阶段对算力受限设备仍偏重，且仅支持固定 LogC3 曲线，若用户素材为 PQ/HLG 编码，则需要额外转换，增加工作流复杂度。每个弱点对应的改进方向分别是：联合训练 HDR-VDP-3 感知损失、扩增真实 HDR 视频库、引入可学习或自适应的曲线选择模块。

未来方向

作者在结论中明确给出三条延伸：① 把训练数据扩展到真实捕获的 HDR 视频以强化泛化；② 探索端到端 text→HDR 视频生成，跳过现有「text→SDR→HDR」的两阶段过程；③ 将 HDR-VDP-3、ColorVideoVDP 等感知指标纳入训练目标。基于其「分布对齐」原理，还可向其他模态延伸：例如把 LDR 全景、SDR 3D、医学影像等需要超出 [0,1] 范围的输出同样通过合适的对数/感知编码对齐到预训练 VAE 流形，省去重训主干；同时可结合 NeRF/3DGS 等新视角合成做 HDR 视图生成，或与可控相机轨迹模型联动实现 HDR 电影自动运镜。

复现评估

论文提供了相对清晰的复现路径：① 数据来自公开的 PolyHaven HDRIs 与开源短片 Tears of Steel，编码 LogC3 来自 ARRI 公开规范，AVControl 框架与 LoRA 训练均基于现有开源视频扩散栈（LTX-Video 等），理论上无需大规模专有数据；② 算力需求极低——单卡 GPU、约 8 小时、1 万步训练，11 步推理即可出结果，远低于重训 VAE 的成本；③ 评测协议基于 ARRI Cinema Footage（公开链接）、UPIQ（公开 HDR 图库）与 PU21/ColorVideoVDP（开源度量工具），数字可直接复算。复现难度整体偏低，但需注意四点：作者未明确披露所用具体 DiT 主干版本与 LoRA 秩大小；AVControl 的实现细节依赖其 [4] 引用文献；相机拟真退化的具体超参（对比度缩放系数、模糊核大小）未给出完整列表；不同 GPU/混合精度设置下 roundtrip 误差可能漂移，需自行校准。

论文图表

LumiVid: HDR video generation from SDR input. 给定输入 SDR 视频（上行），方法生成 HDR 视频（下行），增强动态范围并恢复困难区域的细节。
Figure 1: LumiVid: HDR video generation from SDR input. 给定输入 SDR 视频（上行），方法生成 HDR 视频（下行），增强动态范围并恢复困难区域的细节。

Teaser 图，上半为 SDR 输入，下半为生成的 HDR 输出在低 EV 下展示的极亮云层纹理与暗部细节，直观展示 SDR→HDR 的动态范围提升。

是整篇论文最具说服力的视觉证据，证明同一曝光下 SDR 已裁切的高光在生成 HDR 中能被恢复，直接对应「先验幻觉」的核心论点。

Table 1: Frozen VAE roundtrip quality for different HDR encodings. 在 130 帧上压缩/编码/解码/解压缩，比较 LogC3/PQ/HLG/ACES 的 KLpx、KLlat、SSIM、PU21-PSNR、PU21-SSIM。

数值表：LogC3 KLpx 0.215 / KLlat 0.007 / SSIM 0.9747 / PU21-PSNR 34.70；ACES KLpx 3.338 / PU21-PSNR 16.42；HLG KLlat 3.419。

为「编码选择」决策提供量化基线，是 Figure 4 数据的表格版，是消融的基石。