RawGen：学习相机原始图像生成 RawGen: Learning Camera Raw Image Generation

RawGen的方法分为三个主要步骤：数据构建、训练和推理。在数据构建阶段，从raw图像I_raw开始，通过应用每场景白平衡和相机到XYZ颜色转换矩阵，得到线性CIE XYZ图像I_XYZ作为锚点。然后使用软件ISP和随机化的照片处理参数向量P（控制全局色调、对比度和色调映射）生成N个sRGB变体{I_sRGB^(n)}从n=1到N。每个图像被冻结的VAE编码器E_VAE编码为潜空间表示：z_sRGB^(n) = E_VAE(I_sRGB^(n))和z_XYZ = E_VAE(I_XYZ)。在训练阶段，第一阶段微调去噪器，从锚点潜空间z_XYZ开始，通过插值高斯噪声epsilon~N(0,I)得到z_t = (1-t)z_XYZ + t*epsilon，并调优DiT参数theta来预测rectified-flow速度目标v_gt = epsilon - z_XYZ，最小化损失L_denoise = E[n,epsilon][||v_gt - v_theta(z_t, t; z_sRGB^(n))||^2]。第二阶段微调解码器，使用真实锚点潜空间z_XYZ，通过微调D_VAE最小化l1重建损失L_recon = ||I_XYZ_hat - I_XYZ||_1，其中I_XYZ_hat = D_VAE(z_XYZ)。在推理阶段，对于I2R模式，给定sRGB图像I_sRGB，得到条件潜空间z_sRGB = E_VAE(I_sRGB)，初始化目标token为噪声，求解反向ODEz_XYZ_hat = z_1 - integral from 1 to 0 of v_theta(z_t, t; z_sRGB)dt，用Euler步骤近似，然后解码I_XYZ_hat = D_VAE(z_XYZ_hat)。对于T2R模式，给定文本提示，首先使用基础模型的预训练文本到潜空间路径获得sRGB条件潜空间z_sRGB，然后执行与I2R相同的条件生成和解码步骤。最后，使用目标相机的校准元数据和选择的照明参数，将I_XYZ_hat转换为目标相机的线性raw-RGB空间。

RawGen的技术新颖性体现在多个方面：首先，它是第一个实现文本到raw生成的扩散框架，支持任意目标相机，无需为每个相机重新训练。其次，它提出了many-to-one训练范式和相应的数据构建方法，将多个照片处理的sRGB观察映射到单个共同的线性参考，实现了对异构和未知ISP变换的鲁棒性。第三，它采用了两阶段微调策略，分别针对去噪器和解码器进行优化，保留了预训练模型的强大语义先验。第四，它将内容合成与渲染解耦，先生成场景参考的线性表示，然后再进行各种ISP操作，提高了效率。第五，它在推理时支持统一的I2R和T2R管道，共享核心DiT和VAE编码器/解码器，实现了架构的简洁性。最后，它证明了生成的raw图像可以作为下游低层视觉任务的有效训练数据，如光照估计、神经ISP学习和去噪。

RawGen的几个弱点值得指出。首先，噪声建模相对简单，使用异方差高斯噪声模型，这可能无法捕捉真实传感器的复杂噪声特性，如与信号相关的噪声、热噪声、固定模式噪声等。改进方向是引入更高级的噪声模型，如基于物理的传感器噪声模型或从真实raw数据学习的噪声模型。其次，方法没有考虑光学系统的影响，如镜头畸变、暗角、光学模糊等，这些都是真实raw图像的重要组成部分。改进方向是在XYZ到raw的映射过程中引入光学系统的建模，如PSF建模、镜头阴影校正等。第三，方法依赖DNG元数据获取颜色转换矩阵，这限制了目标相机的范围。改进方向是学习通用的颜色映射，或从少数样本中估计相机特定参数。第四，两阶段推理需要运行DiT和VAE，计算开销较大。改进方向是探索端到端的单阶段生成架构，或优化推理效率，如知识蒸馏、模型压缩等。第五，方法在T2R模式下，生成的场景可能与任何真实场景都不对应，这可能影响物理一致性。改进方向是在文本提示中添加更多物理约束，如光照条件、相机参数等，或引入多模态条件来增强物理一致性。最后，方法的评估主要集中在下游任务性能上，缺乏对生成raw图像物理准确性的直接评估。改进方向是设计更直接的评估指标，如与真实raw数据的分布对齐、传感器特性匹配等。

作者提出的未来工作方向包括条件RawGen于设备特定先验，以纳入更多物理基础的传感器建模，如空间变化的噪声、镜头阴影和光学模糊，进一步提高设备保真度和物理一致性。基于RawGen的成果，可以延伸多个研究方向。首先，可以探索更复杂的噪声建模，如基于物理的传感器噪声模型或从大量真实raw数据学习的噪声先验，以更准确地模拟真实传感器的噪声特性。其次，可以引入光学系统建模，如PSF建模、镜头阴影校正、光学畸变等，使生成的raw图像更加逼真。第三，可以探索端到端的单阶段生成架构，直接从文本或图像生成raw图像，减少计算开销。第四，可以研究多模态条件生成，将文本、图像、相机参数、光照条件等多种信息整合到生成过程中，增强物理一致性和可控性。第五，可以将RawGen应用于更多下游任务，如计算摄影、高动态范围成像、多光谱成像等，探索其在更广泛领域的应用潜力。第六，可以研究从少量样本中学习相机特定参数的方法，减少对DNG元数据的依赖，扩大方法的应用范围。最后，可以开发更全面的评估指标和基准，如生成raw图像的物理准确性评估、传感器特性匹配评估等，以更好地衡量方法的质量。

RawGen的可复现性评估：根据论文描述，作者使用MIT-Adobe FiveK和RAISE数据集进行训练，这两个都是公开可用的数据集。方法基于FLUX.1-Kontext作为基础模型，这是一个公开的DiT模型。训练细节包括LoRA微调的rank r=64和scaling alpha=64，这些都是标准设置。论文提供了详细的数据构建方法，包括照片处理参数的随机化策略。然而，论文没有明确说明是否开源代码和模型权重，这对于复现性是一个重要因素。从算力角度来看，基于FLUX.1的DiT模型微调需要相当大的计算资源，可能需要多GPU设置和数天的训练时间。论文没有提供具体的训练时间和硬件配置，这使得评估复现的难度变得困难。另外，论文提到从目标相机的DNG文件中提取校准元数据，如ForwardMatrix和AsShotNeutral，这需要用户能够访问相应相机的DNG文件，这可能限制了某些应用的复现性。总体而言，RawGen的复现性难度为中等，主要挑战在于计算资源和校准数据的获取。如果作者能够开源代码和预训练模型，复现难度将大大降低。