通过奖励模型增强图像生成中的空间理解 Enhancing Spatial Understanding in Image Generation via Reward Modeling

本文的方法步骤可以分为以下详细步骤：第一，数据构建阶段。使用 GPT-5 生成初始提示词，这些提示词包含多个对象间的复杂空间关系。然后使用 GPT-5 扰动这些清洁提示词，修改一个或多个空间关系（例如将对象从左侧移动到右侧、交换对象的相对位置），同时保持其他空间关系不变。使用 Qwen-Image、HunyuanImage-2.1 和 Seedream-4.0 三个模型生成图像，每个偏好对使用相同的模型生成，以最小化美学差异。所有数据对都经过人类专家的手动审查和验证，确保完美图像准确符合复杂空间约束，扰动图像表现出预期的空间偏差。第二，奖励模型训练阶段。使用 Qwen2.5-VL-7B 作为主干 H_phi，通过 LoRA 微调，学习率设为 2e-6，批大小为 16，梯度累积步数为 2。在指令中插入特殊标记 ，让其同时关注视觉和文本特征。通过奖励头 R_phi（MLP）将最终层嵌入映射到高斯分布的均值 mu 和标准差 sigma。奖励分数通过采样获得 s ~ N(mu, sigma^2)。训练时对优选图像和扰动图像的高斯分布各采样 1000 次，使用平均值计算最终损失。训练在 8 张 NVIDIA H20 GPU 上一天内完成。第三，在线强化学习阶段。选择 FLUX.1-dev 作为基础模型，因为它支持长文本输入且未经后训练阶段。采用 GRPO 框架，使用 LoRA-based 微调，LoRA rank 为 32，学习率为 3e-4，群组大小为 24，KL 惩罚系数为 0.01。将确定性 ODE 转换为随机 SDE：x_{t+Δt} = x_t + v_theta(x_t, t)Δt + (sigma_t^2 / 2) * (x_t + (1-t) * v_theta(x_t, t))Δt + sigma_t * sqrt(Δt) * epsilon。对每个提示词采样 G=24 个图像，使用 SpatialScore 评估每个图像的奖励分数 R(x_i^0, c)。计算每个图像的优势值 A_i = (R(x_i^0, c) - mean{R(x_i^0, c)}_{i=1}^G) / std{R(x_i^0, c)}_{i=1}^G。使用 top-k 过滤策略（k=6）选择 top-k 和 bottom-k 样本构建子集 S={1, 2, ..., k, G-k+1, ..., G}。通过策略梯度优化最小化损失，同时引入 KL 散度惩罚项。整个在线 RL 训练在 32 张 NVIDIA H20 GPU 上进行。

本文的技术新颖性体现在多个方面。第一，SpatialScore 的架构新颖性：虽然使用了现有的 VLM 主干，但作者通过插入特殊标记 和设计奖励头来专门针对空间关系进行优化，并将奖励分数建模为高斯分布而非确定性值，这是对 HPSv3 方法的改进，增强了排名的鲁棒性。第二，数据构建的新颖性：SPATIALREWARD-DATASET 是第一个大规模、人工验证的对抗性偏好数据集，专注于复杂空间关系，与 GenEval 的简单模板形成鲜明对比。作者通过精心设计的对抗性设置，确保每个偏好对都包含明确的空间差异，并通过人类专家的严格审查保证了数据质量。第三，top-k 过滤策略的新颖性：这是针对 GRPO 训练中优势值偏差问题的创新解决方案，通过选择 top-k 和 bottom-k 样本构建平衡的子集，有效减少了优势值偏差，同时显著降低了计算开销（从 24 乘以 6 降低到 12 乘以 6 NFE）。第四，应用场景的新颖性：这是首次将专门的空间奖励模型应用于在线 RL 训练以提升图像生成的空间理解能力，与基于 GenEval 的方法相比，展现出更强的泛化能力，特别是在长提示词和多对象场景中。第五，评估基准的全面性：作者在多个基准测试上验证了方法的有效性，包括自己构建的 in-domain 基准（365 偏好对）以及多个 out-of-domain 基准（DPG-Bench、TIIF-Bench、UniGenBench++），覆盖了短提示词和长提示词场景，提供了全面的评估。

本文方法存在以下弱点，每个弱点都有潜在的改进方向：第一，数据构建依赖 GPT-5。虽然 GPT-5 具有强大的空间理解能力，但其生成的提示词可能存在偏差，特别是对于某些特定领域或文化背景的空间关系。改进方向可以包括：增加更多样化的数据来源，例如收集真实用户的空间关系描述，或者让不同背景的人类专家直接编写提示词；引入领域自适应机制，针对不同应用场景（如室内设计、工业场景、户外场景等）构建专门的数据子集。第二，人类审查的主观性问题。不同的审查者可能对完美和扰动的判断存在差异，这可能引入噪声。改进方向可以包括：制定更详细的审查指南和标准，确保审查者对空间关系的判断一致性；引入多轮审查机制，让多个审查者独立审查同一数据对，通过投票或共识机制确定最终结果；使用自动化的空间关系检测工具（如基于目标检测器的关系分析）辅助人类审查，提高客观性。第三，计算资源需求高。在线 RL 训练需要 32 张 NVIDIA H20 GPU，这对于许多研究者和开发者来说是一个较高的门槛。改进方向可以包括：探索更高效的 RL 算法，如减少群组大小、使用更少的采样步数、或者采用离线 RL 方法；研究参数高效的微调方法，如 Adapter、Prefix Tuning 等，进一步减少训练开销；利用分布式训练和模型并行技术，在资源受限的环境中实现高效的训练。第四，top-k 过滤策略的参数敏感性。k 值的选择基于实验结果，缺乏理论指导，对于不同的数据集或模型可能需要调整。改进方向可以包括：研究自适应的 top-k 策略，根据群体的奖励分布动态调整 k 值；引入理论分析，推导最优 k 值的选择标准；探索其他过滤策略，如基于阈值的方法、基于分位数的方法等，并与 top-k 策略进行系统比较。第五，仅关注空间关系准确性。虽然 KL 惩罚项可以防止过度偏离参考策略，但对其他维度（如美学质量、语义对齐）的影响尚未全面评估。改进方向可以包括：设计多维度的奖励函数，同时优化空间关系准确性、美学质量、语义对齐等多个维度；引入多目标优化框架，在不同维度之间进行权衡；在评估中加入更多维度的指标，全面评估方法的影响。

基于本文的成果，未来可以从以下几个方向进行研究：作者提出的主要未来方向是将奖励建模扩展到视频生成。视频生成要求模型不仅理解静态空间关系，还要考虑随时间的动态变化，这对于增强模型在仿真到现实的具身仿真场景中的应用尤为重要，特别是在需要生成时空一致且空间准确的视频序列时。基于本文成果可以延伸的其他方向包括：第一，时空一致的奖励模型。设计能够同时评估空间关系和时间一致性的奖励模型，支持视频生成的 RL 训练。这可能需要构建包含时空关系的偏好数据集，以及设计能够理解动态场景的奖励模型架构。第二，领域自适应的空间奖励模型。针对不同的应用领域（如室内设计、工业场景、医疗影像、自动驾驶等）构建专门的空间奖励模型，捕捉领域特定的空间关系和约束。这可能需要收集领域特定的数据，并设计领域适应的训练策略。第三，多模态的空间奖励模型。除了文本和图像，还可以考虑其他模态（如 3D 点云、深度图、动作序列等）来构建更全面的空间理解能力。这可能需要设计多模态的奖励模型架构，以及构建包含多模态数据的训练集。第四，交互式的空间奖励模型。允许用户通过交互式的方式（如拖拽、编辑、反馈等）来调整空间关系，模型能够实时响应并提供奖励信号。这可能需要设计人机交互的界面和机制，以及研究实时奖励模型的计算和更新。第五，可解释的空间奖励模型。不仅评估空间关系的正确性，还能提供解释和反馈，告诉用户哪些空间关系正确、哪些错误，以及如何改进。这可能需要设计可解释的奖励模型架构，以及研究空间关系的可视化方法。

本文的复现性评估可以从以下几个方面进行分析：开源情况：论文中提到了项目页面和视觉演示，但未明确说明代码、数据集和模型权重是否开源。考虑到这是来自学术界和工业界（北京大学和字节跳动）的合作研究，代码和模型可能会在后续开源。数据可用性：SPATIALREWARD-DATASET 包含 80K 偏好对，每个偏好对经过人类专家的审查和验证。如果这个数据集完全开源，将为后续研究提供宝贵的资源。但数据集的构建依赖于 GPT-5 生成提示词和扰动，这可能涉及版权和使用限制。模型权重：SpatialScore 基于 Qwen2.5-VL-7B 微调，如果模型权重开源，其他研究者可以基于此进行进一步的研究和应用。RL 训练后的 FLUX.1-dev 模型也可能提供，但由于模型大小和训练成本，这可能更具挑战性。算力需求：奖励模型训练在 8 张 NVIDIA H20 GPU 上一天内完成，这对于许多研究者来说是可以接受的。但在线 RL 训练需要 32 张 NVIDIA H20 GPU，这是一个较高的门槛，可能会限制复现的可行性。实现细节：论文提供了详细的超参数设置（如学习率、批大小、群组大小、LoRA rank 等），这对于复现是很有帮助的。但一些实现细节（如数据加载、训练循环、评估脚本等）可能需要查看代码才能完全理解。评估基准：论文中使用的评估基准（如 DPG-Bench、TIIF-Bench、UniGenBench++）都是公开可用的，这对于复现和比较是很有帮助的。但论文自己构建的奖励模型评估基准（365 偏好对）的开源情况尚不明确。总体来说，如果代码、数据集和模型权重完全开源，本文的复现难度为中等，但受限于在线 RL 训练的高算力需求。如果这些资源不完全开源，复现难度会显著增加，可能需要重新构建数据集和训练模型。