Stable-Layers：基于视觉语言模型评分强化学习的图像层分解模型微调方法 Stable-Layers: Fine-Tuning Image Layer Decomposition Models with VLM-Scored Reinforcement Learning
用VLM作为判别器的无监督层分解强化学习微调
前置知识
图像层分解（Image Layer Decomposition）
图像层分解是将一张图像分离为多个可编辑的 RGBA 图层的技术，这些图层组合后可以重建原图。每个图层包含颜色（RGB）和透明度（Alpha）信息，是专业图像编辑和合成的基础操作。例如，一张照片可以分解为背景、前景物体等多个独立编辑的图层。
这是论文的核心任务，理解层分解的目标和挑战才能理解为何需要无监督学习方法
Flow Matching 和 Rectified Flows
Flow Matching 是一种生成模型框架，通过学习从噪声分布到数据分布的速度场来生成样本。Rectified Flows 使用线性插值 $x_t = (1-t)x_0 + tx_1$，其中 $x_0$ 是数据，$x_1$ 是噪声，通过回归损失学习速度场 $v_\theta(x_t, t)$。推理时通过积分 ODE 生成样本，但确定性轨迹缺乏可追踪的每步对数概率。
这是论文使用的生成框架，理解其基本原理才能明白为何需要 SDE 增强来进行强化学习
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，通过计算组内相对优势来优化策略。对于同一条件生成的 G 个样本，计算每个样本的奖励与组内均值的标准化差值作为优势：$\hat{A}^{(g)} = \frac{r^{(g)} - \bar{r}}{\sigma_r + \nu}$。算法优化裁剪代理目标，避免策略更新过于激进，同时加入 KL 散度约束保持策略稳定。
这是论文使用的核心强化学习算法，理解其组内相对优势和裁剪机制才能理解论文的训练过程
VLM-as-Judge
VLM-as-Judge 是将视觉语言模型用作奖励模型的方法，通过向 VLM 展示生成结果并让其评估质量来获得奖励信号。VLM 可以同时理解图像和文本提示，因此能够按照指定的评价标准对图像进行打分。这种方法避免训练专门的奖励模型，但需要设计可靠的评分提示。
这是论文监督信号的唯一来源，理解其优势和局限（如评分压缩）才能理解两阶段奖励设计的动机
LoRA（Low-Rank Adaptation）
LoRA 是一种参数高效的微调方法，通过在原始权重旁边添加低秩矩阵来适应新任务。具体地，对于权重矩阵 $W$，LoRA 使用 $W + BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll d, k$。训练时只更新 $A$ 和 $B$，大幅减少可训练参数数量。论文使用 $r=16$ 和 $\alpha=16$ 的配置。
这是论文用于微调 Qwen-Image-Layered 的技术，理解其原理能明白论文如何在有限计算预算下进行强化学习微调
研究动机
现有的图像层分解方法面临监督数据匮乏的根本挑战。图像层分解的天然歧义性——一张图像存在多种合理的分解方式——使得传统监督学习陷入困境：回归到单一目标会惩罚同样有效的其他分解方案。当前方法如 Qwen-Image-Layered、LayerDiff、DreamLayer 等依赖 Photoshop PSD 等合成数据集进行训练，但这类合成数据无法覆盖自然图像的复杂情况。更重要的是，层分解的质量最终由下游可用性决定，包括语义分离、干净的 alpha 蒙版、最小冗余和对遮挡内容的忠实处理，而不是与任何单一目标分解的相似度。这种监督缺口限制了模型在真实场景中的表现。
本文的目标是本文的目标是提出一种完全不需要成对监督数据的层分解模型微调方法，仅使用无标签图像和事后 VLM 判断作为监督信号。具体而言，作者希望通过强化学习直接优化感知的分解质量，使用视觉语言模型作为唯一的监督来源。关键挑战在于设计可靠的奖励信号：VLM 在单独评分样本时倾向于将判断压缩到狭窄范围内，导致 GRPO 缺乏足够的组内方差来学习；同时优化稳定性也是问题，因为 Qwen-Image-Layered 将多个 RGBA 图层打包到单个潜在序列中，导致有效维度增加约 5 倍，抑制了每步对数比率的方差。
与已有工作不同的是，本文的独特切入角度是使用 VLM 作为判别器的强化学习微调，完全避免了对合成层分解数据的依赖。与现有方法不同，本文不使用成对目标或合成分解，而是直接优化下游编辑可用性。更关键的是，作者针对 VLM-as-Judge 在强化学习中的特定问题——评分压缩导致组内方差不足——提出了两阶段评估管道的创新解决方案：第一阶段进行结构化的逐样本评分，第二阶段进行基于网格的相对校准，恢复了 GRPO 学习所需的组内方差。这与现有的标量 VLM 奖励或成对偏好方法有本质区别，后者要么会坍缩多维度质量信号，要么会随组大小二次扩展且失去绝对校准。
核心方法
Stable-Layers 的整体思路是将层分解问题转化为强化学习问题：策略模型（Qwen-Image-Layered）根据输入图像生成多个候选层分解，判别器（VLM）对这些候选进行评分，然后通过 GRPO 根据组内相对优势更新策略。技术路线的核心是 Flow-GRPO 的三阶段训练循环：每个训练步首先通过 SDE 采样生成 G 个候选分解（不传播梯度），然后使用两阶段 VLM 奖励协议对这些候选进行评分，最后回放存储的轨迹计算 GRPO 更新。方法的关键创新在于奖励设计和 RatioNorm 改造，解决了 VLM 评分压缩和高维打包潜在表示的稳定性问题。
核心创新点在于两阶段 VLM 奖励协议和针对打包潜在表示的 RatioNorm 重新公式化。两阶段奖励协议的动机是 VLM 在单独评分样本时会产生评分压缩——当候选在视觉上相似时，分数会集中在狭窄范围内，削弱 GRPO 的学习信号。作者通过先进行结构化的逐样本绝对评分（Phase 1），再进行基于网格的相对校准（Phase 2），恢复了组内方差：绝对评分有效捕捉分类失败，而相对比较则强化感知接近候选之间的区分度。RatioNorm 改造的动机是 Qwen-Image-Layered 将 N 个 RGBA 图层打包到单个潜在序列中，导致有效维度 D 增加约 5 倍，使得标准空间平均对数比率坍缩向零。作者改为在空间维度上求和对数概率并归一化，在保持 RatioNorm 的居中和方差稳定性质的同时恢复 O(1) 比率大小。
方法步骤详情
Stable-Layers 的完整训练流程包含四个主要步骤。第一步是模型架构适配：基于 Qwen-Image-Layered（包含 3D VAE、序列打包的变压器和文本编码器），应用 LoRA 适配到所有注意力投影层和前馈层，保持其他参数冻结。第二步是候选生成：对于每个无标签图像（来自 Fine-T2I 数据集，调整为 640×640），通过 SDE 流匹配采样生成 G 个候选分解，输出图层数在训练时从 [2, 5] 均匀采样。第三步是两阶段 VLM 评分：Phase 1 将每个候选独立发送给 VLM，评估五个标准（语义分离、alpha 清洁度、背景修复、特征分布、内容有效性），每个标准 0-5 分，归一化到 [0, 1]；Phase 2 将所有 G 个合成图拼贴到 256×256 的标记比较网格中，让 VLM 重新相对评分，直接使用校准分数作为奖励 $r^{(g)} = r^{(g)}_{\text{cal}}$。第四步是 GRPO 训练与轨迹回放：存储轨迹 $\tau^{(g)}$ 和旧策略对数概率 $\log \pi_{\theta_{\text{old}}}$，使用修改后的 RatioNorm（空间求和归一化而非空间平均）计算重要性比率，然后使用裁剪代理目标和 KL 散度约束更新 LoRA 参数。
技术新颖性
Stable-Layers 的技术新颖性体现在三个方面。首先，两阶段 VLM 奖励协议是针对 VLM-as-Judge 在组内强化学习中评分压缩问题的专门解决方案，与现有的标量奖励（如 ImageReward）或成对偏好方法（如 Diffusion-DPO）有本质区别——前者会坍缩多维度质量信号，后者随组大小二次扩展且失去绝对校准。其次，RatioNorm 的重新公式化针对流匹配强化学习中打包潜在表示的稳定性问题，将空间平均改为空间求和归一化，在保持稳定性约束的同时恢复学习信号强度，这是一个广泛适用于序列打包潜在表示的流匹配强化学习设置的简单修改。最后，这是首个将强化学习应用于层分解任务的工作，完全避免了传统方法对合成层分解数据的依赖，证明了 VLM-as-judge 奖励可以驱动感知编辑可用性的直接提升，为编辑导向生成器训练提供了一个通用的配方。
实验结果
论文在多个维度验证了 Stable-Layers 的有效性。在奖励进展方面，校准的 VLM 奖励在前约 100 步从约 0.70 上升到约 0.83，策略消除了最差的失败模式，然后在训练剩余时间保持高每步方差，同时保持集评估指标继续改进。在定性结果上，Stable-Layers 成功解决了基础模型的两个主要失败模式：层 0 的退化（从完全黑色或平坦填充变为合理的场景完成，如桥后的山和天、插图的起伏山丘和云）和前景层重复输入（从近完整拷贝变为不同语义元素的隔离，如照片中的桥面、绳索栏杆和人物，插图中的前景路径、植物、长椅和树）。在 Crello 数据集的定量评估中，Stable-Layers 在所有图层数下都实现了比基础模型更低的重构误差：L=2 时平均 L1 误差从 0.1706 降至 0.1635，L=3 时从 0.0879 降至 0.0767，L=4 时从 0.0712 降至 0.0660。在 LAION-Aesthetics 保持集上，Stable-Layers 在分布均匀度上从 0.5282 提升到 0.7339，层 0 质量从 0.3817 提升到 0.6148，明显优于保守的 LayerD 方法（分布均匀度仅 0.0585）。消融实验表明：网格校准对图像质量有显著影响，步骤 80-200 的平均 SSIM 从 0.45（无校准）提升到 0.52（有校准）；而糟糕层减少主要由 Phase 1 的内容有效性和 alpha 清洁度标准驱动，校准对这方面影响较小。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Crello 数据集层分解重构（L=2） | 平均 RGB L1 误差（越低越好） | 0.1635 | Qwen-Image-Layered: 0.1706 | 降低 4.2% |
| Crello 数据集层分解重构（L=3） | 平均 RGB L1 误差（越低越好） | 0.0767 | Qwen-Image-Layered: 0.0879 | 降低 12.7% |
| Crello 数据集层分解重构（L=4） | 平均 RGB L1 误差（越低越好） | 0.0660 | Qwen-Image-Layered: 0.0712 | 降低 7.3% |
| LAION-Aesthetics 保持集特征分布 | 分布均匀度（越高越好） | 0.7339 | Qwen-Image-Layered: 0.5282 | 提升 38.9% |
| LAION-Aesthetics 保持集背景层质量 | 层 0 质量（越高越好） | 0.6148 | Qwen-Image-Layered: 0.3817 | 提升 61.1% |
局限与改进
作者承认了几个重要局限性。首先，Stable-Layers 依赖专有 VLM 作为奖励模型，引入了每个训练步的 API 成本和对特定模型快照的依赖，该快照的分数分布可能在不同版本间漂移。其次，评估依赖自动指标和定性检查而非人类研究，这些指标与编辑有用性相关但不能直接测量它。第三，出于计算原因训练被限制为每样本最多五层，因此高图层数分解（基础模型支持多达 20 层）的行为没有直接评估。此外，我观察到网格校准的提示设计可能需要针对不同任务定制，且方法的成功依赖于 VLM 对层分解质量的可靠判断，这在极端情况下（如非常复杂或风格化的图像）可能失效。最后，虽然论文在 Crello 和 LAION-Aesthetics 上展示了改进，但这些数据集可能不能完全覆盖真实世界编辑场景的多样性。
独立分析的弱点
独立分析来看，Stable-Layers 存在几个具体弱点。第一，VLM 依赖性和 API 成本是实际部署的主要障碍——每个训练步需要对 G 个候选进行两次 VLM 调用（Phase 1 和 Phase 2），在大规模训练时成本可能变得不可接受。改进方向可以是探索轻量级替代方案，如训练专门的奖励模型或使用本地开源 VLM。第二，评估指标的局限性——论文使用的自动指标（重构误差、分布均匀度、层 0 质量）与实际编辑可用性之间的相关性并未充分验证，可能需要设计更接近编辑任务的评估（如基于图层进行实际编辑操作的成功率）。第三，训练限制在五层以内——虽然推理时可以使用更多层，但模型在 20 层设置下的行为未经验证，可能需要额外的训练或适配。第四，提示工程依赖——两阶段奖励协议的提示设计需要精心制作，不同任务可能需要定制化的评价标准，这增加了方法的工程复杂性。改进方向可以是自动化提示设计或学习评价标准本身。
未来方向
作者提出了几个有前景的扩展方向。首先是替换网格校准的自由形式数值输出为基于 logit 的成对偏好，这可以避免 TOPReward 针对的失败模式（文本生成数值评分的脆弱性）。其次是自动化评价标准设计本身，让 VLM 批评其自己的评分标准，这可能减少提示工程负担并提高适应性。基于成果可以延伸的方向包括：将方法扩展到其他视觉生成任务，如风格迁移、修复、重新照明和场景重排，这些任务的输出同样可以由 VLM 有意义地评估；探索替代奖励模型，如学习标量奖励或自改进 VLM 批评家，以减少对专有 API 的依赖；研究更高图层数的训练策略，可能通过渐进式训练或分层奖励来处理计算复杂度；以及进行人类评估研究，验证自动指标与实际编辑可用性的相关性。另一个有趣的方向是将两阶段奖励原则应用于其他强化学习设置，如机器人学习或自然语言生成，其中评估同样存在多维度质量和评分压缩问题。
复现评估
论文的复现难度为中等。作者提供了详细的超参数配置（见附录 F），包括 LoRA 的 rank=16 和 alpha=16、SDE 步骤调度、扩散系数 $a=0.7$、组大小 G 等参数。然而，论文没有明确说明是否开源代码或模型权重，这是完全复现的主要障碍。数据方面，Fine-T2I 数据集是公开的，Crello 数据集也应该可获得，但需要确认访问权限。计算资源方面，训练需要能够处理 640×640 图像和最多 5 个 RGBA 层的 GPU 内存，考虑到 GRPO 需要存储 G 个候选的轨迹，内存需求会更高。VLM API 调用是另一个成本因素，每次训练步需要约 2G 次 VLM 调用（每个候选两次），在长时间训练时成本显著。总体而言，在获得代码和 VLM API 访问权限的情况下，复现是可行的，但需要相当的计算预算和时间投入。
论文图表