← 返回 2026-01-06

正确实现VAR强化学习：解决视觉自回归生成中的异步策略冲突 VAR RL Done Right: Tackling Asynchronous Policy Conflicts in Visual Autoregressive Generation

Shikun Sun, Liao Qu, Huichao Zhang, Yiheng Liu, Yangyang Song, Xian Li, Xu Wang, Yi Jiang, Daniel K. Du, Xinglong Wu, Jia Jia 📅 2026-01-05 👍 33 2026-07-13 08:35
强化学习 文本渲染 自回归模型 视觉生成
arXiv HuggingFace PDF

提出三组件框架解决VAR模型RL训练中的异步策略冲突问题

前置知识

Visual AutoRegressive (VAR) 模型

VAR是一种视觉自回归生成模型，它采用粗到细的策略生成图像，从最低分辨率开始，逐步生成更高分辨率的token网格。与传统的光栅扫描AR模型不同，VAR在每个时间步生成并行的token网格而非单个符号，这种异构的多尺度设计虽然与高分辨率骨干网络对齐并能实现快速合成，但也为RL对齐带来了独特挑战。

理解VAR的工作原理是理解本文核心问题的基础，因为本文解决的就是VAR特有的、由多尺度并行token生成导致的异步策略冲突问题。

GRPO (Group Relative Policy Optimization)

GRPO是一种策略优化算法，它通过消除PPO所需的value模型来简化策略优化，使用基于相对的、分组的目标函数实现显著的实证增益。GRPO在视觉生成中已成功用于提高输出保真度和可控性，但它原本是针对bandit风格设置设计的，直接应用于VAR时会出现问题。

本文以GRPO为基线算法，通过改进GRPO来适配VAR的特殊结构，因此需要理解GRPO的基本原理才能理解本文的改进动机。

KL-Regularized RL

KL正则化强化学习是在优化策略时添加一个软KL约束，限制新策略与旧策略之间的差异。最优策略的形式为 pi*(a_t | s_t) 正比于 pi_old(a_t | s_t) * exp(Q*(s_t, a_t)/eta)，其中eta是温度参数。这种正则化可以防止策略变化过大，提高训练稳定性。

本文的理论分析基于KL正则化RL框架，证明所提出的VMR方法不会改变最优策略，这是本文方法正确性的理论基础。

确定性MDP

马尔可夫决策过程(MDP)是一个五元组(S, A, P, r, gamma)，描述了智能体与环境交互的框架。确定性MDP指的是状态转移概率P(s_{t+1}|s_t, a_t)是确定的，即给定当前状态和动作，下一个状态是唯一确定的。在VAR生成中，状态转移确实是确定的，因为生成的token网格完全由策略决定。

本文将VAR序列生成建模为确定性MDP，利用确定性转移的特性简化了Q函数的表达式，这是理论分析的关键前提。

研究动机

现有方法在VAR模型上应用强化学习时存在严重的异步策略冲突问题。如图1所示，VAR生成过程中不同时间步的查询token数量会发生剧烈波动，从粗到细尺度时可能相差几个数量级。例如在64x64到1024x1024的生成过程中，token网格大小从(1,1)到(64,64)变化巨大。这种异构性导致任务相似度在不同时间步之间存在巨大差异，在RL训练数据比预训练少得多的情况下，会加剧策略不稳定性、减缓收敛速度并导致次优对齐。图2的训练曲线显示，直接应用vanilla GRPO在完整尺度上的表现甚至不如部分前缀尺度的监督RL，这暴露了bandit风格GRPO在异构、并行动作下变得不稳定的问题。

本文的目标是本文的目标是提出一个简单有效的框架来增强GRPO，使其能够稳定且有效地优化text-to-image VAR模型。具体来说，需要解决三个核心问题：提供更密集、更低方差的反馈给早期步骤；平衡不同时间步的梯度贡献；精确地将更新集中在对最终奖励最相关的token上。最终目标是实现鲁棒的训练收敛、加速学习过程，并在文本渲染和人类偏好评分等任务上显著提升样本质量和目标对齐。

与已有工作不同的是，本文的独特切入角度是首次系统性地研究text-to-image VAR模型的强化学习问题。与现有工作相比，本文不是简单地将现有RL方法应用于VAR，而是深入诊断了VAR特有的异步策略冲突问题，并将其建模为确定性MDP进行理论分析。现有工作如[13]将GRPO应用于类条件模型，但没有解决多尺度并行token生成的核心结构挑战。与raster-scan AR模型或diffusion模型相比，VAR架构呈现独特的挑战，主要由于多尺度、并行token生成的策略优化存在结构差异，这些差异需要专门的奖励设计和优化策略。

核心方法

本文的整体思路是识别VAR模型在RL训练中存在的异步策略冲突问题，然后提出三个协同组件来增强GRPO算法。直觉上，VAR的粗到细生成过程类似于分层决策，早期步骤决定整体结构，后期步骤填充细节。但不同步骤的token数量差异巨大，导致梯度贡献不平衡。解决方案包括：在中间步骤插入中间奖励，将完整序列分解为前缀和后缀两个子任务，提供更密集的反馈；根据每个时间步的token网格大小动态加权损失，平衡梯度贡献；通过掩码传播追踪对最终奖励最相关的token，时空隔离优化效果。这三个组件协同工作，从时间维度、梯度维度和空间维度三个层面解决异步策略冲突。

本文的核心创新点在于提出了三个协同组件来专门解决VAR模型的异步策略冲突问题，与已有方法的本质区别在于：首先，VMR (Value as Middle Return)不是简单插入中间奖励，而是证明在KL正则化RL框架下，这种两阶段分解不会改变最优策略，这保证了方法的理论正确性；其次，PANW (Per-Action Normalization Weighting)不是简单的损失加权，而是根据token网格大小的alpha次幂进行归一化，平衡了KL使用和梯度尺度；最后，Mask Propagation (MP)不是简单的注意力机制，而是从细到粗反向传播时空掩码，时空隔离优化效果到对最终奖励最负责的token。这三个组件共同构成了第一个系统性针对text-to-image VAR的RL框架。

方法步骤详情

本文方法的完整步骤如下：(1)定义MDP：将VAR序列生成为确定性MDP，动作空间a_t^theta(s_t)=r_{t+1}是生成下一个分辨率token网格，状态空间s_t=(r_1, r_2, ..., r_t)是部分VAR序列，状态转移是确定的，奖励函数R(s_T)是最终返回；(2)构建VMR：选择中间步骤m（默认为m_256，对应256x256分辨率），计算中间软价值V_m^*(s_m) = eta * log E_{pi_old}[exp(R(s_T)/eta) | s_m]，然后分别优化后缀问题max_{pi_{m:T-1}} E[R(s_T)|s_m] - eta*KL(pi_{m:T-1}||pi_{old,m:T-1})和前缀问题max_{pi_{1:m-1}} E[V_m^*(s_m)] - eta*KL(pi_{1:m-1}||pi_{old,1:m-1})；(3)应用PANW：对每个时间步t，计算归一化权重k_t = 1/(h_t w_t)^alpha，其中h_t x w_t是该步骤的token网格大小，alpha是衰减指数（实验最佳为0.6），然后在训练时用k_t加权每个动作的损失；(4)实现MP：维护一个时空掩码，首先从直接决定奖励的输出组件（如预测边界框）构建初始掩码，然后从细到粗反向传播这个掩码通过模型的多尺度层次，掩码用于门控中间奖励和梯度，专注于因果相关的区域；(5)交替训练：采用细粒度交替方案，每执行3次前缀GRPO更新（优化pi_{1:m-1}），执行1次后缀GRPO更新（优化pi_{m:T-1}）。

技术新颖性

本文的技术新颖性体现在三个方面：首先是理论贡献，首次将VAR序列生成建模为确定性MDP，并在KL正则化RL框架下证明了两阶段不变性定理，为VMR方法提供了理论保证；其次是算法创新，VMR是一种结构保持的奖励塑形，它在不改变族最优解的情况下使其更容易在实践中达到，这与传统的中间奖励方法有本质区别；最后是系统性的框架，这是第一个系统性针对text-to-image VAR的RL框架，不仅提出了方法，还通过大量实验揭示了VAR特有的RL失败模式。此外，本文在奖励设计上也有创新，对于文本渲染任务设计了包括完整性、相似性和长度惩罚的综合OCR奖励，对于HPSv3任务采用自托管服务实现低延迟奖励评估和高吞吐量训练。

The pipeline of our two-stage GRPO is as follows: we use Monte Carlo estimation to compute the reward for pi_θ1:m−1, and then apply GRPO to the two states separately.
Figure 3: The pipeline of our two-stage GRPO is as follows: we use Monte Carlo estimation to compute the reward for pi_θ1:m−1, and then apply GRPO to the two states separately.
Our token masks are propagated in reverse through the model's multi-scale hierarchy, moving from finer to coarser feature scales.
Figure 4: Our token masks are propagated in reverse through the model's multi-scale hierarchy, moving from finer to coarser feature scales.

实验结果

本文在两个主要任务上进行了大量实验验证。在文本渲染任务上，使用CVTG-2K数据集，NextFlow-RL（本文方法）相对于基线NextFlow取得了显著提升：Word Accuracy从0.5536提升到0.7841，绝对提升+0.2305，相对提升+41.6%；NED从0.7816提升到0.9081，绝对提升+0.1265，相对提升+16.2%；CLIPScore从0.8068提升到0.8224。这些结果表明本文方法在改善单词级准确性和字符级保真度的同时保持了语义对齐。在HPSv3人类偏好评分任务上，NextFlow-RL在整体指标All上从8.43提升到10.64，绝对提升+2.21，并且在所有子类别上都有提升，特别是在Animals（从8.34到10.79）、Natural Scenery（从8.22到10.43）、Plants（从8.19到10.57）和Food（从8.93到11.18）上提升明显。更重要的是，NextFlow-RL在多个关键列上达到了state-of-the-art性能：All（10.64）、Architecture（11.16）、Animals（10.79）、Natural Scenery（10.43）、Plants（10.57）、Food（11.18）和Others（10.66）。图5的视觉结果显示，RL优化后的输出能够纠正字符顺序、修复错误的字形、减少缺失或多余的字符，适用于多样化的布局和风格。图6在HPS refine任务上的视觉结果展示了sharper细节、更清洁的结构和更强的提示词依从性。消融实验表明：(1)m=m_128达到最佳分数（Word Acc. 0.6677, NED 0.8501, CLIPScore 0.8142），m=m_256非常接近（0.6565/0.8429/0.8133），考虑到计算成本和掩码机制兼容性，选择m=m_256作为默认；(2)衰减指数alpha在[0.6, 0.8]范围内效果最好，alpha=0.6给出最佳Word Accuracy/NED，alpha=0.8给出最佳CLIPScore；(3)启用MP改善文本保真度指标（Word Acc. 0.7071 vs 0.6855；NED 0.8699 vs 0.8601），CLIPScore基本不变；(4)样本数K=2整体表现最好（0.6821/0.8505/0.8287），K=1探索不足，K=4略有退化；(5)细粒度交替方案优于粗粒度交替（0.6855/0.8601/0.8188 vs 0.6778/0.8564/0.8168），表明更频繁、局部化的更新能更好地解决异步策略冲突。

Quantitative results on the CVTG-2K dataset.
Table 1: Quantitative results on the CVTG-2K dataset.
Comparison of different models across various categories.
Table 2: Comparison of different models across various categories.
Ablation studies on the hyperparameters m and alpha.
Table 3: Ablation studies on the hyperparameters m and alpha.
Ablation studies on Mask Propagation (MP) and alternating training schemes.
Table 4: Ablation studies on Mask Propagation (MP) and alternating training schemes.
Ablation on K, evaluated at step 300.
Table 5: Ablation on K, evaluated at step 300.
Related tokens corresponding to different prefix resolutions are provided. Note that the method also supports varying aspect ratios.
Table 6: Related tokens corresponding to different prefix resolutions are provided. Note that the method also supports varying aspect ratios.
Visual Samples of text rendering task before (left) and after (right) RL optimization.
Figure 5: Visual Samples of text rendering task before (left) and after (right) RL optimization.
Visual Samples of HPS refine task before (left) and after (right) RL optimization.
Figure 6: Visual Samples of HPS refine task before (left) and after (right) RL optimization.
Ablations on training configurations. Left: varying decay exponent alpha; Right: enabling/disabling MP.
Figure 7: Ablations on training configurations. Left: varying decay exponent alpha; Right: enabling/disabling MP.
Distributions over the number of text-rendering regions (1, 2, 3, 4, 5, and >5) for the pre-filter training set, the post-filter training set, and the evaluation set.
Figure 8: Distributions over the number of text-rendering regions (1, 2, 3, 4, 5, and >5) for the pre-filter training set, the post-filter training set, and the evaluation set.
Random visual samples from the HPSv3 evaluation set by class. Each class includes two pairs; within each pair, the left image is before RL and the right image is after RL.
Figure 9: Random visual samples from the HPSv3 evaluation set by class. Each class includes two pairs; within each pair, the left image is before RL and the right image is after RL.
Random visual samples from the HPSv3 evaluation set by class. Each class includes two pairs; within each pair, the left image is before RL and the right image is after RL.
Figure 10: Random visual samples from the HPSv3 evaluation set by class. Each class includes two pairs; within each pair, the left image is before RL and the right image is after RL.
查看结构化数据
任务指标本文基线提升
文本渲染 (CVTG-2K) Word Accuracy 0.7841 NextFlow: 0.5536 +0.2305 (+41.6%)
文本渲染 (CVTG-2K) NED 0.9081 NextFlow: 0.7816 +0.1265 (+16.2%)
文本渲染 (CVTG-2K) CLIPScore 0.8224 NextFlow: 0.8068 +0.0156
人类偏好评分 (HPSv3) All 10.64 NextFlow: 8.43 +2.21
人类偏好评分 (HPSv3) Animals 10.79 NextFlow: 8.34 +2.45
人类偏好评分 (HPSv3) Food 11.18 NextFlow: 8.93 +2.25

局限与改进

作者承认和观察到的局限性包括：(1)训练数据分布不平衡：作者观察到内部训练语料库在每样本文本渲染区域数量上存在明显不平衡，单区域案例过多，超过五个区域的图像呈长尾分布。虽然采用了区域计数过滤策略，但分布差异仍然存在；(2)超参数敏感性：消融实验显示m、alpha、K等超参数对性能有影响，需要仔细调优，特别是在m的选择上存在权衡（m=128性能最好，但m=256计算成本更低）；(3)计算开销：VMR估计需要K次on-policy采样，MP需要维护和传播时空掩码，这些都会增加计算开销；(4)评估任务局限：主要在文本渲染和HPSv3上验证，在其他视觉生成任务（如图像到图像、视频生成）上的效果尚未验证；(5)理论基础局限性：两阶段不变性定理在KL正则化RL框架下成立，但在其他RL框架下的适用性需要进一步研究；(6)模型规模：实验基于7B参数的NextFlow模型，在更大或更小模型上的表现可能不同。

独立分析的弱点

独立分析发现的弱点包括：(1)泛化性问题：方法主要在文本渲染和通用视觉质量上验证，在需要复杂空间推理或细粒度控制的任务（如医学图像生成、CAD设计）上的效果未知，可以考虑在这些任务上设计特定的奖励函数；(2)掩码传播机制的稳定性：从细到粗反向传播掩码依赖于输出组件对最终奖励的贡献，但在某些场景下（如需要全局结构的生成），重要token可能分散在多个尺度，可能导致掩码传播不准确，可以考虑设计更鲁棒的掩码初始化和传播策略；(3)交替训练策略的僵化：固定的3:1前缀后缀交替比例可能不是最优的，可以根据验证集性能动态调整交替比例或采用自适应交替策略；(4)VMR估计的方差：虽然K=2在实践中稳定，但Monte Carlo估计仍然存在方差，可以考虑引入低方差估计技术如控制变量或重要性采样；(5)PANW的幂指数alpha：最佳alpha值在[0.6, 0.8]之间，但可能因任务和数据集而异，可以考虑学习alpha而非固定为常数；(6)奖励函数的设计：文本渲染的OCR奖励和HPSv3奖励都是外部评估器，在跨域或长尾分布上的泛化性可能有限，可以考虑训练多模态对齐的内部奖励函数。

未来方向

作者提出和基于成果可延伸的未来研究方向包括：(1)扩展到其他视觉生成任务：将本文框架应用于图像到图像转换、视频生成、3D生成等任务，设计相应的奖励函数和评估指标；(2)自适应组件设计：研究如何根据训练状态或任务特点自适应地调整m、alpha、K等超参数，减少人工调参成本；(3)更低方差的VMR估计：探索比Monte Carlo估计更低方差的价值估计方法，如引入bootstrap或集成估计器；(4)更细粒度的梯度控制：研究在token级别甚至特征图级别进行梯度控制，更精确地将更新集中在相关区域；(5)理论扩展：将两阶段不变性定理扩展到其他RL框架（如硬约束RL、分布RL），探索更一般的理论保证；(6)跨架构应用：研究本文方法是否可以应用于其他多尺度、并行生成架构，如多尺度diffusion模型、分层VAE等；(7)联合训练：探索将RL预训练与微调相结合，在预训练阶段就引入部分RL目标，减少微调阶段的不稳定性；(8)可解释性增强：研究VMR和MP的内部工作原理，可视化掩码传播路径，提高方法的可解释性和可控性。

复现评估

复现评估如下：(1)开源情况：论文提供了官方页面https://github.com/ByteVisionLab/NextFlow，但代码、数据和模型的完全开源情况未明确说明，需要进一步确认；(2)数据依赖：使用内部训练prompt池，与训练和测试划分严格分离，但内部数据集的公开情况未说明；CVTG-2K数据集是公开的，HPSv3评估数据集也是公开的；(3)计算资源：训练配置为group size=16，batch size=16，学习率10^-5，使用AdamW优化器，训练最多1200次更新，即每个任务最多19200个唯一prompt。这需要相当可观的GPU资源，特别是在计算OCR奖励和HPSv3奖励时；(4)实现复杂度：方法包含VMR估计、PANW加权、MP掩码传播等组件，实现相对复杂，需要仔细调试；(5)超参数敏感性：消融实验显示超参数对性能有影响，需要仔细调优才能复现最佳结果；(6)评估难度：评估依赖于外部评估器（PaddleOCRv5、HPSv3），需要部署这些服务，增加了复现难度。总体而言，复现需要中等到高等的难度，主要挑战在于计算资源和外部评估器部署。

论文图表

The number of query tokens across different timesteps in VAR generation fluctuates significantly, leading to varying task similarities and potential policy conflicts during RL optimization.
Figure 1: The number of query tokens across different timesteps in VAR generation fluctuates significantly, leading to varying task similarities and potential policy conflicts during RL optimization.

Figure 1展示了VAR、AR和Diffusion三种生成范式在不同生成步骤中查询token数量的对比。VAR模型在生成过程中，token数量从粗到细尺度变化巨大（从约50到100的剧烈波动），而AR模型保持相对稳定（始终约为1），Diffusion模型虽然也有变化但幅度较小。这种token数量的剧烈波动导致任务相似度在不同时间步之间存在巨大差异，在RL优化时会产生潜在的策略冲突。

这张图对理解论文至关重要，因为它直观地展示了VAR模型与其他生成范式在token数量分布上的根本差异，这是异步策略冲突问题的根本原因。没有这张图，读者很难理解为什么VAR模型在RL训练中会遇到特殊困难。

Comparison of training curves between vanilla GRPO and GRPO with VMR across varying prefix scales.
Figure 2: Comparison of training curves between vanilla GRPO and GRPO with VMR across varying prefix scales.

Figure 2比较了vanilla GRPO和不同前缀尺度的GRPO with VMR的训练曲线。横轴是训练步骤，纵轴是Value Reward。曲线显示vanilla GRPO（蓝色）的训练曲线波动较大，而GRPO with prefix 128（绿色）表现出更好的训练稳定性。更重要的是，完整尺度的supervised RL表现不如部分前缀尺度（如prefix 64、128、256），这暴露了直接应用GRPO在完整尺度上的不稳定性问题。

这张图对理解论文重要，因为它提供了异步策略冲突问题的实证证据，直观展示了在完整尺度上直接应用GRPO的不稳定性，以及VMR方法通过分解序列缓解这一问题的效果。这是本文方法动机的关键实验证据。