视频生成强化学习中的流形感知探索方法

通过微观精确SDE和宏观双重信任区域，使视频GRPO探索保持在数据流形附近

前置知识

Group Relative Policy Optimization (GRPO)

GRPO是一种强化学习算法，最初在DeepSeek-Math中提出用于语言模型对齐。核心思想是给定一个prompt，采样一组G个rollout（即多个生成结果），计算每个rollout的奖励，然后用组内奖励的均值和标准差进行归一化得到advantage，再用策略梯度更新模型。这种组归一化避免了训练单独的value baseline网络，简化了训练流程。在视频生成中，GRPO将去噪过程视为马尔可夫决策过程，每个去噪步骤对应一个动作，最终生成的视频质量决定奖励。

本文是对GRPO在视频生成场景的深度改进，理解GRPO的基本框架是理解本文所有改进的前提。

Flow Matching / Rectified Flow

Flow Matching是一类生成模型范式，通过学习一个速度场 $v_{\theta}(x_t, t)$ 将噪声分布 $z_1 \sim \mathcal{N}(0,I)$ 传输到数据分布 $x_0$。Rectified Flow使用线性插值路径 $x_t = (1-\sigma_t)x_0 + \sigma_t z_1$，其中 $\sigma_t$ 从1（纯噪声）递减到0（干净数据）。对应的ODE为 $\frac{dx_t}{dt} = v_{\theta}(x_t, t)$。相比传统扩散模型的DDPM/DDIM采样，Flow Matching的路径更直，采样效率更高。

本文基于HunyuanVideo1.5进行实验，该模型使用Rectified Flow架构。理解Flow Matching的数学形式是理解本文SDE推导的基础。

ODE-to-SDE转换

确定性ODE采样每次给定初始噪声都会产生相同的输出，无法进行策略探索。为了在GRPO中采样多样化的rollout，需要将确定性ODE转换为随机微分方程（SDE），通过注入噪声实现随机探索。SDE的形式为 $dz_t = [v_{\theta} - \frac{1}{2}\varepsilon_t^2 s_{\theta}(x_t)]dt + \varepsilon_t dw_t$，其中 $\varepsilon_t$ 是扩散系数，$s_{\theta}$ 是得分函数估计，$dw_t$ 是布朗运动。关键挑战在于如何计算正确的噪声标准差 $\Sigma_t^{1/2}$ 以保持边际分布不变。

现有方法（DanceGRPO、FlowGRPO）使用一阶近似计算噪声方差，在高噪声区域引入过大方差，导致探索偏离数据流形。本文的核心创新就在于改进这个SDE转换过程。

数据流形 (Data Manifold)

预训练视频生成模型的参数 $\theta_0$ 定义了一个有效的数据流形 $\mathcal{M} \subset \mathbb{R}^D$，即模型能够生成的合法视频空间。当GRPO更新参数 $\theta$ 时，如果探索过于激进，生成的视频可能偏离这个流形，产生时间抖动、视觉伪影等问题。流形的概念类似于一个弯曲的高维曲面，有效视频分布在这个曲面上，偏离曲面的点对应质量低下的视频。

本文将GRPO训练问题重新定义为流形约束探索问题，所有方法设计都围绕保持探索在流形附近展开。

KL散度与信任区域

KL散度 $D_{KL}(\pi_{\theta} \| \pi_{ref})$ 衡量当前策略与参考策略之间的分布差异。在RL对齐中，KL正则化防止策略偏离太远导致灾难性遗忘或reward hacking。信任区域方法（如TRPO）限制每步更新的幅度，确保策略在安全区域内更新。传统的Fixed KL固定参考为初始模型 $\pi_0$，限制了长期优化能力；Step-wise KL用上一步策略作为参考，类似速度控制但无法限制累积位移。

本文提出Dual Trust Region机制，结合位置控制和速度控制，是解决稳定性-可塑性困境的关键创新。

研究动机

当前用于视频生成的GRPO方法（如DanceGRPO、FlowGRPO）的可靠性远不如其在语言模型和图像生成中的表现。这一差距的根本原因在于视频生成具有巨大的结构化解空间，现有方法在将确定性ODE采样器转换为SDE采样器时，依赖Euler风格离散化和一阶近似来推导噪声标准差。如表1所示，FlowGRPO使用 $\Sigma_t^{1/2} = \eta\sqrt{\frac{\sigma_t}{1-\sigma_t}(\sigma_t - \sigma_{t+1})}$ 这种一阶近似，在高噪声步骤（$\sigma \to 1$）会注入过多的噪声能量（如图1(a.1)中的紫色区域），导致采样的rollout质量下降，奖励评估变得不可靠，最终使对齐训练不稳定。此外，扩散过程本身存在跨时间步的信号-噪声不平衡：梯度范数在高噪声时趋于零，在低噪声时爆炸（图4），这种梯度失衡导致学习偏向某些阶段，进一步加剧训练的不稳定性。

本文的目标是本文的具体目标是在HunyuanVideo1.5上实现稳定且有效的GRPO对齐训练，通过改进探索策略使奖励指标在VideoAlign评估的视觉质量（VQ）、运动质量（MQ）和文本对齐（TA）三个维度上均获得一致提升。具体而言，作者希望在保持或提升总体奖励的同时，改善视觉指标（CLIPScore、PickScore），避免reward hacking现象，并在用户偏好研究中获得超过70%的胜率。

与已有工作不同的是，本文的独特切入点在于将GRPO训练问题重新框架化为流形约束探索问题。作者观察到预训练模型定义了一个有效的数据流形 $\mathcal{M}$，而现有方法的根本缺陷是允许探索偏离这个流形。与依赖启发式调度或静态锚点的现有方法不同，本文从两个层面系统地约束探索：微观层面确保注入的噪声与流形相切，宏观层面确保策略更新不会累积漂移。这种双层设计首次将ODE-to-SDE转换的数学精确性与长期训练稳定性统一考虑，抓住了现有方法忽视的流形几何结构这一关键因素。

核心方法

SAGE-GRPO（Stable Alignment via Exploration）的核心直觉可以用一个类比来理解：想象你在一个高维空间中的曲面上行走（这个曲面就是数据流形），你需要在曲面附近探索以找到更好的位置，但不能走得太远而掉下曲面。现有方法像是用粗糙的指南针走路，步伐不精确，容易偏移；而SAGE-GRPO提供了两层保障：微观层面的精确指南针（精确SDE和梯度均衡器）确保每一步都走得精确，宏观层面的绳索（双重信任区域）确保你不会偏离太远。技术路线上，方法分为三个耦合的组件：（1）Precise Manifold-Aware SDE，在噪声注入时加入对数曲率修正项，使噪声方差更精确地匹配流形几何；（2）Temporal Gradient Equalizer，通过per-timestep的梯度缩放因子平衡跨时间步的优化压力；（3）Dual Trust Region，结合周期性移动锚点（位置控制）和逐步KL约束（速度控制）来防止长期漂移。

本文最核心的创新是对SDE噪声方差的精确计算。现有方法使用一阶线性近似计算噪声标准差，忽略了信号系数 $(1-\sigma_t)$ 的几何收缩特性。本文通过直接对扩散系数 $\varepsilon_t = \eta\sqrt{\sigma_t/(1-\sigma_t)}$ 在区间 $[\sigma_{t+1}, \sigma_t]$ 上积分来计算方差：$$\Sigma_t = \int_{\sigma_{t+1}}^{\sigma_t} \varepsilon_s^2 ds = \eta^2 \left[-(\sigma_t - \sigma_{t+1}) + \log\frac{1-\sigma_{t+1}}{1-\sigma_t}\right]$$ 其中对数项 $\log\frac{1-\sigma_{t+1}}{1-\sigma_t}$ 正是捕捉信号系数几何收缩的关键修正。Taylor展开分析表明，线性近似只保留了 $\Delta\sigma \cdot \frac{\sigma_t}{1-\sigma_t}$ 这一主导项，而对数修正提供了二阶精度。这一精确SDE使得探索噪声集中在流形轨迹附近（图2中的蓝色椭球），而非现有方法那样产生大范围的偏离流形探索（红色区域）。

方法步骤详情

SAGE-GRPO的完整流程如下：首先，在每个优化步骤中，给定文本prompt $c$，采样一组 $G$ 个rollout。在去噪采样过程中，使用精确流形感知SDE替代标准ODE，具体做法是在每个时间步 $t$，计算修正后的噪声标准差 $\Sigma_t^{1/2} = \eta\sqrt{-(\sigma_t-\sigma_{t+1}) + \log\frac{1-\sigma_{t+1}}{1-\sigma_t}}$，然后应用Euler-Maruyama离散化 $x_{t+\Delta t} = x_t + v_{\theta}(x_t,t)\Delta t + \frac{\Sigma_t}{2}s_{\theta}(x_t) + \Sigma_t^{1/2}\epsilon$。同时，计算每个时间步的梯度缩放代理 $N_t = \lambda_t / \Sigma_t^{1/2}$，并应用中位数归一化 $S_t = \text{Median}(\{N_{\tau}\}) / (N_t + \epsilon)$ 来均衡跨时间步的优化压力。在奖励计算阶段，使用VideoAlign评估VQ、MQ和TA三个维度，计算复合奖励 $R(x_0) = w_{vq}S_{vq} + w_{mq}S_{mq} + w_{ta}S_{ta}$ 及组归一化advantage $A_i = (r_i - \mu_R) / (\sigma_R + \epsilon)$。最后，应用双重KL正则化：$L_{KL} = \beta_{pos} D_{KL}(\pi_{\theta} \| \pi_{ref,N}) + \beta_{vel} D_{KL}(\pi_{\theta} \| \pi_{k-1})$，其中位置项每 $N$ 步更新参考策略 $\pi_{ref} \leftarrow \pi_{\theta}$，速度项限制瞬时更新幅度。KL系数 $\lambda_{KL}$ 采用自适应调度：前100步线性预热从 $10^{-7}$ 到 $10^{-5}$，之后使用比例反馈控制根据历史KL调整。

技术新颖性

SAGE-GRPO的技术新颖性体现在三个层面。首先，在SDE推导方面，现有方法（DanceGRPO、FlowGRPO、CPS）都使用一阶Euler近似计算噪声标准差，而本文首次在视频GRPO中引入精确的积分形式方差，特别是对数曲率修正项，这在理论上提供了二阶精度，在实践中显著减少了高噪声区域的过度注入噪声。其次，在梯度平衡方面，现有方法完全忽视了扩散过程固有的梯度不平衡问题——梯度范数与 $\Sigma_t^{1/2}$ 成反比，在不同时间步可相差一个数量级以上。本文提出的Temporal Gradient Equalizer通过per-timestep归一化首次解决了这个问题。第三，在KL策略方面，传统Fixed KL和Step-wise KL分别只提供位置或速度控制，本文的Dual Trust Region首次将两者统一，通过周期性移动锚点实现位置-速度联合控制，类似于控制系统中的PD控制器设计。

实验结果

本文在HunyuanVideo1.5上进行了全面的实验评估，使用原始VideoAlign模型作为冻结的奖励评估器（无奖励模型微调），确保了跨方法评估的一致性。在主要对比实验（表2）中，作者考虑了两种奖励配置：平均奖励设置（$w_{vq}=1.0, w_{mq}=1.0, w_{ta}=1.0$）和对齐聚焦设置（$w_{vq}=0.5, w_{mq}=0.5, w_{ta}=1.0$）。在对齐聚焦设置下，SAGE-GRPO with Dual Moving KL取得了最佳表现：Overall奖励0.8066（对比DanceGRPO的0.1290、FlowGRPO的0.2103、CPS的0.3705），VQ分数-0.4765（最优），MQ分数-0.2384（最优，对比次优CPS的-0.4787提升50%），CLIPScore 0.5484（最优）。值得注意的是，在不使用KL正则化时（w/o KL），SAGE-GRPO的表现反而较差（Overall -0.1222），这说明DanceGRPO等方法在无约束时容易发生reward hacking，而SAGE-GRPO的Dual KL机制有效抑制了这种现象。用户研究（表3）进一步验证了自动指标与人类感知的一致性：29名评估者对32个prompt进行评价，SAGE-GRPO在Visual Quality上胜率85.9%，Motion Quality上75.8%，Semantic Alignment上79.2%。消融实验（图3）显示，Temporal Gradient Equalizer对所有SDE方法都有显著帮助，使奖励曲线更平滑，梯度尺度变化从一个数量级以上降低到小常数因子范围内。KL策略消融（图8）表明Dual Moving KL在收敛速度和最终奖励上都优于其他变体，且保持了更高更稳定的探索水平。

查看结构化数据

任务	指标	本文	基线	提升
视频生成对齐（Setting B: Alignment-Focused）	Overall VideoAlign Reward	0.8066	CPS 0.3705 / FlowGRPO 0.2103 / DanceGRPO 0.1290	对比CPS提升117.7%，对比FlowGRPO提升283.5%，对比DanceGRPO提升525.0%
视频生成对齐（Setting B: Alignment-Focused）	Motion Quality (MQ)	-0.2384	CPS -0.4787 / FlowGRPO -0.5506 / DanceGRPO -0.5083	对比CPS提升50.2%，对比FlowGRPO提升56.7%，对比DanceGRPO提升53.1%
视频生成对齐（Setting B: Alignment-Focused）	CLIPScore	0.5484	CPS 0.5458 / FlowGRPO 0.5427 / DanceGRPO 0.5452	对比最优基线CPS提升0.48%
用户偏好研究	Visual Quality Win Rate	85.9%	DanceGRPO 14.1%	SAGE-GRPO在人类评估中大幅领先
用户偏好研究	Motion Quality Win Rate	75.8%	DanceGRPO 24.2%	运动质量方面人类偏好SAGE-GRPO约3:1

局限与改进

本文存在几个值得注意的局限性。首先，所有实验都在单一模型HunyuanVideo1.5上进行，虽然该模型具有代表性，但结论是否能推广到其他视频生成架构（如基于DiT的模型或其他Flow Matching变体）尚不明确。其次，奖励模型VideoAlign虽然被直接用作冻结评估器避免了奖励模型微调的干扰，但VideoAlign本身可能存在偏差，特别是在评估微妙的情感表达和长期因果关系方面。第三，用户研究虽然有29名评估者，但仅涉及32个prompt，样本量相对有限，且评估者在VQ/MQ/TA三个维度上的一致性程度未详细报告。第四，论文中报告的奖励分数（如VQ和MQ为负值）表明VideoAlign的评分尺度可能需要校准，这使得跨方法的绝对比较不够直观。此外，作者未讨论在更长视频（超过81帧）或多镜头场景下的表现，而这些是视频生成的重要应用场景。最后，Dual Trust Region引入了额外的超参数（$\beta_{pos}$、$\beta_{vel}$、更新间隔 $N$、KL系数自适应的窗口大小 $H$），虽然作者提供了调度策略，但这些超参数的敏感性和在不同任务间的迁移性未充分讨论。

独立分析的弱点

尽管SAGE-GRPO取得了显著改进，仍存在几个值得深入分析的弱点。首先，精确SDE的对数修正项虽然在数学上更精确，但依赖于Rectified Flow的特定形式 $\varepsilon_t = \eta\sqrt{\sigma_t/(1-\sigma_t)}$，对于其他噪声调度（如余弦调度或学习的调度）需要重新推导，这限制了方法的通用性。改进方向是开发自适应的方差估计方法，能够在运行时根据实际的噪声分布调整。其次，Temporal Gradient Equalizer使用中位数归一化可能对异常值敏感，特别是在训练早期梯度估计不稳定时。可以考虑使用更鲁棒的归一化方法，如基于分位数的截断或指数移动平均。第三，Dual Trust Region的周期性移动锚点每 $N$ 步更新一次，这个离散的更新机制可能导致策略在更新点附近出现不连续性。更优雅的设计可能是使用指数移动平均的连续更新，类似Polyak averaging。第四，实验仅使用VideoAlign作为奖励模型，而视频生成的对齐是一个多维度问题，未来应考虑多奖励模型的集成或人类反馈的直接整合。

未来方向

基于本文的成果，可以从多个方向延伸研究。首先，将SAGE-GRPO的流形感知思想扩展到其他视觉生成任务，如图像编辑、3D生成和视频编辑，验证方法的通用性。其次，探索自适应的流形估计方法，在训练过程中动态更新对数据流形的理解，而非固定使用预训练模型的隐式流形。第三，结合课程学习（Curriculum Learning）思想，在训练早期使用更宽松的流形约束允许更大探索，随着训练进展逐渐收紧约束，类似Self-paced GRPO但基于流形距离而非奖励权重。第四，研究多奖励模型的集成策略，特别是如何处理不同奖励模型之间的冲突，以及如何引入人类偏好反馈进行在线校准。第五，将Dual Trust Region的思想应用到大规模语言模型的GRPO训练中，探索视频领域的insights是否能反哺NLP领域。最后，研究更高效的SDE采样方法，在保持流形一致性的同时减少计算开销，使SAGE-GRPO能够应用于更高分辨率和更长视频的生成。

复现评估

从复现性角度看，本文具有较好的条件。作者声称代码和可视化gallery已公开，这对于复现至关重要。实验基于HunyuanVideo1.5，该模型是开源的，且作者使用VideoAlign作为奖励模型而未进行微调，避免了奖励模型私有化的问题。硬件方面，论文提到使用per-GPU batch size 2和4梯度累积步骤（有效batch size 8），这暗示需要多GPU设置，但具体GPU型号和数量未明确说明。对于81帧的视频生成，每个视频的计算开销相当大，复现可能需要8张以上的高端GPU。数据方面，作者使用标准的prompt集合进行评估，但具体的prompt列表和评估协议需要从代码仓库获取。总体而言，对于拥有充足计算资源的研究团队，复现本文的核心结果是可行的，但对于计算资源有限的团队，可能需要简化设置或使用较小的模型。

视频生成强化学习中的流形感知探索方法 Manifold-Aware Exploration for Reinforcement Learning in Video Generation