AV-GRPO：面向音视频联合生成的模态锚定解耦扩散强化学习 AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation
用模态锚定与冻结塔交替训练，把音视频联合生成RL解耦为两个条件单模态子问题
前置知识
GRPO（组相对策略优化）
一种在线强化学习算法：对同一提示采样一组（group）候选输出，用组内奖励标准化（减均值除标准差）得到优势 $\hat A_i$，再用带裁剪的策略梯度目标更新策略，省去价值网络。DeepSeekMath 提出，后被广泛用于大模型和扩散生成后训练。
AV-GRPO 的整个框架建立在 GRPO 之上，理解组内相对优势如何替代评论家模型是读懂奖励设计与公式 (4)(8) 的前提。
Flow-GRPO 与整流流（Rectified Flow）
整流流模型把确定性的 ODE 采样过程转成每步为高斯转移的 SDE（保持每个时间步的边缘分布不变），从而让采样具有随机性且转移概率可解析计算，GRPO 才能定义概率比 $r_t$。Flow-GRPO 即在该随机采样器上做在线 GRPO，KL 项有关于速度场差 $\|v_ heta - v_{ref}\|^2$ 的闭式解。
本文方法直接复用 Flow-GRPO 的 SDE 采样器、重要性比和 KL 闭式解，并在此基础上改造为条件（锚定）版本，不懂这点就看不懂公式 (3)-(8)。
双塔音视频生成架构（Dual-Tower DiT）
LTX-2、JavisDiT 等联合生成模型用两个 DiT 流分别承载视频与音频潜变量 $x^V, x^A$，两塔在每个去噪步通过跨模态注意力交换信息，因此任一塔的速度预测都依赖另一模态的当前状态，采样时两模态并行积分同一个噪声调度。
正是这种逐步的跨模态耦合导致奖励纠缠、归属不清和显存翻倍，本文的锚定与冻结塔策略全部针对该架构特点设计。
音视频同步评估（DeSync/SyncNet 类指标）
用预训练的音视频同步判别模型（如 Synchformer/DeSync）衡量生成音频与视频事件在时间上是否对应，通常输出错位分数，越低越好。同步分数天然依赖对照组内容：给静态画面配音远比给频繁视觉事件配音容易得高分。
同步奖励的'对照组难度'问题是本文动机的核心之一，模态锚定正是为了让组内所有样本共享同一对照物从而公平比较。
研究动机
以 LTX-2、JavisDiT、UniVerse-1、Ovi 为代表的联合音视频生成模型发展迅速，但生成结果仍普遍存在三类缺陷：单模态保真度不足（某一模态出现感知伪影）、文本-模态对齐不够（生成内容不跟随提示词）、跨模态同步弱（画面与声音事件错位或漂移）。用奖励引导的强化学习做后训练是很有前景的补救手段，但朴素地把 Flow-GRPO 式做法搬到联合生成上会遇到三个具体困难：其一，音频质量、视觉质量、文本对齐、同步这几种异构奖励常常偏好不同候选，混在一起做组相对优势会纠缠两个模态的学习信号，且同步奖励依赖采样到的对照模态——给平稳画面配同步比给高频视觉事件配同步容易，导致组内比较不公平；其二，联合更新两个塔需要同时为两塔保留反向传播激活和优化器状态，在 LTX-2.3 这种 22B 模型上显存开销巨大，而且一个共享优势会同时更新两塔，即使提升主要来自某一个模态，信用分配混乱；其三，两个模态的预训练能力、潜变量尺度、奖励敏感度和学习速度都不同，共享的噪声强度和目标会让一方探索不足而另一方不稳定。
本文的目标是本文要为联合音视频生成模型设计一个奖励引导的后训练框架，同时达成四个目标：把耦合的多模态偏好学习分解为奖励归属清晰的子问题，使组内奖励比较可控公平；大幅降低训练显存开销（目标是能在 8 卡 A800 80GB 上对 22B 模型做全参数后训练）；把梯度信号正确导向真正带来提升的那个塔；并允许音频塔和视频塔各自使用独立的噪声强度、奖励构成和损失加权以适配不同的优化动态。配套目标还包括构建一个按难度和维度解耦、可控可诊断的训练集（5DAV，5760 条提示），支撑系统性训练与消融。
与已有工作不同的是，已有的 GDPO 只对每个奖励独立做组内归一化再聚合，但仍在配对样本上同时更新两个塔，没有解决跨模态信用分配；OmniNFT 等模态级方法也未控制对照模态带来的难度波动。本文的独特切入点是'模态锚定'：每一组 rollout 共享一条完整的锚模态去噪轨迹（不只是最终样本），目标模态在每个去噪步以锚状态作为跨模态注意力的条件独立采样，从而把联合 KL 正则化目标改写为两个交替求解的条件单模态子问题 $L_{\bar m}(\pi|\tau^{anc},c)$；作者还给出了 Gibbs 采样视角的收敛性证明（附录 A），这在同类工作中是少见的理论支撑。
核心方法
AV-GRPO 的直觉是：与其让音频和视频在组里同时变化、互相干扰评分，不如每次固定一个模态当'锚'，只学另一个模态。技术上它基于 Flow-GRPO 的随机 SDE 采样器（公式 3），交替执行两个阶段：音频锚定的视频学习阶段和视频锚定的音频学习阶段，每 $n$ 步（实验取 4）切换一次。进入某阶段时，先用当前两塔联合采出一条完整的音视频对，保留锚模态的整条去噪轨迹 $\tau^{anc}_m=(x^m_1,\dots,x^m_0)$；然后在每个去噪步把锚状态 $x^{anc,t}_m$ 注入目标塔的跨模态注意力，独立采样 $G$ 条目标轨迹（公式 5），得到 $G$ 个共享锚的音视频对。每对的奖励只含目标模态质量、文本对齐加上对公共锚的同步分（公式 6），锚自身奖励在组内中心化时被消掉。最后只对目标塔做 GRPO 更新（公式 8），锚塔全程冻结。
核心创新是把'模态锚定 rollout'上升为一个有明确数学含义的条件策略优化问题：固定完整锚轨迹后，目标模态的优化等价于以锚为条件的 KL 正则化子问题 $L_{\bar m}(\pi|\tau^{anc},c)=\mathbb{E}[R_{\bar m}+R_{sync}]-\beta D_{KL}(\pi_{\bar m}\|\pi_{ref})$。关键在于固定的是'完整去噪轨迹'而非最终样本——两塔在每个去噪步都通过跨模态注意力交互，只固定最终样本无法控制中间跨模态状态。组内所有候选共享同一锚，同步分数的对照难度被控制，奖励比较变得公平；跨组刷新锚又避免塌缩到单一对照物。轨迹锁定加塔冻结还把'生成条件'与'在条件下学习'的成本分离：锚塔该阶段不需要反向激活和优化器状态。附录 A 进一步证明，在公共参考联合分布与 Dobrushin 收缩条件 $\delta_v\delta_a<1$ 下，交替的条件 Gibbs 核几何收敛到联合 KL 最优分布 $P^*$。
方法步骤详情
第一步，采样与锚定：给定提示 $c$，用随机 SDE 采样器（15 步去噪）联合生成一对音视频，完整保留锚模态轨迹；再独立采样 $G=8$ 条目标轨迹，每步用锚状态替换跨模态注意力中对应模态输入。第二步，稳定性：自适应噪声裁剪 ANC 按 $\lambda_t=\min(1,\tau/(s_t+\delta))$ 缩放噪声项与漂移修正，防止 $t\to 1$ 处噪声压垮潜信号。第三步，奖励：视频塔用 VideoAlign+CLIP+负 DeSync，音频塔用 Audiobox Aesthetics+CLAP+负 DeSync，逐指标组内标准化求和后整体标准化为优势；音频组平均 CLAP 过低时只用 CLAP 优势，防奖励作弊。第四步，更新：仅对目标塔执行带裁剪比与 KL 项的 GRPO 更新，视频塔额外做时间步重加权修复后期去噪梯度过弱；两塔超参解耦：视频噪声 0.02、音频 0.8。第五步，每 4 步切换目标塔；在 8×A800 上训练 LTX-2.3 22B（97 帧），LoRA 学习率 $3\times10^{-6}$、全参 $1\times10^{-6}$。
技术新颖性
与 GDPO 相比，本文不只是归一化奖励，而是从采样结构上解耦：GDPO 的样本同时改变音频和视频，AV-GRPO 每阶段只条件于已实现的锚轨迹改变一个模态，奖励因此具有清晰的条件解释。与直接联合 GRPO 相比，锚定机制首次显式控制了'同步奖励依赖对照难度'这一被忽视的偏差来源。锚定必须固定完整去噪轨迹（而非仅最终样本）这一观察也是新的，它源于两塔逐步交互的架构事实。自适应噪声裁剪 ANC 是针对粗网格 SDE 采样在 $t$ 接近 1 时训练不稳的新组件。两塔噪声强度差异巨大（0.02 vs 0.8）的解耦配置与视频塔的梯度重加权结合，解决了'共享配置必偏袒一方'的问题。5DAV 的五维笛卡尔积解耦（3×4×4×2×3=288 个正交类别、每类 20 条、共 5760 条）让数据侧也能按难度与维度做可诊断的消融。最后，附录 A 用指数倾斜测度、条件 Gibbs 核和 Dobrushin 收缩给出了交替训练收敛到联合最优的完整证明，为这类交替式后训练提供了少见的理论保证。
实验结果
主实验在 JavisBench 与 VABench 上对比 LTX-2.3（22B）与 GDPO，含 LoRA 与全参微调。JavisBench 上全参版：AQ 5.097→5.798，VQ 5.855→5.902，CLAP 0.408→0.468，AV-IB 0.212→0.247，JavisScore 0.183→0.222，DeSync 0.757→0.607；LoRA 版 CLIP 最高且 DeSync 最低（0.554），但 VQ 略降。对比 GDPO：AV-IB 0.224→0.247，JavisScore 0.202→0.222，DeSync 0.708→0.607。VABench 上全参版：语音质量 1.383→1.510，音频美学 3.319→3.631，唇同步 1.351→1.646（GDPO 仅 1.439），DeSync 0.800→0.542，但视觉真实感略降。消融：5DAV 全面优于 VGGSound；移除同步难度或指令粒度的任一难度档都损伤同步指标；交替优化显著优于不交替，4 步切换间隔最优；冻结塔使 22B 全参后训练可在单节点 8 卡 A800 完成。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音视频联合生成（JavisBench，音频质量） | AQ ↑ | 5.798（全参）/ 5.633（LoRA） | LTX-2.3：5.097；GDPO：5.406 | +0.701（vs 基线） |
| 音视频联合生成（JavisBench，文本-视频对齐） | CLIP ↑ | 0.327（全参）/ 0.330（LoRA，全场最高） | LTX-2.3：0.318；GDPO：0.313 | +0.009 / +0.012 |
| 音视频联合生成（JavisBench，文本-音频对齐） | CLAP ↑ | 0.468（全参） | LTX-2.3：0.408；GDPO：0.431 | +0.060 |
| 音视频联合生成（JavisBench，跨模态语义一致性） | AV-IB ↑ | 0.247（全参） | LTX-2.3：0.212；GDPO：0.224 | +0.035（vs 基线） |
| 音视频联合生成（JavisBench，同步） | DeSync ↓ | 0.607（全参）/ 0.554（LoRA） | LTX-2.3：0.757；GDPO：0.708 | −0.150（全参 vs 基线） |
| 音视频联合生成（JavisBench，同步分） | JavisScore ↑ | 0.222（全参） | LTX-2.3：0.183；GDPO：0.202 | +0.039（vs 基线） |
| 音视频联合生成（VABench，语音质量与自然度） | Speech Q&N ↑ | 1.510（全参） | LTX-2.3：1.383；GDPO：1.465 | +0.127（vs 基线） |
| 音视频联合生成（VABench，音频美学） | Audio Aesthetic ↑ | 3.631（全参） | LTX-2.3：3.319；GDPO：3.452 | +0.312（vs 基线） |
| 音视频联合生成（VABench，唇同步） | Lip Sync ↑ | 1.646（全参） | LTX-2.3：1.351；GDPO：1.439 | +0.295（vs 基线） |
| 音视频联合生成（VABench，同步） | DeSync ↓ | 0.542（全参） | LTX-2.3：0.800；GDPO：0.726 | −0.258（vs 基线） |
局限与改进
作者承认提升并不均匀：LoRA 版 VQ（5.816）低于基线 5.855，全参版 VABench 视觉真实感 4.395 略低于基线 4.399，说明不同模态和训练机制间仍有权衡；消融只在 JavisBench-mini 上进行，规模有限。我的观察：第一，训练奖励模型（VideoAlign、CLIP、CLAP、DeSync）与评测指标高度重叠，存在奖励-评测循环、指标被过拟合的风险，缺少独立人类评估；第二，所有对比都基于 LTX-2.3 一个骨干，未验证在 JavisDiT++ 等其他双塔模型上的泛化，也未与同期 OmniNFT 直接对比；第三，附录 A 的收敛定理依赖理想化假设——精确核 oracle、Dobrushin 收缩 $\delta_v\delta_a<1$、两塔更新互不干扰——实践中既无法验证也未必成立；第四，CLAP 护栏阈值 $\eta_{CLAP}$ 需人工设定，音频塔奖励作弊只是被缓解而非根除；第五，5760 条提示均为构造式生成，语义多样性可能不及真实数据；第六，即便冻结塔，锚轨迹采样仍占推理开销，$G=8$ 时每个提示需 9 次完整采样。
独立分析的弱点
弱点一：奖励与评测的循环性——训练用 CLIP/CLAP/DeSync/VideoAlign 打分，测试基准也用这些指标，容易把模型优化成'指标友好'而非真实更好；改进方向是引入与训练奖励正交的人类偏好评估或留出独立的第三方奖励模型做验证。弱点二：锚质量成为学习上限——若锚样本本身质量差或同步错位，组内所有候选都在向糟糕的对照学习；改进方向是按奖励做锚筛选（best-of-N 锚）或在锚低劣时跳过该组。弱点三：固定 4 步切换间隔是静态超参，两个模态收敛速度不同时最优间隔会漂移；可依据塔间奖励方差或梯度范数自适应调度切换。弱点四：CLAP 护栏是硬阈值开关，阈值附近行为陡变；可改为拉格朗日软约束或对 CLAP 做连续加权。弱点五：方法隐含'两塔'假设，扩展到三模态以上（如音频+视频+字幕/动作）时交替组合数会爆炸，需要分块或层级化锚定策略。弱点六：理论保证与实际算法之间有缺口（GRPO 是近似 Gibbs 核、更新会互相干扰），值得研究有限精度下的收敛退化。
未来方向
作者方向：5DAV 各维度的类别采样比例可灵活调整，暗示按训练阶段做课程学习（先易后难的同步难度 D 或指令粒度 C）是设计内的延伸；消融也提示切换间隔可继续调优。基于本文成果可延伸：把模态锚定推广到其他耦合生成对，如 talking-head 的音-唇、音乐-舞蹈、4D 动态场景；与 DiffusionNFT 等前向过程强化学习结合，省去 SDE 采样开销；研究锚定的信息论解释，量化锚质量与目标模态学习增益的关系；把 CLAP 护栏泛化为任意识别奖励作弊的通用护栏机制；用更强的同步评判模型（如基于 MLLM 的同步裁判）替换 DeSync 以降低奖励偏差；以及在更大集群上验证 22B 以上规模和更长视频（>97 帧）的可扩展性。
复现评估
复现条件较好。论文声明代码与数据（AV-GRPO 及 5DAV）开源，基座模型 LTX-2.3 22B 公开；5DAV 的构造规则被完整定义（5 维 ×288 类别 ×20 条 = 5760 条提示，含示例），奖励模型全部公开可得（VideoAlign、CLIP、CLAP、Audiobox Aesthetics、Synchformer/DeSync），附录 B 给出全部训练超参（LoRA lr 3e-6 / 全参 1e-6、余弦衰减 480 步、视频 $a=0.02$ KL 0.01、音频 $a=0.8$ KL 0.002、每 4 步切换、每步 8 提示、种子 42），附录 D 给出奖励公式与护栏机制，附录 C 给出完整梯度推导。主要门槛是算力：全参后训练需单节点 8×A800 80GB（22B 模型 ×9 次采样/提示），LoRA 可降低显存但总计算量依旧可观；消融在 JavisBench-mini 上进行，说明小规模验证可行。评测基准 JavisBench、VABench 均公开。综合难度：中高——有卡即可较 faithfully 复现主表，无卡则难以验证。
论文图表