自适应奖励路由：面向联合音视频扩散的前向过程强化学习动态多奖励优化 Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
动态跨模态路由定位更新位置，偏好保持的奖励协调改进音视频扩散后训练
前置知识
流匹配与扩散 Transformer
流匹配是扩散模型的一类训练范式：对潜变量做线性插值 $x^m_t=(1-t)x^m_0+tx^m_1$（$x_1$ 为噪声），模型 $v_\theta(x_t,c,t)$ 预测速度场，用均方误差逼近目标 $u$。现代视频模型（如 LTX-2）用大型 Diffusion Transformer 实现，双流架构中音频、视频各有一条流，共享时间步并联合预测两条速度场。
本文的强化学习直接作用在前向过程的速度预测损失上，读不懂流匹配的 $x_t$ 插值与速度回归，就无法理解 Eq. 12 中 $\|v^+_{\theta,m,i}-u_{m,i}\|_2^2$ 这类损失项的含义。
DiffusionNFT 前向过程强化学习
DiffusionNFT 是无需反向过程似然的扩散 RL：由更新后策略与可训练策略构造隐式正负策略 $v^+_\theta=(1-\beta)v^{updated}+\beta v_\theta$、$v^-_\theta=(1+\beta)v^{updated}-\beta v_\theta$。每个 prompt 采样一组样本，奖励做组内归一化得优势 $A^{(n)}=(R^{(n)}-\mu_R)/(\sigma_R+\epsilon)$，映射为最优性概率 $r^{(n)}$，样本优于同伴则拉近正策略、否则拉近负策略。
本文完全保留 DiffusionNFT 的前向过程公式（Eq. 2–4），所有路由与重加权都叠加在这个损失结构之上，是理解方法的地基。
多奖励对齐与梯度冲突
多奖励 RL 把视觉质量、音频质量、文本对齐、音画同步等要求表达为多个奖励模型信号，各自归一化后聚合。聚合方式是关键：GDPO 用固定权重线性组合；MARBLE 求单纯形权重使归一化奖励梯度的加权范数最小，即寻找共同下降方向。但奖励在同一样本上常方向相反（梯度冲突），固定权重无法适应，纯梯度几何又会牺牲弱目标。
本文的核心主张正是对这两种极端的修正——分支内估计冲突、残差叠加在偏好先验上，必须先理解 GDPO 与 MARBLE 的机制才能看出差异。
双向交叉注意力（A2V/V2A）
双流音视频模型中，视频流以音频流的 K/V 做交叉注意力得到 $o^{l,t}_{a\to v}=\mathrm{Attn}(Q_v(h^l_v),K_a(h^l_a),V_a(h^l_a))$，反之亦然，门控后加回各自主干的输出。这些跨模态路径是两个模态交换信息的唯一通道，其强度决定了某层、某 token 上跨模态影响的大小。
本文路由信号就是这些路径上门控前（pre-gate）输出的响应范数 $d^{l,t}_{v,i}=\|o^{l,t}_{a\to v,i}\|_2$，不理解 A2V/V2A 结构就无法理解代理信号从何而来。
Stop-gradient 与软梯度缩放
stop-gradient（$\mathrm{sg}(\cdot)$）阻断张量的反向传播但保留前向值。本文利用恒等式 $X=\alpha\,\mathrm{sg}(X)+(1-\alpha)X$：前向值不变，但反向梯度被缩放为 $1-\alpha$。取 $\alpha\in[0,1]$ 即可实现从完全截断到完全放行的连续控制，这称为软分离（soft detachment）。
层路由（Eq. 8–9）的核心机制就是把归一化层响应转成 $\alpha^l_m=(1-\tilde\delta^l_m)^{1/\tau}$，让重要层多留梯度、弱耦合层逐步断开，不掌握这个恒等式就读不懂层路由的实现。
奖励模型
奖励模型是把生成样本映射为质量分数的评估器，用于替代人工反馈指导 RL。本文使用五个：VideoAlign 与 HPSv3（视频质量）、AudioBox Aesthetics（音频质量）、CLAP（文本-音频对齐）、DeSync/Synchformer（音画同步，训练时转为越高越好的 AV-DeSync）。
训练奖励的选择与评测指标（同源于 JavisBench 协议）直接决定实验解读，也关系到指标虚高与 reward hacking 风险的讨论。
研究动机
联合音视频生成模型（如 LTX-2）必须同时满足音视频各自的模态质量、跨模态语义对齐与时间同步，单一监督目标难以覆盖，因此转向多奖励引导的强化学习后训练。但这引入两个随训练动态变化的耦合难题：奖励驱动的更新应作用在哪里（路由），多个奖励之间应如何权衡（协调）。现有方法均为静态方案。路由侧，OmniNFT 虽为联合音视频 DiffusionNFT 引入模态级信用分配，但层路由基于基础模型一次性固定；作者对基础模型与 OmniNFT 训练后检查点做前向 KV 消融与反向梯度分析（Fig. 1a/b），发现同步关键层与跨模态梯度通路在微调中明显漂移，静态路由逐渐失效。协调侧，GDPO 对每个奖励独立归一化后仍用固定权重聚合，无法响应冲突——Fig. 1c 显示 HPSv3 与 AudioBox 有 35% 样本偏好相反，CLAP 与 AV-DeSync 冲突率达 50%；MARBLE 用梯度几何自适应调权，但系数只反映梯度兼容性而非用户偏好重要性，AV-DeSync 这类弱而关键的奖励权重会衰减至近零（Fig. 1d），导致同步目标被抑制。
本文的目标是本文目标是将联合音视频扩散模型的奖励引导后训练显式建模为动态多奖励优化问题，在训练全程自适应回答两个问题：一是奖励驱动的更新应落在哪些 token、哪些跨模态交互层（动态更新路由）；二是相互冲突的多个奖励应如何在视频、音频分支内被协调（动态奖励权衡）。方法需满足三个约束：路由必须随模型演化持续重算而非初始化时固定；奖励权重既要响应不断变化的冲突，又不能覆盖用户预设的偏好优先级，避免主导奖励淹没弱但必要的目标（如音画同步）；机制不能引入显著额外计算，理想情况下应复用前向传播中已产生的信号。最终目标是在 LTX-2（19B）与 LTX-2.3（22B）两个骨干上，使模态质量、文本一致性、跨模态一致性与音画同步在 JavisBench 全部十项指标上系统性超越 GDPO、MARBLE、OmniNFT 等强基线，并用消融与机制分析证明各组件的必要性。
与已有工作不同的是，本文的独特切入角度有二。其一，用免费的代理信号替代昂贵的干预测量：判断某条 A2V/V2A 跨模态路径是否重要，直接做法是禁用该路径并比较预测变化，但训练中反复干预需要额外前向计算；作者注意到双向交叉注意力门控前的响应范数在前向传播中本来就会产生，将其 detach 后作为跨模态影响力的代理，并用干预实验验证其保真度（层级 Spearman 0.98/0.97）。其二，把偏好与冲突解耦再组合：不同于 GDPO 完全固定权重、也不同于 MARBLE 让梯度几何全权决定权重，作者在每条模态分支内部独立估计奖励梯度冲突（MARBLE 式单纯形求解），但只把所得系数作为预设偏好权重的残差修正（Eq. 10），配合预热期与指数平滑，使先验权重构成非零下限、冲突项只做增量调整。两个组件分别回应'更新在哪里'与'奖励如何配平'两个维度，消融证明二者解决的是互补的失效模式。
核心方法
方法的整体直觉是：RL 训练会持续重塑模型的跨模态功能，奖励更新的作用位置与奖励间的相对强度都应随模型演化，而非沿用基础模型上的静态配置。技术上以 DiffusionNFT 前向过程强化学习为基础，作用于 LTX-2 与 LTX-2.3 双流扩散 Transformer（音视频两流经双向交叉门控耦合）。每轮流水线（Eq. 5）为：对每个 prompt 采样一组样本，五个奖励独立做组内归一化得 $A^{(n)}_k$；随后依次经过四级自适应——奖励重加权（得 $\omega_{m,k}$）、分支路由（构造 $A^{(n)}_m=\sum_{k\in K_m\cup K_c}\omega_{m,k}A^{(n)}_k$，跨模态奖励进入两个分支）、token 路由（由注意力响应导出 $\lambda_{m,i}$）、层路由（由软分离系数 $\alpha^l_m$ 缩放跨模态 K/V 梯度）；最后计算负感知归一化损失（Eq. 12–14）并沿路由后 KV 路径反传。关键是 $\lambda$、$\alpha$、$\omega$ 每轮都用当前模型重算，与模型同步演化。
核心创新有二。第一，跨模态影响引导路由：区别于 OmniNFT 基于基础模型固定层路由，本文用门控前交叉注意力响应范数 $d^{l,t}_{v,i}=\|o^{l,t}_{a\to v,i}\|_2$ 作为方向性影响力代理——它在前向传播中免费产生、可 detach，并经干预验证与真实影响力高度一致（Spearman 0.98/0.97）。token 级把响应跨层跨步平均、99 分位截断归一化得 $\lambda_{m,i}=1+(\lambda_{max}-1)\mathrm{Norm}_{99}(\cdot)$；层级转成软分离系数 $\alpha^l_m=(1-\tilde\delta^l_m)^{1/\tau}$，经恒等式 $X=\alpha\,\mathrm{sg}(X)+(1-\alpha)X$ 在前向不变的前提下把后向梯度缩放 $1-\alpha$，强影响层多留梯度、弱耦合层逐步截断。第二，偏好保持的模态感知重加权：每个奖励只经其负责分支做 MARBLE 梯度探测（探测时关闭 token 路由以免几何被偏置），得分支内冲突系数 $\gamma_{m,k}$，但只作残差修正 $\omega_{m,k}=(1-\kappa)\omega^{prior}_{m,k}+\kappa C_m\bar\gamma_{m,k}$，$C_m$ 保持分支总权重不变，配合预热与平滑，兼顾偏好锚定与冲突适应。
方法步骤详情
算法 1 每轮七步。第一步采样：用更新策略 $v^{updated}$ 为每个 prompt 生成一组样本，同时收集中后期去噪窗口的门控前 A2V/V2A 响应；第二步评估：五个奖励各自组内归一化得 $A^{(n)}_k=(R^{(n)}_k-\mu_R)/(\sigma_R+\epsilon)$，映射为 $r^{(n)}=1/2+\mathrm{clip}(A^{(n)}/A_{max},-1,1)/2$；第三步路由：token 级响应跨层跨步平均、99 分位截断归一化得 $\lambda_{m,i}$（音频全局、视频逐帧归一化），层级跨 token 平均归一化为 $\tilde\delta^l_m$ 并转为 $\alpha^l_m$；第四步权重：由缓存的 $\bar\gamma_m$ 按 Eq. 10 得 $\omega_{m,k}$，构造分支优势 $A^{(n)}_m$ 与 $r^{(n)}_m$；第五步（预热后刷新轮）：以均匀 token 权重把各奖励梯度经负责分支回传，分支内解 MARBLE 单纯形问题并平滑更新 $\bar\gamma_m$；第六步损失：计算负感知损失 $\ell^{(n)}_{m,i}$（按 detached 平均绝对残差 $w^{\pm,(n)}_m$ 归一化），token 加权并加 KL 正则合成 $\mathcal{L}(\theta)$；第七步更新：沿路由后 KV 路径反传更新 $\theta$，按 DiffusionNFT 日程混合更新 $v^{updated}$。
技术新颖性
技术新颖性体现在四点。第一，路由信号的选择：不设计新网络模块，而是挖掘既有前向计算中的门控前交叉注意力响应，零额外前向成本获得可分离的影响力代理，并用三层干预实验（48 层逐一禁用的排序一致性、跨检查点追踪、token 屏蔽对照）严格验证代理有效性，这种代理—干预闭环验证在同类工作中少见。第二，软分离式层路由：用 stop-gradient 插值实现前向不变、后向缩放，把梯度手术表达为连续可调的路由系数，避免硬切断造成训练不稳定，且 A2V 与 V2A 独立路由。第三，分支内冲突估计：与 MARBLE 在全局求单一单纯形权重不同，本文让每个奖励只经其负责分支探测梯度，视频、音频奖励在各自分支内解决冲突，跨模态奖励进入两个分支，符合模态责任划分，探测时关闭 token 路由保证几何测量不被当前权重偏置。第四，残差式偏好修正：把梯度几何系数作为预设权重的残差且用 $C_m$ 保持分支总权重不变，从机制上杜绝了 Fig. 1d 中 AV-DeSync 权重消失的失效模式，这是与 GDPO（固定权重）和 MARBLE（纯几何权重）的本质区别。
实验结果
主要结果有四组。第一，主实验（Table 1）：在 JavisBench（10,140 prompt，4 秒/24FPS/16kHz 协议，3 种子）上两骨干各 10 项指标 9 项最佳。LTX-2：VQ 3.336（OmniNFT 3.136、GDPO 2.722、MARBLE 2.384、基础 1.883）、AQ 5.868、CLAP 0.425、AV-IB 0.235、JavisScore 0.206、DeSync 0.341（越低越好，OmniNFT 0.390、GDPO 0.671）；LTX-2.3：VQ 3.599、AQ 5.979、TA-IB 0.177、DeSync 0.302，同样 9/10 最优（仅 CLIP 与 OmniNFT* 持平）。第二，训练动态（Fig. 4a）：五个奖励及归一化平均轨迹最均衡、平均奖励最高，基线常以牺牲同步或音频换单项提升。第三，消融（Table 2/Fig. 4b）：从 GDPO 加 token 加权（VQ 3.008，DeSync 0.482）、层缩放（3.192/0.366）、组合（3.315/0.343）；从 MARBLE 加分支感知（2.612）、残差（2.891）、预热（2.999/0.369），完整方法 3.336/0.341 最强，两条链互补。第四，代理验证（Fig. 5）：48 层逐一禁用排序与代理 Spearman 0.98（A2V）/0.97（V2A）；持续重算代理保持 >0.96，冻结代理跌至 0.56/0.38；屏蔽最高分 10% token 的预测变化是随机组 1.62 倍（A2V）/1.74 倍（V2A）。
局限与改进
作者承认三方面局限。其一，奖励模型层面：目前没有统一奖励能同时捕捉模态质量、语义一致性与时间同步，人类偏好模型（如 VA-Judger）只提供总体信号，细粒度模态监督仍需多个专门奖励拼接，开发综合音视频奖励是重要方向。其二，RL 框架层面：方法在 DiffusionNFT 前向过程目标上验证，作者论证路由可推广到其他扩散目标、奖励协调只依赖奖励梯度，但未给出跨框架实验证据。其三，架构层面：路由要求模态 token 可辨识、方向性交互响应可分离，已在双流 LTX 与单流 JavisDiT++ 上验证，但模态表征不可分或交互响应不可访问的架构仍属未来工作。我的补充观察：评估全部依赖自动指标且与训练奖励高度同源（VideoAlign、HPSv3 等既做训练奖励又对应评测维度），缺少人评与 reward hacking 分析；梯度探测的额外开销及 $\\kappa$、$\\tau$、$\\lambda_{max}$、预热轮数等超参敏感性未报告；生成统一归一化为 4 秒，长视频外推未知；基线除 OmniNFT* 外均为作者自行复现，可能存在实现偏差。
独立分析的弱点
独立分析有六个弱点。第一，代理表达能力有限：响应范数只度量信息流强度，不能区分促进性与干扰性影响，也忽略层间交互（禁用某层的影响依赖其他层状态）；改进方向是引入带符号响应或二阶交互探针。第二，计算开销不透明：每个刷新轮要对五个奖励各做一次分支梯度探测（涉及两次分支回传），在 19B/22B 模型上的额外显存与时延未量化；可用低秩探针或降低刷新频率缓解。第三，评估与奖励同源风险：VQ/AQ/CLAP 等评测指标与训练奖励使用同一批模型家族，存在指标虚高风险，论文也未展示失败案例或失真模式；建议补充人评、多样性指标与跨家族评估器。第四，超参稳健性未报告：$\\lambda_{max}$、$\\tau$、$\\kappa$、$\\rho$、预热与刷新频率均是敏感来源，缺少敏感性分析会抬高复现门槛。第五，任务范围窄：训练用 19,487 条 VGGSound 派生 prompt，评测统一 4 秒，长时序、多镜头、对白密集场景的外推未知；可在长视频基准上补测。第六，单流架构适配（JavisDiT++）只在局限性讨论中提及，正文表格未给出数据，结论覆盖面存疑。
未来方向
未来方向可从三方面延伸。作者提出的：开发能统一捕捉模态质量、语义一致性与时间同步的综合音视频奖励模型；把路由机制推广到 Flow-GRPO、DanceGRPO 等其他扩散 RL 目标乃至其他模态组合；覆盖模态表征不可分、交互响应不可访问的架构。基于本文成果可自然延伸的：其一，把代理—验证闭环自动化，让模型在训练中自检路由质量（如定期抽样做禁用干预）并触发重校准，形成在线元学习式的路由学习；其二，用奖励模型不确定性估计替代或补充梯度探测，降低分支探测开销，同时让冲突系数带置信度加权；其三，把偏好先验从静态标量升级为随 prompt 条件化的向量，实现按内容自适应的奖励权衡，例如对话场景自动上调同步权重；其四，研究层路由与 LoRA 秩分配、蒸馏、量化等下游压缩的协同，让路由图服务于推理优化；其五，在 10 秒以上长视频与多镜头叙事上检验同步关键层漂移规律是否仍成立，这能反向检验'静态路由失效'论断的普适性，也为其跨模态研究（如可编辑音视频、配音驱动）提供工具。
复现评估
复现评估：论文 Under Review，正文未提供代码、权重或配置链接。复现资源需求重：LTX-2（19B）与 LTX-2.3（22B）基础模型、五个奖励模型（VideoAlign、HPSv3、AudioBox、CLAP、Synchformer/DeSync）、19,487 条 VGGSound 派生 prompt 训练集、JavisBench 10,140 条评测集，以及支持组采样 rollout、LoRA 训练与多奖励梯度探测的多卡 A100/H100 集群。主表含本文与 GDPO、MARBLE、OmniNFT 共 4 方法 × 2 骨干 × 3 种子约 24 次 RL 训练，再加消融十余配置，个人或小团队难以完整复现。降低门槛路径：Eq. 1–14 与算法 1 公式完整，但 $\beta$、$\lambda_{max}$、$\tau$、$\kappa$、$\rho$、$\lambda_{KL}$、预热与刷新轮次的具体数值需作者补充；DiffusionNFT 与 OmniNFT 有公开实现可作框架，建议先在小骨干或低秩 LoRA 下复现路由组件，再验证残差重加权，最后扩展到完整规模。综合判断：方法描述清晰、公式完备，但计算门槛高且依赖未公开细节，独立复现难度高，代码发布后降为中等。
论文图表
四联图构建动机：(a) 前向 KV 消融——按层区间消融跨模态 K/V 输出并测 DeSync（越低越好，退化越大说明该层越关键），基础模型与训练后模型的曲线明显分叉，说明同步关键层在微调中漂移；(b) 反向梯度分析——测量两条分支中层级的 Q 与 K/V 梯度 L2 范数，base/trained 的峰值位置错开，说明跨模态梯度通路在演化；(c) 奖励冲突矩阵——对每个 prompt 归一化后偏好符号相反的比例，HPSv3 与 AudioBox 冲突 35%、CLAP 与 AV-DeSync 达 50%；(d) 纯梯度几何导出的权重轨迹，AV-DeSync 权重衰减至近零，说明几何加权会丢弃弱而必要的目标。
这是全文动机的实证基础：同时论证了静态路由会失效（a/b）与两类现有权重方案的缺陷（c/d），四个面板分别对应方法两个组件要解决的问题，读懂此图才能理解为什么需要动态路由加偏好锚定。
主结果表：LTX-2 与 LTX-2.3 两个骨干上，基础模型、GDPO、MARBLE、OmniNFT、OmniNFT*（官方检查点）与本文方法在四组十项指标上的均值±标准差，涵盖 AV-Quality（VQ/AQ）、Text-Consistency（TV-IB/TA-IB/CLIP/CLAP）、AV-Consistency（AV-IB/AVHScore）、AV-Synchrony（JavisScore/DeSync）。本文方法在每个骨干的 10 项指标中 9 项最佳，如 LTX-2 上 VQ 3.336、AQ 5.868、DeSync 0.341。
论文最核心的定量证据：证明方法在两个骨干、十项指标上系统性优于三类代表性基线（固定权重、全局冲突调权、静态多模态路由），且给出多种子标准差说明改进远超随机波动。
LTX-2 上的组件消融表，分两条独立链：路由链从 GDPO 出发依次加 Token 加权（VQ 3.008，DeSync 0.482）、层缩放（3.192/0.366）、二者组合（3.315/0.343）；重加权链（灰底行，不继承路由栈）从 MARBLE 出发依次加分支感知（2.612）、残差修正（2.891）、预热（2.999/0.369）；最后是完整方法 Routing+Weighting（3.336/5.868/0.341）。
证明两个组件的增益来自不同且互补的机制：任何一条链单独都达不到完整方法水平，中间配置也并非每项指标单调提升，说明各组件解决的是不同的失效模式，这是理解方法设计哲学的关键。
完整训练算法伪代码：每轮先采样并收集门控前 A2V/V2A 响应，再做奖励归一化；计算 token 权重（Eq. 7）与层路由（Eq. 8）；用缓存平滑系数按 Eq. 10 计算奖励权重并构造分支优势；若处于预热后的刷新轮，则用均匀 token 权重做分支梯度探测并解 MARBLE 更新 $\\bar\\gamma_m$；随后计算负感知损失（Eq. 12–14），沿路由后 KV 路径（Eq. 9）反传更新 $\\theta$，最后按 DiffusionNFT 日程更新 $v^{updated}$。
把方法所有公式串成一个可执行的循环，标明每步的输入输出与执行条件（如预热判断、刷新轮判断），是从概念理解走向工程实现的桥梁，也是复现时最应对照的材料。