PISCES：基于最优传输对齐奖励的无标注文本到视频后训练 PISCES: Annotation-free Text-to-Video Post-Training via Optimal Transport-Aligned Rewards
通过最优传输对齐文本-视频嵌入空间，实现无需人工标注的视频生成后训练
前置知识
文本到视频生成（Text-to-Video, T2V）
文本到视频生成是指根据输入的文本描述自动合成对应视频的技术。当前主流方法基于扩散模型或流匹配模型，通过多步去噪过程将随机噪声逐步转化为视频帧。代表性模型包括VideoCrafter2（短视频2秒@8FPS）和HunyuanVideo（长视频5秒@25FPS）。T2V生成需要同时满足两个核心要求：视觉质量（真实感、时间一致性）和语义一致性（视频内容准确反映文本描述）。
本文的研究对象就是T2V生成模型的后训练优化，理解T2V的基本流程和评估维度是阅读本文的基础。
奖励后训练（Reward-based Post-Training）
奖励后训练是在预训练好的生成模型基础上，通过额外的奖励信号进行微调以提升生成质量的技术。奖励信号可以来自人工标注（训练奖励模型）或预训练的视觉语言模型（VLM）。优化方式包括直接反向传播（将奖励梯度传回生成器）和强化学习微调（如GRPO）。后训练通常使用LoRA等参数高效微调方法，只更新去噪器的少量参数。
本文的核心就是提出一种新型的奖励后训练框架，理解后训练的基本范式有助于把握本文的技术定位。
最优传输（Optimal Transport, OT）
最优传输是数学中用于对齐两个概率分布的理论框架。给定源分布mu和目标分布nu，OT寻找一个传输映射T: Y到X，使得T将mu推到nu的同时最小化传输代价。常用的求解方法包括Sinkhorn算法（引入熵正则化加速求解）和Neural OT（用神经网络参数化传输映射）。OT已在域适应、生成建模、跨模态检索等领域广泛应用。
本文的核心创新就是将OT引入T2V后训练的奖励设计中，用于对齐文本和视频的嵌入空间，这是理解全文方法的关键。
视觉语言模型（Vision-Language Model, VLM）
视觉语言模型是同时处理视觉和文本信息的多模态模型，通过对比学习或匹配任务学习视觉-文本联合嵌入空间。代表性模型包括InternVideo2和ViCLIP。VLM可以提取文本和视频的嵌入表示，用于计算相似度作为奖励信号。然而，现有VLM的文本-视频嵌入空间存在分布不对齐问题——文本嵌入和视频嵌入在高维空间中的分布存在显著差异，导致基于余弦相似度的奖励信号不够准确。
本文识别出现有VLM嵌入空间的分布不对齐问题是无标注奖励后训练的核心瓶颈，并提出OT对齐作为解决方案。
一致性蒸馏（Consistency Distillation, CD）
一致性蒸馏是一种加速扩散模型推理的技术，通过强制ODE轨迹上的自一致性来将多步去噪模型蒸馏为少步模型。学习的函数g满足g(zt, t) = g(zt', t')对所有t, t'成立。在后训练中，CD损失作为正则项，防止模型过拟合奖励信号，同时允许单步去噪进行梯度传播，提高训练效率。
本文使用CD损失作为训练框架的核心组件，它既是效率工具也是稳定器，防止奖励劫持（reward hacking）。
研究动机
现有的文本到视频后训练方法面临一个核心困境：基于标注的方法（如VideoReward-DPO、Dual-IPO）需要大规模人工偏好数据集，标注成本高昂且难以扩展；而无标注方法（如T2V-Turbo、T2V-Turbo-v2）依赖预训练VLM（如InternVideo2、ViCLIP）提供的奖励信号，但这些VLM的文本-视频嵌入空间存在严重的分布不对齐问题。具体而言，VLM通过对比学习或点匹配目标训练，未能充分对齐文本分布与真实视频分布，导致奖励信号无法准确反映人类对视频质量的判断。这种不对齐在实践中表现为：生成视频无法正确保持物体数量（如只生成一个动物而非两个）、属性错误（如缺失眼镜等描述的物体）、动作描述不准确（如闭嘴微笑变成张嘴笑）等问题。从Table 4的数据可以看出，直接使用对比学习嵌入的Mutual KNN仅为0.2135，说明跨模态对齐程度很低。
本文的目标是本文的具体目标是提出一种无需人工标注的T2V后训练方法，使其性能能够匹配甚至超越基于人工标注的方法。更具体地说，作者希望通过最优传输理论来解决VLM嵌入空间的分布不对齐问题，使奖励信号能够更准确地模拟人类对视频质量和语义一致性的判断。在VBench基准上，该方法旨在同时提升Quality Score（视觉质量、时间一致性）和Semantic Score（物体存在、空间关系、动作正确性等细粒度对齐）。
与已有工作不同的是，本文的独特切入角度在于：首次从最优传输的视角来解决T2V后训练中的奖励对齐问题。作者观察到，现有无标注方法的瓶颈不在于奖励模型本身的架构，而在于其操作的嵌入空间本身存在分布错配。这一洞察非常关键——以往的工作都在改进奖励计算方式（如添加更多VLM、使用更复杂的聚合策略），但从未质疑过嵌入空间本身的质量。PISCES抓住了这个被忽视的根本问题，通过OT在两个层面上对齐嵌入空间：分布级别（用Neural OT将文本嵌入映射到真实视频流形）和token级别（用离散OT建立文本token与视频区域的精确对应）。这种双层对齐策略是前所未有的，使得无标注奖励的监督效果首次能够媲美人工标注。
核心方法
PISCES的方法可以用一个直觉来理解：想象文本和视频说的是同一种语言，但带有不同的口音——它们在VLM的嵌入空间中表达相似的语义，却分布在不同的区域。最优传输就像一个翻译器，把文本的口音转换成视频的口音，同时保持语义内容不变。技术路线上，PISCES构建了一个双层OT对齐奖励模块：第一，分布级OT质量奖励——用Neural OT学习一个映射T*，将文本嵌入Y变换到真实视频嵌入X的流形上，然后用变换后的文本嵌入与生成视频嵌入的余弦相似度作为质量奖励；第二，离散token级OT语义奖励——在VLM的交叉注意力层中构建文本token与视频patch之间的时空感知代价矩阵，用部分OT求解最优对齐计划P*，将其注入注意力机制后通过VTM分类器输出语义奖励。这两个奖励分别捕获全局视觉质量和局部语义对应，共同提供全面的监督信号。
PISCES的核心创新在于将最优传输引入T2V后训练的奖励设计，这在以往工作中从未被探索过。与已有方法的本质区别体现在三个层面：第一，识别出VLM嵌入空间的分布不对齐是无标注奖励方法的根本瓶颈，而非简单的工程问题；第二，提出双层OT对齐策略——分布级OT保持嵌入空间的几何结构（Spearman相关性从0.4873提升到0.9018），离散OT实现token级别的精确对应（VTM准确率从81.25%提升到89.36%）；第三，设计了时空约束的代价矩阵，其中包含语义相似度、时间约束和空间约束三个分量，确保语义对应在时间和空间上都是一致的。这种设计使得奖励信号首次能够在无标注条件下准确反映人类对视频质量和语义的双重判断。
方法步骤详情
PISCES的完整方法流程如下：第一步，使用预训练的InternVideo2提取文本嵌入Y和真实视频嵌入X，训练Neural OT映射T和势函数f，优化目标为minimax问题，在单张A100上训练一天（24 GPU-hours）。第二步，对于生成的视频和文本，计算分布级质量奖励，即OT变换后的文本[CLS]嵌入与生成视频[CLS]嵌入的余弦相似度。第三步，在InternVideo2的交叉注意力层中，构建文本token与视频patch的代价矩阵C，包含语义相似度、时间约束和空间约束三个分量。第四步，用部分OT（Sinkhorn算法，质量参数m=0.9）求解传输计划P*。第五步，将P*与原始注意力A通过log空间融合得到更新的注意力图。第六步，将融合后的特征送入VTM分类器，取正类logit作为语义奖励。第七步，将两个奖励整合进一致性蒸馏损失进行后训练，或使用GRPO的RL目标。
技术新颖性
PISCES的技术新颖性主要体现在以下几个方面：首先，这是首次将最优传输应用于生成式T2V后训练中的奖励建模，开辟了一个全新的研究方向。其次，双层OT对齐的设计具有独创性——分布级OT处理全局嵌入对齐，离散OT处理局部token对应，两者互补而非冗余。从Table 6的消融实验可以看到，单独使用质量奖励主要提升Quality Score（83.77），而单独使用语义奖励主要提升Semantic Score（76.99），两者结合才能达到最优（82.51 Total）。第三，时空约束的代价矩阵设计非常巧妙——它利用交叉注意力本身作为软对齐的先验，计算每个文本token的期望时空位置，然后约束OT计划保持时空一致性。第四，log空间注意力融合机制既保持了可微性，又将OT计划作为结构先验注入，是一种轻量且有效的设计。
实验结果
PISCES在多个维度上取得了显著的实验结果。在VBench基准上（Table 1），PISCES在VideoCrafter2上取得Total Score 82.75（提升+2.31），Quality Score 84.05（提升+1.85），Semantic Score 77.54（提升+4.12）；在HunyuanVideo上取得Total Score 85.45（提升+2.21），Quality Score 86.73（提升+1.64），Semantic Score 80.33（提升+4.51）。这些结果不仅超越了所有无标注方法（T2V-Turbo、T2V-Turbo-v2），还超越了所有基于人工标注的方法（VideoReward-DPO、VideoDPO、UnifiedReward），首次证明无标注方法可以匹敌甚至超越标注方法。在与商业模型的对比中（Table 2），PISCES后的HunyuanVideo在所有指标上都超越了Pika-1.0、Gen-3、Kling等闭源模型。人类偏好研究（Figure 3）进一步验证了这些发现：在400个提示上，PISCES在视觉质量上以68.2%对31.8%超越HunyuanVideo基线，在语义对齐上以62.6%对37.4%超越基线。消融实验（Table 3）证实了OT对齐的关键作用：去除OT后Semantic Score从77.63下降到75.82，Quality Score从83.73下降到83.44。OT分析（Table 4）显示OT显著提升了跨模态对齐（Mutual KNN从0.2135提升到0.2597）同时保持了嵌入结构（Spearman相关性0.9018）。VTM准确率实验（Table 7）表明部分OT（m=0.9）配合时空约束可将匹配准确率从81.25%提升到89.36%，绝对提升8.11%。值得注意的是，PISCES的双奖励梯度几乎正交（余弦相似度0.0074），表明两个目标不会相互干扰，可以稳定联合优化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 短视频生成（VideoCrafter2） | Total Score | 82.75 | 80.44 (Vanilla), 81.87 (T2V-Turbo-v2) | +2.31 vs Vanilla, +0.88 vs T2V-Turbo-v2 |
| 短视频生成（VideoCrafter2） | Semantic Score | 77.54 | 73.42 (Vanilla), 76.30 (T2V-Turbo-v2) | +4.12 vs Vanilla, +1.24 vs T2V-Turbo-v2 |
| 长视频生成（HunyuanVideo） | Total Score | 85.45 | 83.24 (Vanilla), 84.25 (T2V-Turbo-v2) | +2.21 vs Vanilla, +1.20 vs T2V-Turbo-v2 |
| 长视频生成（HunyuanVideo） | Semantic Score | 80.33 | 75.82 (Vanilla), 77.52 (T2V-Turbo-v2) | +4.51 vs Vanilla, +2.81 vs T2V-Turbo-v2 |
| VTM准确率 | Video-Text Matching Acc. | 89.36% | 81.25% (Vanilla cross-attention) | +8.11% |
局限与改进
尽管PISCES取得了显著成果，仍存在一些局限性。首先，作者在附录K中坦承，离散OT的性能受限于底层VLM（InternVideo2）的表征精度——当VLM的空间定位能力不足时（如无法准确分割glasses这类细粒度物体），即使OT计划设计得再精巧，也无法完全解决grounding问题。从Figure 9的失败案例可以看到，OT计划m=0.9虽然保留了glasses token，但只激活了右眼镜片，说明base encoder的空间细节捕捉能力仍有不足。其次，PISCES的评估主要在VBench上进行，该基准使用16个维度评估，但可能无法完全反映人类偏好的复杂性。第三，作者只在VideoCrafter2和HunyuanVideo两个模型上验证，虽然覆盖了短视频和长视频场景，但对其他架构（如基于不同去噪过程的模型）的泛化性还需要更多验证。第四，训练Neural OT映射需要额外的24 GPU-hours（虽然相对于预训练成本微不足道），并且需要从WebVid10M中采样文本-视频对，这意味着PISCES仍然依赖一定规模的视频数据集来学习分布对齐。
独立分析的弱点
从独立分析的角度，PISCES存在以下几个弱点：第一，分布级OT和离散OT的权重是固定的（质量奖励和语义奖励等权），但从Table 6可以看到两者在不同维度上的贡献差异很大——质量奖励主要提升Aesthetic Quality（+3.79）和Dynamic Degree（+15.56），而语义奖励主要提升Multiple Objects（+18.70）和Spatial Relation（+9.11）。一个改进方向是设计自适应的奖励融合策略，根据训练阶段或具体prompt动态调整两个奖励的权重。第二，代价矩阵中的时间约束和空间约束使用固定的参数，但从Figure 8的超参数扫描来看，虽然稳定性不错（标准差1.48%），最优参数可能因数据集和模型而异。可以考虑学习自适应的约束权重。第三，PISCES使用部分OT（m=0.9）来避免噪声匹配，但这个质量参数是全局固定的。对于不同类型的prompt（如包含很多停用词的长句vs简短描述），最优的m可能不同，可以探索自适应的质量选择策略。第四，当前方法在GRPO设置下需要4天训练（包括中间推理），而直接反向传播只需2天，说明强化学习路径的效率还有优化空间。
未来方向
作者在结论中指出，PISCES为T2V和多模态生成中的基于OT的奖励设计提供了通用蓝图。基于本文成果，可以延伸出几个有前景的研究方向：第一，将OT对齐的奖励框架扩展到其他生成任务，如文本到图像、文本到3D、视频编辑等，验证其通用性。第二，探索更高效的OT求解方法，如使用最新的神经OT变体来加速分布对齐的学习。第三，将PISCES与更先进的VLM结合——随着视频理解模型的快速发展，更强的base encoder（如专门为时空grounding优化的模型）可以进一步释放OT对齐的潜力。第四，研究自适应的双奖励融合机制，可能通过元学习或课程学习来动态调整质量奖励和语义奖励的相对重要性。第五，探索PISCES在更长视频生成（如10秒以上）上的效果，以及与新兴的长视频生成架构的兼容性。第六，研究OT对齐在视频编辑、风格迁移等下游任务中的应用潜力。
复现评估
PISCES的复现条件相对友好。代码方面，作者提供了项目页面（https://roar-ai.github.io/pisces），但论文未明确说明是否开源完整代码。数据方面，训练使用的是公开数据集WebVid10M和VidGen-1M，评估使用VBench基准，这些都是可获取的。算力需求方面，训练Neural OT映射需要1张A100训练1天（24 GPU-hours），后训练需要8张A100训练2天（直接反向传播）或4天（GRPO），总成本约30-60 GPU-hours，对于研究机构来说是可承受的。复现的关键组件包括：InternVideo2（预训练VLM，已开源）、VideoCrafter2和HunyuanVideo（基座模型，已开源）、Sinkhorn算法（标准实现）。需要注意的是，PISCES的性能高度依赖底层VLM的质量，如果使用不同的VLM可能需要重新调优OT参数。总体而言，复现难度中等，主要挑战在于OT求解的实现细节和超参数选择。
论文图表
该图展示了使用相同提示A robot reaching for a red/green apple和相同随机种子时，OT对齐奖励（左）和L2损失映射（右）的生成效果对比。OT对齐奖励保持了结构一致性（背景、机器人外观、稳定运动），只有苹果颜色按预期变化；而L2损失映射产生了不稳定的输出（机器人外观和物体放置变化不可预测，出现物体消失等伪影）。
该图直接证明了OT对齐相对于简单L2映射的优势——分布级的对齐方式不会扭曲嵌入空间，从而保证了采样稳定性和生成质量。
该图展示了在gamma和eta从0.0到0.5范围内扫描时VTM准确率的变化。可以看到准确率变化平滑，标准差仅为1.48%，表明PISCES对时空约束权重具有良好的鲁棒性。最优配置为gamma=eta=0.2，对应89.36%的VTM准确率。
该图证明了PISCES方法的稳定性，消除了读者对超参数选择敏感性的担忧，增强了方法的实用性。
该图展示了OT质量参数m对token对齐的影响：m=0.5（左）虽然抑制了噪声，但也移除了有效的glasses token，导致错配；m=0.9（中）保留了glasses token并改善了对齐，但仍然不完美（只激活了右眼镜片）；标准交叉注意力（右）的激活是分散的。这揭示了OT对齐的局限性——当底层VLM的空间分辨率不足时，即使OT计划设计得当，也无法实现完美的细粒度grounding。
该图既展示了PISCES的优势（通过调整m改善对齐），也坦诚展示了其局限性（受base encoder限制），体现了论文的严谨性。
该图展示了后训练过程中质量奖励和语义奖励的值变化，以及两者梯度的余弦相似度。两个奖励都稳步提升（语义奖励最终达到0.9268，质量奖励达到0.7814），而梯度余弦相似度始终接近零（最终值0.0074），表明两个目标提供的是正交的监督信号，不会相互干扰。
该图从训练动态角度验证了双奖励设计的有效性——两个目标既都能被优化，又不会产生冲突，这是PISCES能够同时提升质量和语义的关键保障。