CLIPO：策略优化中的对比学习泛化强化学习可验证奖励

通过对比学习对齐成功推理轨迹，增强RLVR泛化能力

前置知识

强化学习可验证奖励 (RLVR)

RLVR是一种利用外部环境（如数学验证器或代码编译器）提供客观、明确、一致反馈的强化学习范式。与依赖人类反馈的RLHF不同，RLVR通过确定性验证器检查模型输出是否正确，提供二值奖励信号（正确为1，错误为0）。这种方法避免了人工标注成本和人类判断不一致性问题，已成为提升大语言模型推理能力的主流方法。

理解RLVR是本文研究的基础，CLIPO正是针对RLVR仅依赖结果奖励的局限性提出的改进方案。

组相对策略优化 (GRPO)

GRPO是一种高效的策略优化算法，通过在同一个提示下采样一组响应来估计基线，消除了对额外批评模型的需求。对于每个提示x，GRPO生成一组响应G = {y_1, y_2, ..., y_G}，计算每个响应的奖励r_i，然后通过组内归一化估计优势值。所有token共享同一个优势值。GRPO的优势在于无需训练额外的价值网络，大大降低了计算成本。

GRPO是CLIPO的主要基线方法之一，理解其工作原理有助于理解CLIPO如何在此基础上添加对比学习机制。

对比学习 (Contrastive Learning)

对比学习是一种自监督表示学习范式，通过将语义相似的样本在潜在空间中聚类，同时将不相似的样本推开。其核心是InfoNCE损失函数，将表示学习任务框架化为多类分类问题。通过最小化InfoNCE损失，可以扩大两个可学习特征之间的信息重叠，从而提取底层语义不变性。对比学习已被广泛证明具有强大的泛化性能。

对比学习是CLIPO的核心创新来源，理解其基本原理对于理解本文如何将对比学习与策略优化结合至关重要。

互信息 (Mutual Information)

互信息是衡量两个随机变量之间统计依赖性的度量。对于变量x和y，互信息定义为两变量联合分布与边缘分布乘积之比的期望对数。负InfoNCE损失等价于互信息的下界估计。最大化互信息可以提取两个变量之间的底层语义不变性。在CLIPO中，互信息被用来衡量成功推理轨迹之间的共同逻辑结构。

CLIPO通过最大化成功轨迹之间的互信息来识别推理路径中的不变结构，这是其理论基础。

研究动机

现有强化学习可验证奖励（RLVR）方法存在严重的泛化能力问题。RLVR仅依赖最终答案作为结果奖励，完全忽略了中间推理步骤的正确性。具体而言，当模型生成的推理过程中间步骤是错误的，但最终碰巧得到了正确答案时，这种'过程错误但结果正确'的rollout仍然会获得正向奖励。在这些样本上训练会导致模型产生幻觉和答案抄袭现象，严重损害模型的泛化能力和鲁棒性。例如，在GSM8K-P1和GSM8K-P2等扰动变体上，基线模型的性能明显下降，表明模型过度拟合于记忆真实答案而非学习真正的推理能力。此外，现有的过程奖励模型（PRM）虽然可以提供更细粒度的监督，但需要大量人工标注高质量的过程奖励数据，成本高昂且难以扩展。熵正则化方法虽然可以提供细粒度训练指导，但主要反映分布不确定性而非语义逻辑重要性，且效果高度依赖模型容量。

本文的目标是本文旨在通过将对比学习机制融入策略优化过程，泛化RLVR框架，使模型能够识别成功推理路径中的共同逻辑结构。具体目标包括：（1）通过对比学习对齐多个成功的推理轨迹，提取正确的推理模式；（2）为RLVR提供比稀疏结果奖励更密集、更有信息量的训练信号；（3）在不需要额外人工标注的情况下，提升模型在扰动和分布外任务上的泛化能力。最终目标是让模型不仅学会得到正确答案，更要学会正确的推理过程，从而在各种推理任务上展现出更强的鲁棒性。

与已有工作不同的是，本文的独特切入角度在于将对比学习的思想与RLVR相结合。作者观察到一个关键洞察：成功的推理路径共享一致的底层逻辑，而中间错误和幻觉表现为零星、不相关的噪声。通过在嵌入空间中强制成功轨迹的接近性，对比学习起到了去噪机制的作用：它放大不变的逻辑流，同时抑制非系统性的推理失败和幻觉。这种思路不同于现有的过程奖励模型（需要额外标注）或熵正则化方法（反映分布不确定性而非语义逻辑重要性），而是一种无需额外监督的、利用推理轨迹之间内在关系结构的方法。这种设计使得CLIPO能够区分逻辑正确的推理和偶然正确的推理，从而减少幻觉和答案抄袭。

核心方法

CLIPO的核心思路是在标准的组策略优化框架中引入对比学习机制。对于每个输入提示，策略模型生成一组rollout（推理轨迹），标准RLVR仅根据最终答案的正确性提供二值奖励。CLIPO在此基础上，通过一个轻量级的对比头（contrastive head）将每个rollout的隐藏状态投影到语义嵌入空间，然后在这个空间中计算对比损失。具体而言，对于同一组中的成功rollout（正样本），CLIPO最大化它们在嵌入空间中的相似性；对于失败rollout（负样本），则最大化它们与成功rollout之间的距离。这个对比损失被转化为密集的辅助奖励信号，与原始的稀疏结果奖励相结合，为策略优化提供更丰富的梯度信息。这种设计使得CLIPO能够从多个成功轨迹中提取共同的推理逻辑，起到去噪作用。

CLIPO的核心创新在于将对比学习的目标函数与RLVR的策略优化相结合。与现有方法的本质区别体现在：（1）与过程奖励模型（PRM）不同，CLIPO不需要额外的人工标注，而是利用rollout组内的成功-失败关系自动构建正负样本对；（2）与熵正则化方法不同，CLIPO的对比奖励反映的是语义逻辑重要性而非分布不确定性；（3）与单路径监督的RLVR不同，CLIPO提供跨轨迹的正则化，通过最大化成功轨迹之间的互信息来提取推理中的不变结构。这种设计使得CLIPO能够区分逻辑正确的推理和偶然正确的推理，从而减少幻觉和答案抄袭。关键在于，CLIPO将对比学习的目标明确表述为提取成功推理路径中的共同逻辑结构，为方法提供了清晰的理论基础。

方法步骤详情

CLIPO的实现包含以下关键步骤：（1）句子级表示提取：对于每个响应y，策略模型产生token级隐藏状态，通过均值池化操作得到句子级表示，该表示封装了响应的整体语义内容；（2）对比头投影：将池化表示通过一个可学习的线性层投影到低维空间，得到语义嵌入，并通过L2归一化。对于Track I，输出维度d=512；对于Track II，输出维度d=2048以提供更高的表示容量；（3）对比损失计算：对于每个正确的响应y_i，从组中其他正确响应中随机采样一个正样本，计算InfoNCE损失。损失函数计算正样本对的相似度分数与负样本对平均分数之比的对数；（4）奖励整合：将对比损失转化为奖励信号，通过权重参数lambda进行缩放，并设置下界阈值-0.5防止辅助信号主导可验证目标。最终奖励为原始奖励与对比奖励之和。对比头使用AdamW优化器，学习率为1e-3，权重衰减为0.01，与策略模型联合训练。

技术新颖性

CLIPO的技术新颖性主要体现在以下几个方面：首先，它首次将对比学习的目标函数系统地融入RLVR框架，通过最大化成功轨迹之间的互信息来提供跨轨迹正则化，这是一种全新的视角来理解RLVR中的泛化问题。其次，设计了轻量级的对比头架构，仅需一个线性层即可将隐藏状态投影到适合对比学习的嵌入空间，计算开销极小但效果显著。第三，提出了将对比损失转化为密集奖励信号的机制，通过精心设计的奖励整合公式，巧妙地将对比学习的目标与策略优化结合，同时设置下界阈值保证训练稳定性。第四，通过条件互信息的形式化，将对比学习的目标明确表述为提取成功推理路径中的共同逻辑结构，为方法提供了清晰的理论基础和直觉解释。

实验结果

CLIPO在两个实验轨道上均展现出显著的性能提升。在Track I（GSM8K和通用推理）中，GRPO+CLIPO在所有数据集上取得最高平均分63.26，相比基线GRPO提升1.12个点。特别是在更具挑战性的变体上表现突出：GSM8K-P1提升+1.48，GSM8K-P2提升+3.36，GSM8K-Symbolic提升+0.58。在通用推理任务上，CLIPO展现出强大的跨域泛化能力，在CommonsenseQA、TruthfulQA、TheoremQA和MMLU等基准上均取得最佳或次佳性能。在Track II（竞赛级数学推理）中，DAPO+CLIPO取得最高平均分44.05，超越所有基线。CLIPO在所有四种RLVR方法（GRPO、GSPO、DAPO、GMPO）上的平均得分分别提升+1.35、+0.80、+1.20、+0.83。在分布外任务上，CLIPO展现出更强的鲁棒性：Math-Perturb Hard上GRPO+CLIPO提升+1.11，Math-Perturb Simple上提升+2.38。消融实验表明，固定对比头会导致Track I上平均下降-0.77点，Track II上下降-0.97点，证明了联合优化对比头的重要性。温度参数分析显示，较低的温度（0.02）优于较高的温度（0.2），总体平均分从42.13提升至43.60。组大小实验表明，更大的组（32个rollout）通常带来更好的性能提升，竞赛级平均分从23.87（组大小8）提升至26.54（组大小32）。

查看结构化数据

任务	指标	本文	基线	提升
GSM8K数学推理	Pass@1	88.02	87.79 (GRPO)	+0.23
GSM8K-P2扰动测试	Pass@1	54.16	50.80 (GRPO)	+3.36
GSM8K-P1扰动测试	Pass@1	74.60	73.12 (GRPO)	+1.48
MATH竞赛级推理	Pass@1	77.49	76.46 (GRPO)	+1.03
Math-Perturb Simple	Pass@1	67.21	64.83 (GRPO)	+2.38
Math-Perturb Hard	Pass@1	38.97	37.86 (GRPO)	+1.11
AIME竞赛	Pass@1	18.13	17.92 (GRPO)	+0.21
AIME25竞赛	Pass@1	10.63	9.58 (GRPO)	+1.04

局限与改进

尽管CLIPO展现出显著的性能提升，但仍存在一些局限性。首先，CLIPO依赖于组内存在至少两个正确响应和至少一个错误响应才能有效工作，当组内只有一个正确响应或全部正确时，对比损失无法计算，这限制了其在某些场景下的应用。其次，CLIPO的性能提升在某些数据集上并不一致，例如在CommonsenseQA上GRPO+CLIPO出现-0.13的轻微下降，在TruthfulQA上也有类似现象，表明对比学习可能对某些类型的任务效果有限。第三，CLIPO引入了额外的超参数（温度tau、权重lambda、对比头输出维度d），需要仔细调优才能达到最佳性能。第四，实验主要集中在数学推理任务上，对于代码生成、深度搜索等其他推理任务的验证还不够充分。此外，作者承认DeepSeek-R1-Distill-Qwen-7B模型在CLIPO训练后出现了轻微的过拟合现象，表明CLIPO可能对已经过充分微调的模型效果有限。

独立分析的弱点

CLIPO存在以下几个值得关注的弱点：（1）对比学习的有效性依赖于组内样本的多样性，当采样策略不够多样或组大小较小时，对比学习可能无法提供足够的正负样本对。改进方向包括设计更智能的采样策略，确保组内有足够的成功和失败轨迹。（2）对比头的架构相对简单（仅一个线性层），可能无法充分捕捉复杂的推理语义信息。可以探索更复杂的投影头设计，如多层感知机或注意力机制。（3）对比损失的权重lambda是固定的，但在训练的不同阶段，对比学习的重要性可能不同。可以设计自适应的权重调整策略。（4）CLIPO的奖励整合方式可能不是最优的，特别是当对比奖励和原始奖励的尺度差异较大时。可以探索更复杂的奖励融合机制，如基于课程学习的渐进式融合。

未来方向

基于CLIPO的成果，未来研究可以从以下几个方向展开：（1）将CLIPO扩展到代码生成、智能体规划等其他结构化推理领域，验证其通用性；（2）探索更先进的对比学习变体，如动量对比学习（MoCo）或原型对比学习，可能进一步提升性能；（3）研究如何自动选择最优的组大小和温度参数，减少超参数调优的需求；（4）将CLIPO与过程奖励模型结合，利用对比学习来生成伪过程奖励数据，降低PRM的标注成本；（5）探索CLIPO在多模态推理任务中的应用，如视觉问答或图表理解；（6）研究对比学习在元学习或少样本学习场景下的潜力，使模型能够更快地适应新任务。此外，作者提到的'成功推理路径共享一致底层逻辑'这一洞察，可能对理解大语言模型的推理机制有更广泛的意义，值得深入探索。

复现评估

CLIPO的复现性较好。作者已在GitHub上开源代码和训练配方（https://github.com/Qwen-Applications/CLIPO），使用VERL框架实现训练流程。数据集方面，GSM8K和MATH 7.5K都是广泛使用的公开数据集，容易获取。模型方面，实验使用了Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Llama3.1-8B-Instruct和DeepSeek-R1-Distill-Qwen-7B等开源模型。算力需求方面，Track I使用全局batch size 512训练5个epoch，Track II使用batch size 128训练8个epoch，最大响应长度分别为2048和4096 token，这对计算资源有一定要求但并非不可承受。超参数设置清晰，包括对比头学习率1e-3、权重衰减0.01、温度tau=0.02、权重lambda=0.2等，便于复现。总体而言，CLIPO的复现难度中等，主要挑战在于需要足够的计算资源和对对比学习的深入理解。

CLIPO：策略优化中的对比学习泛化强化学习可验证奖励 CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR