CPPO：用于视觉语言模型智能体的对比感知策略优化 CPPO: Contrastive Perception for Vision Language Policy Optimization
通过对比感知损失增强VLM视觉推理能力的RL微调方法
前置知识
视觉语言模型（VLM）
视觉语言模型是一种结合视觉编码器和语言模型的多模态架构，能够同时理解图像和文本输入。视觉编码器（如CLIP）将图像转换为视觉特征，语言模型（如Transformer）处理文本并生成响应。VLM通过跨注意力机制融合视觉和语言信息，实现视觉问答、图像描述等任务。关键挑战是确保模型的响应真正基于图像内容而非预设知识或幻觉。
本文的工作对象，VLM感知错误是智能体不安全行为的主要来源，理解VLM架构和感知-推理协同机制是读懂本文的基础。
强化学习与策略优化
强化学习通过与环境交互学习最优策略，目标是最大化累积奖励。策略梯度方法直接优化策略参数，PPO（Proximal Policy Optimization）通过裁剪策略更新比例确保训练稳定性。GRPO（Group Relative Policy Optimization）是PPO在多轨迹场景的变体，计算一组轨迹的相对优势来更新策略。公式为$A_i = \frac{R(o_i) - \text{mean}R(o_{1:G})}{\text{std}R(o_{1:G})}$，目标函数包括优势项和KL惩罚项。
CPPO基于GRPO框架，需要理解RL基础、策略优化原理以及GRPO的相对优势计算机制，才能理解CPL如何集成到RL目标中。
对比学习与InfoNCE损失
对比学习通过拉近正样本对、推开负样本对来学习表征。InfoNCE（Info Noise-Contrastive Estimation）是常用的对比损失函数，公式为$L = -\log\frac{\exp(s^+/\tau)}{\exp(s^+/\tau) + \exp(s^-/\tau)}$，其中$s$是相似度度量，$\tau$是温度参数。在本文中，相似度用负KL散度计算：$\text{sim}(p, p^*) = -\text{KL}(p \| p^*)$。核心思想是让锚点分布接近正样本分布、远离负样本分布。
CPL是本文的核心创新，理解InfoNCE损失的工作原理和对比学习的基本思想是理解CPL如何引导模型区分视觉敏感性的关键。
预测熵与互信息
预测熵衡量随机变量分布的不确定性，对于离散分布$H(Y) = -\sum_y p(y)\log p(y)$。条件熵$H(Y|X)$表示已知X时Y的不确定性。互信息$MI(Y;X) = H(Y) - H(Y|X)$衡量两个变量的依赖程度。在本文中，熵增加$\Delta H = H(y|I^-) - H(y|I)$作为感知依赖的代理指标，因为移除视觉信息后感知token的分布会更不确定，熵增加更大。
本文的感知token检测方法基于熵增加，理解条件熵、互信息的关系和熵作为不确定性的度量是理解命题3.1和检测方法的理论基础。
研究动机
视觉语言模型（VLM）作为多模态智能体的感知骨干，在开放环境中推理和行动时，其可靠性直接依赖于视觉感知的准确性。单个错误读取的图表、误识别的UI元素或幻觉的视觉事实都会传播到错误行动和不安全结果中。现有强化学习方法如DeepSeek-R1在纯语言任务上表现优异，但扩展到多模态智能体时面临核心挑战：仅基于最终答案奖励无法区分感知错误和推理错误。即使推理步骤正确，错误的感知token也会导致最终答案错误。先前的感知感知方法如Visionary-R1、Vision-SR1、Perception-R1依赖额外LLM评估器或CoT标注，计算开销大且难以扩展。PAPO采用无监督KL散度损失，但KL散度无界易导致奖励崩溃，且对所有token统一应用可能过度正则化推理token。此外，强制分离感知和推理（如和标签）会破坏模型的自然推理流程，且容易受到奖励攻击。
本文的目标是本文的目标是提出一种自监督的RL解决方案，在模型的自然生成流程内解耦感知和推理的优化，增强VLM策略的视觉感知能力，同时避免额外模型、人工监督或强制分离带来的问题。具体而言，目标是设计一个感知特定的损失函数，能够为视觉感知提供直接的学习信号，并且只在依赖视觉信息的token上施加损失，避免对推理token的过度正则化。
与已有工作不同的是，本文的独特切入角度是利用对比学习思想在token级别增强视觉敏感性，而非提供显式感知奖励。通过对比模型在原始图像、信息保持扰动和信息移除扰动下的token概率分布，让模型学会区分哪些token真正依赖视觉信息。关键创新在于使用熵增加机制自动检测感知token，无需显式分离或额外标注，并在优势门控下只对正优势轨迹施加对比损失。这种方法完全自监督，不依赖CoT标注或LLM评估器，计算高效且可扩展，适合在开放环境中部署的智能体训练。
核心方法
CPPO的整体思路是在标准RL框架基础上增加一个感知特定的对比损失，引导策略模型更敏感地响应视觉输入。核心直觉是：如果一个token真正依赖图像中的视觉信息，那么当图像被扰动导致关键信息丢失时，该token的预测分布应该发生显著变化；反之，如果token主要依赖语言知识，视觉扰动应该对其影响较小。通过对比原始图像、信息保持扰动和信息移除扰动三种条件下的token分布，让模型学习区分感知token和推理token。技术路线上，首先基于GRPO框架进行RL训练，然后为每个生成的rollout创建两个扰动图像版本，计算每个token在三种条件下的概率分布，通过熵增加检测感知token，最后用InfoNCE对比损失只在感知token和正优势轨迹上施加感知约束。
核心创新点有三：(1)基于熵增加的感知token自动检测：通过比较策略在原始图像I和信息移除扰动I-下的token预测熵，熵增加最大的token被视为最依赖视觉信息的感知token。理论依据是条件互信息不等式$MI(o_{i,t}; I | q, o_{i, 0$的轨迹上施加，确保只强化成功的感知而非错误的感知。
方法步骤详情
CPPO方法的完整步骤如下：(1)输入采样：从数据集D中采样输入$(q, I)$，其中$q$是查询，$I$是原始图像。(2)生成rollout：使用rollout策略$\pi_{\theta_{\text{old}}}$生成响应$o_i = \{o_{i,1}, \ldots, o_{i,T}\}$。(3)计算奖励和优势：计算每个rollout的奖励$R(o_i)$和相对优势$A_i$。(4)创建扰动图像：为每个rollout创建信息保持扰动$I^+$（颜色抖动、高斯模糊、随机透视变换等）和信息移除扰动$I^-$（80%块级遮盖、随机30%裁剪等）。(5)检测感知token：计算每个token在I-和I下的熵增加$\Delta H_{i,t}$，选择top-k熵增加最大的token构成感知集合$S_{\text{perception}}(o_i)$。(6)计算对比损失：对每个感知token计算InfoNCE损失$L_{\text{InfoNCE},i,t}$，计算rollout级别的CPL损失$L_{\text{CPL}}(o_i) = \frac{1}{|S_{\text{perception}}|}\sum_t L_{\text{InfoNCE},i,t}$。(7)优势门控：只在$A_i > 0$的rollout上应用CPL，使用指示函数$\mathbf{1}[A_i > 0]$。(8)联合优化：结合GRPO目标和CPL损失更新策略：$\hat{J}(\theta) = J_{\text{GRPO}}(\theta) - \lambda \frac{1}{G}\sum_i \mathbf{1}[A_i > 0] L_{\text{CPL}}(o_i; I, I^+, I^-)$，其中$\lambda$控制对比损失的权重。(9)更新策略：计算梯度并更新策略参数$\theta \leftarrow \theta + \nabla_\theta \hat{J}(\theta)$，然后更新rollout策略$\theta_{\text{old}} \leftarrow \theta$。
技术新颖性
CPPO的技术新颖性体现在三个方面：(1)首个将token级对比学习引入VLM策略优化的方法：不同于PAPO的KL散度损失，CPL采用有界的InfoNCE损失，训练更稳定，且只在检测到的感知token上施加，避免过度正则化。(2)完全自监督的感知token检测：基于熵增加的检测机制无需额外模型或CoT标注，利用策略自身的输出分布自动识别感知依赖的token，理论上有条件互信息不等式支撑。(3)优势门控机制：只在正优势轨迹上应用CPL，确保强化的是成功的感知而非错误的感知，避免在错误轨迹上施加对比损失反而强化错误感知。与强制分离感知和推理标签的方法不同，CPPO在模型自然生成流程内解耦感知和推理优化，保持推理流畅性。实验证明CPPO比GRPO训练4个epoch还要好，说明对比学习信号本身而非计算量提升是性能增益的来源。
实验结果
CPPO在多个数学和视觉推理基准上超越了先前的方法，与GRPO基线相比展现出一致且实质的性能提升。在Qwen2.5-VL-3B模型上，CPPO在所有7个基准上都有提升，平均绝对性能增益为11.2%，相对增益为6.0%。具体到各基准：MathVista从63.7%提升到66.3%，DMath从45.7%提升到48.9%，WeMath从28.4%提升到30.8%，MathVision从25.1%提升到25.3%，MathVerse从38.3%提升到39.4%，MMMU-Pro-Vision从25.8%提升到28.5%，LogicVista从37.7%提升到40.9%。在Qwen2.5-VL-7B模型上，平均绝对增益为5.9%，相对增益为3.7%。所有提升都达到统计显著性（p ≤ 0.02）。与PAPO（最相关的感知感知基线）相比，CPPO-3B平均40.0% vs PAPO-3B的38.1%，CPPO-7B平均48.2% vs PAPO-7B的46.8%。值得注意的是，CPPO训练2个epoch就达到了GRPO训练4个epoch都无法达到的性能（40.5% vs 39.5%），证明对比学习信号是性能提升的来源而非计算量。感知token检测的定性分析显示，几何问题中的角度信息、图表中的数值都能被准确识别为感知token。扰动验证实验表明，信息保持扰动对性能影响很小（<1.5%），而信息移除扰动导致性能大幅下降（>14%），验证了扰动设计的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MathVista | avg@8准确率 | 66.3% | 63.7% (GRPO-3B) | +2.6% |
| DMath | avg@8准确率 | 48.9% | 45.7% (GRPO-3B) | +3.2% |
| WeMath | avg@8准确率 | 30.8% | 28.4% (GRPO-3B) | +2.4% |
| LogicVista | avg@8准确率 | 40.9% | 37.7% (GRPO-3B) | +3.2% |
| 平均性能 | avg@8准确率 | 40.0% | 38.1% (PAPO-3B) | +1.9% |
| 7B模型平均 | avg@8准确率 | 48.2% | 46.8% (PAPO-7B) | +1.4% |
局限与改进
作者承认的主要局限性包括：(1)计算复杂度增加：相比GRPO，CPPO需要两个额外的forward pass来计算I+和I-条件下的token分布，训练时间增加约39%。(2)模型规模限制：受计算资源约束，实验只进行了3B和7B模型，尚未探索更大的模型如72B。(3)基线局限：评估仅限于Qwen2.5-VL基线，未扩展到其他架构如InternVL。(4)数据规模：只用了约40K训练样本，更大规模训练的效果尚待验证。(5)任务范围：实验针对标准多模态推理基准，未在实际智能体环境（web/计算机使用、机器人感知循环）中评估。作者的观察指出，在相同训练时间下，CPPO比GRPO训练更长时间仍然更好，说明优势来自对比学习信号而非计算量。感知token检测的评估显示，熵增加方法比随机选择有显著gap，但GPT-5-mini的分离本身不是完美的，评估只能作为概念验证。消融实验表明，CPL应用于所有token不如只应用于top-k感知token，证明选择性应用的必要性。优势门控进一步提升了性能，说明避免在错误轨迹上施加对比损失的重要性。
独立分析的弱点
CPPO的几个独立分析弱点：(1)计算开销显著：39%的训练时间增加可能限制在大规模场景的应用，特别是在资源受限的环境中。改进方向：可以探索更高效的扰动策略，如共享部分计算或缓存中间结果；或者研究批次级别的感知token检测而非样本级别。(2)超参数敏感性：top-k比例k和对比损失权重$\lambda$需要调优，不同任务和模型可能有不同最优值。改进方向：可以研究自适应的k选择机制，基于模型置信度动态调整；或者引入元学习来自动调整超参数。(3)扰动设计假设：信息移除扰动的有效性假设关键视觉元素被移除，但在复杂场景下可能难以保证。改进方向：可以研究更精细的信息移除策略，如基于显著性的自适应遮盖；或者引入学习到的扰动策略。(4)仅针对正优势轨迹：虽然避免强化错误感知，但也可能错失在接近正确的轨迹上纠正部分错误感知的机会。改进方向：可以研究软性的优势门控，基于优势大小加权而非二元门控；或者引入额外的感知纠正机制处理错误轨迹。(5)评估局限：只在标准基准上评估，未在实际智能体环境中测试，感知改进能否真正转化为更少的幻觉行动尚未证实。改进方向：在实际agent环境中部署评估，如网页自动化、机器人操作等，测量感知错误导致的行动失误率。
未来方向
作者提出的未来研究方向包括：(1)探索更大的VLM：将CPPO扩展到72B或更大规模的模型，研究方法在更大模型上的效果和适用性。(2)扩展基线模型：在其他VLM架构如InternVL、LLaVA上评估CPPO，验证方法的泛化性。(3)大规模训练：使用更大的训练数据集，研究大规模训练下CPPO的性能和可扩展性。(4)实际智能体评估：在真实的agent环境中部署CPPO训练的策略，如计算机使用、网页自动化、机器人感知循环，评估感知改进对agent行为可靠性的影响。(5)自适应感知检测：研究更精细或自适应的感知token检测机制，可能结合模型的内部表示或注意力权重。(6)跨模态扩展：将CPPO的思想扩展到其他多模态场景，如音频-语言、视频-语言等，研究对比感知损失在其他模态上的适用性。基于CPPO成果可延伸的方向包括：(1)动态感知强度：根据任务难度或图像复杂度动态调整对比损失的强度，实现更精细的感知控制。(2)分层感知优化：在不同的抽象层次上应用对比损失，如像素级、特征级、语义级，研究多层感知优化的协同效应。(3)感知-推理交互：研究感知改进如何影响推理能力，可能发现感知和推理的相互促进机制，设计更协同的优化策略。(4)零样本感知泛化：研究CPPO训练的模型在未见过的视觉领域或任务上的零样本感知能力，探索跨域感知迁移。
复现评估
复现评估：(1)开源情况：论文提供了代码链接（§ Code CPPO），但未明确说明是否完整开源训练脚本和预训练模型。通常ICML论文会提供完整代码和详细配置，但需要检查实际仓库。(2)数据可用性：训练数据使用ViRL39K（38.8K样本），评估数据包括MathVista、LogicVista、MathVision、WeMath、MathVerse、MMMU-Pro-Vision等公开基准，这些都可从相关论文或开源仓库获取。(3)算力需求：训练在Qwen2.5-VL-3B/7B上进行，使用verl框架，全局batch size为512，group size为5，训练2个epoch。根据文中数据，CPPO比GRPO增加39%训练时间，以3B模型为参考，可能需要数天到一周的GPU训练时间。消融实验在Geometry3K（2.1K样本）上进行12个epoch，相对轻量。(4)难度评估：复现的主要挑战在于：(a)需要足够的GPU资源来训练VLM，特别是7B模型；(b)需要实现和调试RL框架（verl）以及对比损失的集成；(c)超参数调优可能需要多次实验；(d)需要实现图像扰动pipeline和熵增加的感知token检测。作者提供了详细的超参数配置（学习率1e-6、$\beta=0.01$、$\tau=0.1$、$k=50\%$、$\lambda=0.02$）和扰动参数，有助于复现。总体而言，对于有足够算力的研究团队，中等难度复现是可行的，但需要较强的RL和多模态ML背景。
论文图表
