重新思考多模态思维链的Token级策略优化 Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought

PEPO 的完整方法流程包含以下步骤：（1）**响应采样与奖励计算**：对每个输入 query，从旧策略 $\pi_{\text{old}}$ 中采样 $G=8$ 个候选回复，计算可验证奖励（格式奖励 + 准确性奖励），并按 GRPO 公式计算 sequence-level 优势 $A^{(i)} = \frac{R^{(i)} - \text{mean}(R^{(j)})}{\text{std}(R^{(j)})}$。（2）**感知建模**：从 policy model 的所有 $L$ 层提取 response token 隐状态 $h_{l,t}$ 和 vision token 隐状态 $v_{l,n}$，计算每个 response token 的视觉相似度 $VS_t = \frac{1}{L} \frac{1}{N} \sum_{l=1}^{L} \sum_{n=1}^{N} \frac{\langle h_{l,t}, v_{l,n} \rangle}{\|h_{l,t}\| \|v_{l,n}\|}$，该指标无需额外监督，直接反映 token 的视觉锚定程度。（3）**探索建模**：从 policy model 的输出 logits 计算每个 token 的熵 $H_t = -\sum_{x \in V} p_\theta(x|s_t) \log p_\theta(x|s_t)$，高熵 token 对应推理不确定性高的步骤。（4）**感知-探索融合**：将 $VS_t$ 和 $H_t$ 在每个回复内做 min-max 归一化到 [0,1]，计算均值中心化的联合分数 $\hat{g}_t = \hat{VS}_t + \hat{H}_t - \text{mean}_t(\hat{VS} + \hat{H})$，通过门控公式 $w_t = T \cdot \text{Softmax}(1 + \alpha \tanh(\hat{g}_t)) \cdot VS_t$ 生成最终权重，其中 $T$ 为回复长度确保 $E[w_t] = 1$。（5）**Token 级优势与策略更新**：定义 $A_t^{(i)} = [(1-\lambda) + \lambda w_t^{(i)}] A^{(i)}$，其中 $\lambda$ 从 0 线性增长到 1 以实现渐进式调制，最后用 $A_t^{(i)}$ 替代 $A^{(i)}$ 进行 PPO 风格的策略梯度更新。

PEPO 的技术新颖性体现在多个方面。首先，token 级视觉相似度分析是首次被系统性地用于理解多模态推理行为——作者发现正确推理依赖于一小部分视觉锚定 token（Mhigh 的分布右移），而低视觉相关性 token（Mlow）对区分回复质量几乎没有贡献，这一发现为 token 级优化提供了理论基础。其次，感知-探索互补性的发现具有独创性：通过受控前向传播实验（移除图像输入），作者发现视觉相似度排名高的 token 在图像移除后隐状态变化显著，而高熵 token 的表示相对稳定，说明两者编码了多模态推理的不同方面——前者反映感知锚定，后者量化推理过程中的不确定性。第三，平滑门控机制的设计巧妙地解决了信号融合问题：$\tanh$ 激活函数提供有界的平滑非线性变换，$VS_t$ 的乘法项确保感知主导，$\alpha$ 参数控制熵的调节强度。第四，渐进式调度策略（$\lambda$ 从 0 线性增长到 1）实现了从 sequence-level 到 token-level 优化的平滑过渡，实验证明移除该策略会导致显著性能下降。第五，PEPO 保持了理论上的性质：由于 $\sum_t w_t = T$，PEPO 保持了总序列级优势质量 $TA^{(i)}$ 不变，仅重新分配了 token 间的信用，不会引入全局缩放变化。

经过独立分析，PEPO 存在以下几个值得注意的弱点：（1）**超参数敏感性**：虽然论文展示了 $\alpha$ 在一定范围内的鲁棒性（Tab. 8），但最佳值在不同任务间差异明显（从 0.02 到 0.1），且在 FGVC Aircraft 上 $\alpha=0.15$ 时性能从 75.79 下降到 70.39，下降幅度达 5.42 个百分点，说明在某些任务上 $\alpha$ 的选择仍然敏感。改进方向：可以探索自适应的 $\alpha$ 调度策略，或通过 meta-learning 自动学习最优的门控强度。（2）**感知先验的局限性**：PEPO 使用的视觉相似度基于所有层的隐状态平均，但消融实验（Tab. 10）表明不同层的信息贡献不均（层 11-20 表现最好），简单的平均可能稀释了关键层的信号。改进方向：可以引入层权重学习机制，让模型自动学习不同层的重要性。（3）**回复长度偏短的副作用**：Tab. 6 和 Fig. 6 均显示 PEPO 倾向于生成更短的回复（在 Geometry3K 上平均长度从 273 降到 270，在 PuzzleVQA 上从 104 降到 85），虽然这可能部分抵消计算开销，但过短的推理链可能限制了复杂问题的解决能力。改进方向：可以在奖励函数中加入长度惩罚项，或在门控公式中加入长度感知的正则化。（4）**仅验证了余弦相似度**：Tab. 4 比较了 L1、L2 和余弦相似度，但只在 FGVC Aircraft 的 4-shot 设置下进行了验证，缺乏在其他任务上的全面对比。（5）**对 vision tower 的冻结策略**：论文冻结了 vision tower（Freeze Vision Tower = True），未探索联合微调是否能进一步提升视觉相似度的质量。

基于 PEPO 的研究成果，可以延伸出以下几个有价值的研究方向：（1）**扩展到更大规模模型**：将 PEPO 应用于 7B、13B 甚至更大规模的 LVLM，验证其在更强基座模型上的增益是否依然显著，这可能是最直接的后续工作。（2）**视频理解与工具增强推理**：作者明确提到了这两个方向作为未来研究的重要拓展，特别是视频理解中 temporal grounding 信号可能与视觉相似度形成新的互补关系。（3）**自适应门控机制**：当前的 $\alpha$ 是固定的超参数，未来可以探索基于任务特性或训练进度动态调整门控强度的机制，例如通过元学习或基于梯度信号的自适应调节。（4）**与其他 token-level 方法的融合**：PEPO 的感知-探索框架可以与 RLOO、DPO 等其他 token-level 优化方法结合，探索更丰富的优势估计方案。（5）**感知先验的精细化**：当前的视觉相似度使用所有层的平均，未来可以探索基于注意力机制的自适应层选择，或引入多尺度的视觉特征（如 CLIP 特征、DINOv2 特征）作为补充感知信号。（6）**理论分析**：论文在附录 D 中证明了 PEPO 保持总序列级优势质量不变的性质，但缺乏对收敛速度和最优性的理论分析，这是未来可以深入的方向。（7）**长链推理场景**：PEPO 在 Geometry3K 等相对短回复的任务上表现良好，但在需要更长推理链的复杂任务（如数学竞赛题、科学推理）上的效果有待验证。

PEPO 的复现条件总体上较为友好。**代码开源**：论文提供了 GitHub 项目页面（https://github.com/xzxxntxdy/PEPO），包含完整的实现代码。**数据集**：使用的所有数据集均为公开数据集（Geometry3K、MathVista、MathVerse、LogicVista、RefCOCO、LISA-Grounding、FGVC Aircraft、Flower102、PuzzleVQA、AlgoPuzzleVQA、ViRL39K），数据获取无门槛。**算力需求**：所有实验在 8 块 NVIDIA A40 GPU 上完成，使用 DeepSpeed ZeRO-2 进行分布式训练，对于学术研究团队而言算力需求适中。**框架依赖**：实验基于 Swift 框架和 vLLM 实现，需要安装 DeepSpeed、FlashAttention2 等依赖。**超参数**：论文在附录 Tab. 1 中详细列出了所有超参数配置，包括学习率、batch size、梯度累积步数、KL 系数等，复现指南较为完整。**主要挑战**：（1）需要理解 RLVR 的完整训练流程，包括奖励函数设计、vLLM 推理与训练的交互等；（2）PEPO 的核心计算（隐状态提取、余弦相似度计算、门控融合）需要在训练循环中正确实现，对工程实现能力有一定要求；（3）部分数据集（如 ViRL39K）的规模较大（39K 样本），完整训练需要较长的 GPU 时间。总体而言，对于熟悉 RLVR 训练流程的研究者，复现难度为中等。