强化注意力学习：将注意力分布作为策略进行优化的多模态大模型后训练范式 Reinforced Attention Learning

RAL 的方法实现分为以下步骤：第一步，定义聚合因果注意力分布策略。对于总序列 $S = (x_1, ..., x_T)$，其中前 $P$ 个为提示（prompt），后 $T-P$ 个为生成的响应。对每个生成 token $t \in [P+1, T]$，从 Transformer 最后一层提取注意力权重 $\alpha_{t,i}$（所有注意力头的平均值），定义注意力分布策略为 $p_t^\theta(i) = \frac{\alpha_{t,i}}{\sum_{j=1}^{t-1} \alpha_{t,j}}, \forall i \in [1, t-1]$。第二步，计算优势加权注意力散度损失：$\mathcal{L}_{\text{AttnRL}} = \mathbb{E}_t [A_t \cdot \text{JSD}(p_t^\theta \| p_t^{\text{old}})]$，其中 $A_t$ 是序列级优势估计。第三步，结合标准 token 级 RL 损失：$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{RL}} + \lambda_{\text{attn}} \mathcal{L}_{\text{AttnRL}}$，其中 $\lambda_{\text{attn}}$ 控制两个目标的平衡。第四步（蒸馏变体），在 On-Policy 蒸馏中增加注意力对齐损失：$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{RL}} + \mu \mathcal{L}_{\text{GKD}} + \gamma_{\text{attn}} \mathcal{L}_{\text{AttnDistill}}$，其中 $\mathcal{L}_{\text{AttnDistill}} = \mathbb{E}_{\tau \sim \pi_\theta} [\sum_{t=P+1}^{T} \text{JSD}(p_t^\theta \| p_t^\phi)]$ 是学生模仿教师注意力分布的损失。

RAL 在技术层面具有多重新颖性。首先，这是首个将 MLLM 后训练的优化目标从 token 概率分布迁移到注意力分布的工作，开辟了一个全新的优化维度。虽然已有工作探索了注意力图的知识蒸馏，但将其作为 RL 训练的核心优化目标是原创性的贡献。其次，注意力策略的数学形式化具有独立的理论价值：通过将因果注意力分布定义为 $p_t^\theta(i)$ 并使用 JSD 作为散度度量，作者建立了一个完整的注意力策略优化框架，该框架天然地具有对称性和有界性，保证了训练稳定性。第三，双向优势加权机制（正优势拉近、负优势推离）的设计比简单的模仿学习更加灵活，能够从失败案例中学习。第四，On-Policy Attention Distillation 将注意力优化扩展到蒸馏场景，通过让学生在自己的轨迹上模仿教师的注意力模式，有效缓解了传统蒸馏中的暴露偏差问题。最后，RAL-zero 变体的实验表明，即使完全移除显式推理过程（thinking process），仅通过注意力优化就能在 5/7 个长视频基准上超越基线模型，这揭示了注意力策略空间的巨大未开发潜力。

RAL 存在几个值得深入分析的弱点。第一，注意力权重的提取方式较为粗糙——仅使用 Transformer 最后一层、所有注意力头的平均值。这忽略了不同层和不同头捕获的多尺度语义信息。改进方向可以是设计层级感知和头感知的注意力策略，甚至引入可学习的头选择机制来自动识别对任务最关键的注意力头。第二，$\lambda_{\text{attn}}$ 和 $\gamma_{\text{attn}}$ 等超参数的敏感性分析不足，仅提供了 $\lambda_{\text{attn}} \in \{0.5, 1, 5\}$ 和 $\gamma_{\text{attn}} \in \{0.05, 0.5, 1\}$ 的范围，缺乏详细的消融实验来揭示这些参数对不同任务类型的影响规律。第三，实验规模有限——仅在 Qwen-2.5-VL-7B 上进行了验证，且 RL 训练仅使用了 51.2k 样本一个 epoch。在更大模型（如 32B/72B）和更大数据上的效果尚不明确。第四，RAL 在 VideoMMMU 上反而略低于 GRPO（48.6 vs 49.7），在 Blink 上的优势也不显著（57.2 vs 56.3），暗示注意力优化对不同任务类型的增益并非均匀的，对于需要大量世界知识而非精细感知的任务，token 级优化可能仍然更有效。改进方向是设计自适应的混合策略，根据任务特性动态调整注意力损失的权重。第五，On-Policy Attention Distillation 需要教师模型在学生生成轨迹上前向推理以获取注意力权重，这增加了显著的计算成本和训练时间。

作者提出了几个有前景的未来研究方向。首先，可以将注意力策略优化扩展到其他内部结构的优化，如 MoE（混合专家）的路由策略和跨模态融合层的信息分配，这将为 MLLM 的各个组件提供统一的优化框架。其次，注意力分布作为可转移的、语义丰富的推理行为表示，可以在更广泛的模型压缩和迁移学习场景中发挥作用，例如将大模型的注意力模式蒸馏到边缘设备的小模型中。第三，RAL-zero 实验揭示了注意力策略空间的巨大未开发潜力，未来可以探索完全无语言推理的纯视觉推理模型，这可能在某些感知密集型任务上更高效。基于本文的成果，还可以延伸出以下方向：将 RAL 与在线 DPO 或其他偏好优化方法结合，探索注意力层面的直接偏好优化；将方法扩展到视频生成和图像生成模型中，优化生成过程中的注意力分配；设计基于注意力分布的 reward model，利用注意力模式作为人类偏好的代理信号；以及探索注意力策略的可解释性，通过分析优化前后的注意力模式变化来理解模型的推理过程。

本文的复现条件较为有利。训练框架基于开源的 veRL 基础设施，基础模型 Qwen-2.5-VL-7B 和教师模型 Qwen-2.5-VL-32B 均为公开可用的模型。训练数据来自 Video-R1 数据集（SFT 使用 165k 子集，RL 使用 51.2k 子集），也是公开资源。奖励系统完全基于规则（格式匹配 + 答案精确匹配），无需训练额外的奖励模型。计算资源方面，SFT 阶段需要约 10 小时（8xH100），RL 阶段需要约 120 小时（8xH100），总计约 130 个 H100-GPU 时，这对学术机构和中等规模团队来说是可承受的。注意力权重提取通过 patching eager attention 实现，这是一个相对直接的代码修改。主要的复现挑战在于：超参数搜索空间（特别是 $\lambda_{\text{attn}}$ 和 $\gamma_{\text{attn}}$）需要在不同任务上进行调整；注意力权重的提取和存储在长序列场景下可能遇到内存瓶颈；以及不同版本的 transformers 库中注意力实现的差异可能影响结果。总体而言，复现难度为中等偏上，需要约 2000 美元的计算成本和一定的工程经验。