面向强化微调的动态重要样本挖掘 Dynamic Important Example Mining for Reinforcement Finetuning
用梯度对齐实时估计样本边际贡献并约束重加权，让RFT数据利用全程自适应
前置知识
强化微调（RFT）
在监督训练完成后用强化学习继续优化大模型的范式。模型作为随机策略 $\pi_\theta$，输入提示 $s$ 为状态、生成文本 $a$ 为动作，奖励 $r$ 评估动作质量（如数学题答案对错给 $\pm 1$），通过随机梯度上升最大化期望优势 $J(\theta)=\mathbb{E}[A(s,a)]$，让模型从奖励信号中直接学习而非模仿标注数据。
DIEM 的两个组件直接插入 RFT 的每个优化步内部，理解策略优化的基本流程是读懂重要性定义和算法的前提。
GRPO（组相对策略优化）
PPO 的简化变体，DeepSeek-R1 所用方法。对同一提示采样一组 $G$ 个回答，用组内奖励标准化计算优势 $A(s,a_i)=(r_i-\mathrm{mean}(r_{1..G}))/\mathrm{std}(r_{1..G})$，免去训练独立的价值模型；同时保留 PPO 式裁剪机制与 $\beta\,\mathrm{KL}(\pi_\theta\|\pi_{\mathrm{ref}})$ 正则项以稳定训练。
本文全部 LLM 实验以 GRPO 为主基线，DIEM 重加权的就是 GRPO 更新中的各样本梯度，二者关系必须清楚。
策略梯度
策略梯度定理给出 $\nabla_\theta J(\theta)=\mathbb{E}[A(s,a)\cdot\nabla_\theta\log\pi_\theta(a|s)]$，即按优势加权重叠提升产生好动作的对数概率。每个训练样本贡献一个梯度向量，batch 的聚合梯度就是它们的向量和，这构成了梯度空间几何分析的原料。
DIEM 用单个样本梯度与 batch 聚合梯度的内积作为重要性分数，本质是在问“这个样本把整批更新往哪个方向推”。
影响函数与训练样本影响
衡量“移除或扰动某个训练样本后模型参数与性能如何变化”的技术。经典方法（Koh & Liang, 2017）需借助 Hessian 逆矩阵或凸性假设；本文回避这些要求，把重要性直接定义为“从梯度更新中移除该样本后 batch 总奖励的变化量”，再用一阶泰勒展开近似。
DIEM 的理想重要性定义（Eq.3）直接继承影响函数思想，而 Proposition 2 的误差界说明一阶代理在什么条件下可靠。
课程学习
按由易到难的顺序组织训练样本以提升学习效率的策略。传统做法需人工设计难度指标与调度规则（如 PCL 训练辅助价值模型评难度、SPEED-RL 以通过率排序）；本文展示动态重加权会自发涌现课程：训练早期 Easy/Medium 组权重高，随训练推进 Easy 组权重快速下降、Hard 组权重持续上升。
第 5.5 节用这一现象解释 DIEM 为何有效，是理解方法内在机制的收尾一环。
研究动机
强化微调（RFT）已成为提升大模型推理能力的主流手段，但其效果高度依赖训练数据的选用方式。现有以数据为中心的方法分两类：静态选择（LIMR 通过分析奖励趋势变化筛选样本、HVS 优先选择奖励方差大的样本）在训练开始前一次性确定子集，隐含假设样本价值在整个训练过程中保持不变；动态启发式方法（PCL 训练一个辅助价值模型评估难度、SPEED-RL 以中间通过率作为优先级）虽然随训练推进调整，但其指标是外部于策略优化的启发式度量。这带来两个关键缺陷：一是无法反映策略对样本的内在偏好与适配度，因为判断由外部标准做出，与策略本身脱节；二是无法量化样本对策略更新的真实边际影响，而理解每个样本对推理能力提升的贡献恰恰是优化数据利用的核心，两者都可能导致次优的参数更新。
本文的目标是本文的目标是把数据重要性估计直接嵌入 RFT 的策略优化循环，使数据利用从一次性的预处理步骤转变为随训练动态自适应的内在组件。具体而言，DIEM 希望在每个优化步都量化每个样本对当前策略改进的边际贡献，并据此动态调整该样本在后续更新中的权重，形成一个完全由模型自身动力学驱动的自组织课程机制。同时，这一机制必须满足三个工程约束：理论上有保证（重要性估计具备有界近似误差）、计算上几乎免费（作者宣称仅增加约 1.2% 的训练时间）、实现上即插即用（与 PPO、GRPO 等现有 RFT 算法广泛兼容），从而在大规模训练环境中真正可用而非停留在概念层面。
与已有工作不同的是，本文的独特切入角度是用梯度对齐作为样本影响力的一阶代理，并把它与一个保持梯度范数的约束重加权问题配对。与依赖外部难度评估器的 PCL、用通过率做代理的 SPEED-RL 不同，DIEM 的分数来自策略自身的梯度几何——样本梯度与 batch 聚合梯度的内积，天然反映策略的内在偏好；与 LIMR、HVS 等静态方法不同，该分数在每个优化步重算，随策略的非平稳演化同步更新。作者还为一阶估计器给出理论误差界，且该估计不需要凸性假设或近平稳点假设，比经典影响函数方法（Koh & Liang 等）更适合 RFT 早期高度非凸、非平稳的阶段。此外，重加权不是 Softmax 之类的简单归一化，而是最大化聚合效用同时保持总梯度 L2 范数的约束优化，有闭式解，能稳定更新步长。
核心方法
直觉上，如果一个样本的策略梯度方向与整个 batch 的聚合梯度方向一致，说明它把模型往集体前进的方向拉，是当前阶段的有用样本；方向相反则可能拖慢收敛或引入噪声。DIEM 据此在每个 RFT 优化步插入两个轻量组件：第一，动态数据重要性度量——利用标准反向传播中已经算出的各样本策略梯度，用样本梯度与 batch 聚合梯度的内积 $\langle G_z^{(t)}, G_{B_t}^{(t)}\rangle$ 估计该样本的边际贡献，正分表示与集体方向一致、负分表示背离、近零表示无影响；第二，动态数据重加权——把样本权重求解形式化为约束优化问题：最大化重要性加权的聚合效用，同时约束重加权后总梯度的 L2 范数等于原始未加权梯度的范数，保证更新幅度稳定。该问题用拉格朗日乘子法解析求解，负权重截断为零后用重加权梯度更新策略。整个流程与 PPO/GRPO 兼容，只复用已有梯度，速度测试显示额外开销仅 70.3 小时到 71.2 小时（约 1.28%）。
核心创新是把样本重要性从启发式代理升级为有理论支撑的梯度对齐度量。论文先给出一个不可直接计算的理想定义：样本 $z$ 的重要性 $I_t(z)$ 等于从更新中移除 $z$ 所引起的 batch 总奖励变化（影响函数式定义，Eq.3），正分表示有益、负分表示有害。由于直接计算需要对每个样本做一次完整梯度更新与评估，作者提出 Proposition 1：用 $\hat{I}_t(z)=\eta_t\langle G_z^{(t)}, G_{B_t}^{(t)}\rangle$（样本梯度与聚合梯度的内积）作为一阶近似。这带来两个本质区别：其一，分数随策略演化逐步重算，重要性真正“动态”，而非 LIMR/HVS 式的一次性静态赋值；其二，重加权被表述为保持梯度范数的约束问题 $\max_W I^\top W\ \mathrm{s.t.}\ \|W^\top G\|^2=\|\mathbf{1}^\top G\|^2$，相比 Softmax 归一化能同时强调高影响样本并稳定优化轨迹。消融实验证明两组件缺一不可：换掉分数掉 4.8~5.9 分，换掉重加权掉 1.6~2.6 分。
方法步骤详情
算法 1 在每个 minibatch $B_t$ 上执行五步。第一步，重要性度量：反向传播时顺便取出每个样本的策略梯度 $G_z^{(t)}$，聚合成梯度矩阵 $G\in\mathbb{R}^{N\times D}$，计算重要性向量 $\hat{I}_t(z)=\eta_t\langle G_z^{(t)}, G_{B_t}^{(t)}\rangle$。第二步，构造 Gram 矩阵 $P=GG^\top$ 与常数 $C=\|\mathbf{1}^\top G\|^2$。第三步，用闭式解求最优权重 $W^*=\sqrt{C}\,P^{-1}I/\sqrt{I^\top P^{-1}I}$，只需一次 $N\times N$ 矩阵求逆，相比数分钟级的单个 RFT 步开销可忽略。第四步，后处理：负权重截断为零，$W^*\leftarrow\max(0,W^*)$。第五步，计算重加权梯度 $G_{\mathrm{weighted}}=W^{*\top}G$，执行更新 $\theta_{t+1}=\theta_t+\eta_t G_{\mathrm{weighted}}$。
技术新颖性
技术新颖性体现在三个层面。理论层面：Proposition 2 给出误差界 $|I_t(z)-\hat{I}_t(z)|\le O(\eta_t\ell^2+2\eta_t\ell A_{\max})$（$\ell$ 为对数似然的 Lipschitz 常数、$A_{\max}$ 为优势上界），且估计不需要凸性假设或近平稳点假设，比监督学习中的经典影响函数结果（Hara et al.、Koh & Liang）更适合 RFT 早期非凸非平稳阶段。算法层面：重加权的约束优化有解析解，避免迭代求解；负权重截断在保持闭式解效率的同时重新引入非负性约束。工程层面：DIEM 完全复用 RFT 反向传播已有的梯度，无需训练辅助价值模型（对比 PCL 需 79.1 小时）、无需单独推理或预筛选（对比 LIMR/HVS 需 122.0 小时），速度测试显示基线 Vanilla RFT（GRPO）70.3 小时，加 DIEM 仅 71.2 小时，增幅约 1.28%，远低于 SPEED-RL 的 94.6 小时，是所有对比方法中开销最低的。
实验结果
LLM 实验（14,973 道数学题）：DIEM 对 GRPO 平均分：Qwen-3-1.7B +1.74（33.10 对 31.36）、Qwen2.5-3B +2.50（30.32 对 27.82）、Qwen3-4B +3.36（40.66 对 37.30）、Qwen2.5-7B +1.68（35.68 对 34.00）；AIME25 上 Qwen-3-1.7B 5.5 对 3.4（相对 62%）、Qwen2.5-7B 10.8 对 5.5（相对 96%）。VLM 上（52K 条 MM-Eureka 数据）：Qwen2.5-VL-7B 平均 61.8，超 Vanilla RFT 59.1、SPEED-RL 60.0 与 GPT-4o 60.9，六基准中五个第一；32B 平均 67.3 全部第一。效率上仅 70.3→71.2 小时（+1.28%）。消融（MathVerse、32B，满分 58.0）：分数换随机值/Pass@k/难度掉到 53.0/53.2/52.1；去掉重加权掉到 55.4、换 Softmax 掉到 56.4。训练中自发涌现由易到难的课程。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（LLM 平均，Qwen3-4B） | 五基准平均分 | 40.66 | GRPO 37.30 / LIMR 39.42 / HVS 38.14 | +3.36（对 GRPO） |
| AIME25（Qwen2.5-7B） | 准确率 % | 10.8 | GRPO 5.5 | +5.3（相对提升 96%） |
| 多模态推理平均（Qwen2.5-VL-7B） | 六基准平均分 | 61.8 | Vanilla RFT 59.1 / SPEED-RL 60.0 / GPT-4o 60.9 | 比 Vanilla RFT 高 2.7 分，超过 GPT-4o |
| 多模态推理平均（Qwen2.5-VL-32B） | 六基准平均分 | 67.3 | Vanilla RFT 64.9 / SPEED-RL 65.6 | +2.4 / +1.7，六个基准全部第一 |
| MathVerse（Qwen2.5-VL-32B，消融） | 准确率 % | 58.0 | 随机分数 53.0 / PCL 难度分数 52.1 / Softmax 重加权 56.4 | 比最差替换高 5.9 分 |
| 训练开销（7B 规模速度测试） | 训练时长（小时） | 71.2 | Vanilla RFT 70.3 / PCL 79.1 / SPEED-RL 94.6 / LIMR、HVS 122.0 | 仅 +1.28%，为所有方法最低开销 |
局限与改进
作者承认的局限：其一，Qwen3-4B 上 AMC-23 出现反例（55.0 对 GRPO 的 58.5），作者归为该模型-基准组合的个例；其二，闭式解可能产生负权重，截断为零意味着被误判为负贡献的样本被完全丢弃，存在估计误差风险；其三，理论误差界依赖于对数似然 $\ell$-Lipschitz 连续与优势上界 $A_{\max}$ 的假设，实际训练中这些量难以验证。我自己的观察：重要性定义只在“与当前 batch 相关的总奖励”上评估，是局部效用，未考虑样本对长期泛化或分布外能力的贡献；Gram 矩阵 $P=GG^\top$ 求逆在大 batch 下是 $O(N^3)$，当前设置可忽略但扩展性有隐忧；实验集中在 Qwen 系列与数学/多模态推理，未覆盖代码生成、对话对齐、安全等任务；8 个 rollout 的组内奖励方差会使单步梯度对齐分数噪声较大，论文未讨论方差控制；此外正文只说代码“将于 GitHub 发布”，写作时点尚未开源。
独立分析的弱点
独立分析三个弱点。第一，batch 内梯度对齐偏好与当前批主方向一致的样本，可能系统性低估稀有问题（少数派推理模式）的价值，长期或导致能力多样性收缩——改进方向：维护跨 batch 的梯度方向记忆库，把重要性分解为 batch 内对齐与全局对齐两部分加权融合。第二，负权重一刀切截断为零过于粗糙：若某样本真有负贡献，理想做法是做小幅反向更新或将其移出数据池，而非简单忽略——改进方向：允许小比例负权重配合步长缩减，或在线维护一个数据集黑名单用于后续 epoch 剔除。第三，单步估计的噪声未被处理：GRPO 每个提示仅 8 个 rollout，奖励方差大，$\hat{I}_t(z)$ 在相邻步可能剧烈波动，权重抖动可能抵消部分收益——改进方向：对重要性向量做指数移动平均或多步窗口平滑，并补充方差分析。另外，全部评估基于 pass/fail 可验证奖励，未验证在 RM 打分类奖励（RLHF 偏好场景）下梯度对齐信号是否依然可靠。
未来方向
作者明确承诺代码将在 GitHub（hrtan/DIEM）发布，便于社区复现与扩展。基于本文成果可延伸的方向：其一，把梯度对齐重要性从训练时重加权推广到离线数据集筛选与去重，形成训练前的数据诊断工具，服务无法承担在线 RL 的团队；其二，与更多 RFT 变体（DAPO、GPG、QPO）及更大规模模型结合，检验在代码生成、智能体任务等非数学场景的普适性；其三，理论上把 Proposition 2 的误差界推广到多步更新与自适应学习率 $\eta_t$ 的情形，并分析估计量的方差；其四，把“自组织课程”现象与显式课程学习理论对接，用干预实验验证 Hard 组权重上升与最终性能的因果关系；其五，重要性分数本身可作为可解释性信号，定位模型薄弱能力点，反过来指导针对性数据合成。
复现评估
复现条件评估：代码承诺开源于 github.com/hrtan/DIEM，但正文标注“will be released”，投稿时点尚未确认可下载，这是复现的最大不确定项。训练数据全部公开：LLM 用 MATH（7,500 题）与 dapo-math（7,473 题），VLM 从公开的 MM-Eureka 语料采样 52K 条。算力门槛较高：LLM 实验用 16 张 NVIDIA H200，VLM 7B 用 16 张 A100、32B 用 32 卡，个人或小团队难以完整复现，但可在 7B/8B 规模缩减规模验证核心结论。实现细节给出充分：基于开源 veRL 框架，prompt batch 64、每 prompt 8 rollouts、恒定学习率 $1\times 10^{-6}$、clip 0.2、最大长度 1024/2048，且核心算法只有梯度内积加 $N\times N$ 矩阵求逆，代码量小。综合判断：方法本身复现难度中低，瓶颈在算力与代码发布状态。
论文图表