探索势引导的提示脚手架：多模态强化学习后训练中的自适应提示分布优化 Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training
用EPS评分找出低价值提示，教师改写为脚手架变体再注入训练，让RL持续获得有效学习信号
前置知识
GRPO（Group Relative Policy Optimization）
DeepSeekMath 提出的在线强化学习算法：对每个提示采样一组 $N$ 个回答，用组内奖励统计量归一化得到优势 $\hat{A}_i=(r_i-\bar{r})/(\sigma_r+\epsilon)$，再用带裁剪（clip）的策略梯度目标更新策略，无需训练独立的价值网络，是当前 LLM/MLLM 推理 RL 训练的主流选择。
本文方法直接嵌入 GRPO 训练循环，EPS 估计器复用的正是 GRPO 本来就要采集的组内 rollout 奖励统计量——理解 GRPO 的组采样机制才能明白为什么该方法声称'零额外开销'。
KL 正则化目标与最优策略闭式解
RLHF 类后训练常用目标 $\max_{\pi}\ \mathbb{E}_{y\sim\pi}[R(x,y)]-\beta D_{KL}(\pi\|\pi_{ref})$。对固定提示 $x$ 它有闭式最优解 $\pi^*(y|x)=\frac{1}{Z(x)}\exp(R(x,y)/\beta)\pi_{ref}(y|x)$，即 Boltzmann 形式：按奖励的指数权重重排参考策略，$\beta$ 控制偏离程度。
EPS 的理想化定义就是这个最优策略与当前策略的期望奖励之差（软改进差距），附录 B 的全部推导围绕该闭式解展开，不懂它就看不懂 EPS 从何而来。
Rollout（在线采样）
指用当前策略 $\pi_\theta$ 对提示实际生成 $N$ 条候选回答并逐条计算奖励的过程，是在线 RL 获取学习信号的基本单元。生成式 rollout 的前向推理占据了 RL 训练的大部分算力，因此'在哪些提示上 rollout'直接决定训练效率。
提示价值高低的本质是其 rollout 能否产生有效的梯度信号，EPS 正是从这些 rollout 奖励统计中计算出来的，这是全文'提示不平等'论述的物理基础。
可验证奖励（Verifiable Reward）
数学题等有标准答案的任务可用规则（如答案比对）自动判定回答对错并给出奖励，无需训练奖励模型，是数学推理 RL 训练的标准配置。本文用 MathRuler 构造验证奖励函数，用 LMMs-Eval 框架加 Qwen3-VL-Plus 作为 OOD 评测的裁判。
本文所有实验都建立在可验证奖励的多模态数学推理之上，这既是奖励信号可靠的来源，也构成了结论外推范围的主要限制。
知识蒸馏与教师角色
传统蒸馏让学生匹配教师的输出分布或直接模仿教师生成的回答（常见实现是拿教师数据做 SFT）。信息从教师流向学生的'输出空间'。本文反其道而行：教师不提供任何目标回答，而是去修改学生的训练题目本身。
把握本文与蒸馏的本质区别——'把教师监督注入训练数据而非输出目标'——是理解其核心创新点的钥匙，也是论文在相关工作中反复强调的定位。
课程学习与自适应采样
按难度或学习价值组织训练样本的策略，如从易到难调度、bandit 式课程选择；主动学习则用不确定性等采集函数挑选最有信息量的样本。共同思想是'训练数据的价值随模型状态变化'。
本文的动态提示池（保留/改写/复活三机制）本质上是一个随策略能力演化自动调整的课程系统，论文明确将自身定位为把'自适应采样'推进到'自适应提示改写'。
研究动机
在线 RL 后训练（GRPO 等）默认所有训练提示对当前策略同等有用，但实践中这一假设经常被打破。论文指出两类极端都浪费 rollout 预算：一部分提示已被当前策略'饱和'——例如 8 条 rollout 全部答对，组内优势接近零，几乎不产生梯度信息；另一部分又太难——rollout 奖励一致地差，只能提供微弱或带噪的监督。介于两者之间、让模型'有时对有时错'的提示才能支持有效的信用分配。问题在多模态场景更突出：提示混合了语言与视觉信息，推理难度随几何、空间、符号推理任务联合变化。更麻烦的是提示价值是动态的：随策略变强，原本有用的提示会饱和，原本无解的提示又会变得可学。论文的分组实验量化了这一浪费：在 MMK12 上，用全部提示池训练 1000 步的验证精度比只保留 EPS>0 的提示低 4.10 个百分点，说明低价值提示确实在拖累训练效率。
本文的目标是本文的目标是让训练提示分布随策略演化而动态自适应，把'提示分布本身'纳入优化问题。具体而言：在不增加额外 rollout 和辅助模型的前提下，实时估计每个提示对当前策略的近期学习价值（探索潜力）；对低价值提示不简单丢弃，而是利用教师模型将其改写为'脚手架'变体——保留原始任务意图、注入诊断性指导但不泄露最终答案——使后续 RL 更新重新变得有信息量；整个流程与 GRPO 异步并行，最终同时提升领域内（Geo3K/MMK12 测试集）性能与分布外（MathVerse/MathVision/MMMU/MMMU-Pro）泛化能力。
与已有工作不同的是，已有三条相关路线都留有空白：知识蒸馏在输出空间传递信息（学生模仿教师回答），与'学生从自己的 rollout 中学习'的在线 RL 范式不匹配；数据选择与策展工作多在静态数据集上一次性筛选，无法跟踪策略演化导致的提示价值漂移；提示难度建模与课程方法只做重加权或重采样，不修改提示内容本身。本文的独特切入是双重的：理论上，从 KL 正则化策略改进理论推导出可由 GRPO rollout 统计量直接计算的探索势分数 EPS 作为在线提示价值信号；工程上，把教师角色重构为'自适应课程设计师'——做训练数据精修而非输出模仿，从而把主动学习式的'选样本'推进为'改样本'，形成随策略共同演化的数据飞轮。
核心方法
直觉上，一条好提示应该让当前模型'有时对有时错'，这样 GRPO 的组内对比才能产生非零优势。方法把这一直觉形式化为一个持续运行的三阶段循环（Figure 2）：(1) Score——用探索势分数 EPS 给每个采样提示打分，估计其'局部可改进空间'；(2) Filter & Rewrite——EPS 低于阈值 $\tau=0$ 的提示被路由到教师模型改写为脚手架变体；(3) Refresh——改写后的提示异步放回训练池供未来 rollout。整个框架维护一个动态提示池，包含活跃池、改写队列、刷新缓冲区和储备集四个部件：低分提示暂时移出活跃池进入改写队列，改写结果先进缓冲区再定期合并回池，原始低分提示进入储备集并被定期重估、一旦效用回升即复活。三者叠加产生课程式效果，使有效训练分布持续适配演化的策略。
核心创新是探索势分数 EPS 的构造与'教师改写数据而非输出'的角色重构。理想化 EPS 定义为 $E(x)\triangleq\mathbb{E}_{y\sim\pi^*(y|x)}[R(x,y)]-\mathbb{E}_{y\sim\pi_\theta(y|x)}[R(x,y)]$，其中 $\pi^*(y|x)=\frac{1}{Z(x)}\exp(R(x,y)/\beta)\pi_{ref}(y|x)$ 是 KL 正则化最优策略，$E(x)$ 度量当前策略在该提示上的软改进差距：值大说明近期还有可观的学习空间，值小则提示要么已饱和要么当前过难。由于 $\pi^*$ 不可直接获得，论文用自归一化重要性采样把它化为完全基于 GRPO 组内奖励的估计：$\hat{E}(x)=\sum_{i=1}^{N} r_i\cdot\sigma_i-\bar{r}$，其中 $\sigma_i=\text{softmax}(r_1/\beta,\dots,r_N/\beta)_i$，softmax 加权项近似局部改进策略下的期望奖励，$\bar{r}$ 是当前策略的期望奖励。整个估计零额外采样、零辅助模型。与已有方法的本质区别在于：不丢弃、不重加权低价值提示，而是让教师看到学生的真实失败模式后修复数据本身——把教师监督注入训练数据而非输出目标。
方法步骤详情
完整流程对应 Algorithm 1/2。第一步，每个迭代从活跃池采样一批提示，对每个提示用当前策略 rollout $N=8$ 条回答并计算奖励（GRPO 原有步骤，输入提示与图像，输出回答与奖励）。第二步，用数值稳定的 softmax（减去最大奖励再取指数）计算 $\hat{E}(x)$，按阈值 $\tau=0$ 把提示分为保留集 $P_{keep}=\{x:\hat{E}(x)>\tau\}$ 和改写集 $P_{rewrite}=\{x:\hat{E}(x)\le\tau\}$；理想化 EPS 非负，有限样本负值主要反映采样噪声或当前过难。第三步，保留集直接用于 GRPO 梯度更新（全局 batch 16，学习率 $1\times10^{-6}$，clip $\epsilon=0.2$，KL 系数 0.01）。第四步，改写集连同学生 rollout、奖励和 EPS 值进入异步改写队列；教师模型（Qwen-VL-Max）在独立 worker 中诊断学生推理错误，生成一段以 'Please...' 开头、可原文追加到原题、不泄露最终答案的提示文本，构成脚手架提示 $x'=T(x,\{y_i\},\{r_i\},\hat{E}(x))$。第五步，$x'$ 进入刷新缓冲区，定期合并回训练池；若改写后仍低分则被再次过滤、继续改写或降优先级。第六步，定期重估储备集中曾因低分移除的原始提示，把 EPS 回升超过 $\tau$ 的提示复活，形成课程式自适应。
技术新颖性
技术新颖性有四点。第一，理论接地：EPS 不是启发式打分，而是从 KL 正则化目标经拉格朗日推导出的 Boltzmann 形式最优策略出发，经自归一化重要性采样得到的软改进差距近似；附录 B 证明理想化 EPS 非负（Proposition B.4），并刻画极限行为——$\beta\to0^+$ 时退化为 best-of-$N$ 奖励差距 $\max_i r_i-\bar{r}$，$\beta\to\infty$ 时趋于零。第二，零开销设计：估计器完全复用 GRPO 必然产生的组内奖励统计，与依赖额外评分模型或额外采样轮次的方法不同。第三，教师角色重构：从输出级蒸馏转向数据级精修，教师条件于学生的具体错误生成定向修复的提示（如澄清缺失约束、分解子目标、纠偏推理方向但不给答案），这与 GHPO 等仅给难提示加 hint 的方法也不同——本文是持续评分、改写、复活的全生命周期管理。第四，工程形态：异步 worker 使改写不阻塞主训练循环，储备集复活机制处理'提示价值随训练漂移'这一被静态方法忽略的问题。
实验结果
核心发现有五点。(1) 总体一致超越 GRPO：在两个训练集 × 两个模型规模的所有组合上均胜出。MMK12 训练时，Qwen3-VL-2B 的 OOD 平均精度从 39.50% 升至 42.83%，4B 从 50.87% 升至 52.67%；领域内 MMK12 精度 2B 从 51.40% 升至 56.40%（相对提升 9.7%，为全文最大领域内相对增益），4B 从 68.05% 升至 71.15%；Geometry3K 训练时 2B 领域内从 55.41% 升至 59.07%，4B 从 60.57% 升至 65.39%。(2) OOD 泛化增益最大：MMK12 训练的 2B 模型在 MathVision 上从 28.62% 升至 31.91%（相对 11.5%），MMMU-Pro 上从 36.59% 升至 40.64%（相对 11.1%），MathVerse 从 42.44% 升至 47.34%，说明改写带来的是超出训练分布的迁移能力而非单纯领域内奖励优化。(3) EPS 是有效的效用信号（Figure 3）：只训 EPS$\ge$0.5 的提示达 44.85% 精度，只训 00（46.00%）低 1.15 点，说明中等价值提示贡献多样性、不应激进丢弃；EPS>0 相对全池高 4.10 点，证明近零 EPS 提示确实降低训练效率。(4) 脚手架刷新真实有效（Figure 4/5）：改写后优势估计更大且更稳定为正，首次提示池刷新后 MMK12 验证精度明显跳升并全程高于 GRPO。(5) 规模效应：更大更多样的 MMK12 带来更大收益；小模型（2B）相对收益更大，但 4B 绝对性能最强。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMK12 领域内测试集（Qwen3-VL-2B） | 准确率 (%) | 56.40 | GRPO 51.40 | +5.00（相对提升 9.7%，全文最大领域内增益） |
| Geometry3K 领域内测试集（Qwen3-VL-2B） | 准确率 (%) | 59.07 | GRPO 55.41 | +3.66 |
| Geometry3K 领域内测试集（Qwen3-VL-4B） | 准确率 (%) | 65.39 | GRPO 60.57 | +4.82 |
| MMK12 领域内测试集（Qwen3-VL-4B） | 准确率 (%) | 71.15 | GRPO 68.05 | +3.10 |
| MathVision（MMK12 训练，Qwen3-VL-2B，OOD） | 准确率 (%) | 31.91 | GRPO 28.62 | +3.29（相对提升 11.5%） |
| MMMU-Pro（MMK12 训练，Qwen3-VL-2B，OOD） | 准确率 (%) | 40.64 | GRPO 36.59 | +4.05（相对提升 11.1%） |
| MathVerse（MMK12 训练，Qwen3-VL-2B，OOD） | 准确率 (%) | 47.34 | GRPO 42.44 | +4.90 |
| MathVision（MMK12 训练，Qwen3-VL-4B，OOD） | 准确率 (%) | 44.41 | GRPO 41.78 | +2.63 |
| OOD 四基准平均（MMK12 训练，Qwen3-VL-2B） | 平均准确率 (%) | 42.83 | GRPO 39.50 | +3.33 |
| OOD 四基准平均（MMK12 训练，Qwen3-VL-4B） | 平均准确率 (%) | 52.67 | GRPO 50.87 | +1.80 |
| OOD 四基准平均（Geometry3K 训练，Qwen3-VL-2B） | 平均准确率 (%) | 41.47 | GRPO 39.59 | +1.88 |
| EPS 分组对照实验（MMK12，前 1000 步） | 验证准确率 (%) | EPS>0 全组 46.00 | 未过滤全池（低 4.10 点）；仅高 EPS≥0.5 为 44.85 | 证明 EPS 的筛选与保留价值 |
局限与改进
作者承认的局限有三：(1) EPS 只是有限样本下的在线排序信号，不是校准的未来可学性度量，估计受采样噪声影响，可能错排提示；(2) 当前脚手架生成是 answer-aware 的——教师能看到参考答案以生成答案一致的提示，属于教师辅助设定，完全无答案的脚手架生成留待未来工作；(3) 实验限于有可验证奖励的多模态数学与视觉推理，向不可验证奖励或更广任务类型的扩展未验证。我补充的观察：(4) 论文承认教师侧推理成本是实际考量，且教师是闭源的 Qwen-VL-Max，改写质量与训练分布可能继承该模型的偏好与偏见；(5) 相对收益随模型规模增大而缩小（2B 的 OOD 增益 3.33 点 vs 4B 的 1.80 点），暗示方法红利可能随基座变强而递减；(6) 消融未解耦'EPS 筛选'与'教师改写'各自的独立贡献，也未与 GHPO 等提示引导基线直接对比，Evaluation judge 使用 API 模型 Qwen3-VL-Plus 也可能引入评测偏差。
独立分析的弱点
独立分析四点弱点。第一，$\tau=0$ 的语义混淆：理想化 EPS 非负，但有限样本估计的负值可能来自两种完全不同的提示——'饱和'（rollout 全对，softmax 接近均匀，$\hat{E}\approx0$）与'过难'（rollout 全错，$\bar{r}$ 极低）；前者最优处理是直接丢弃，后者才最需要脚手架改写，而 $\tau=0$ 一刀切地把两者都送去做改写，浪费教师调用。可按奖励方差 $\sigma_r$ 区分两类分别路由。第二，EPS 只用奖励标量统计，不含序列层面信息（推理长度、步骤数、自我一致性），无法区分'碰运气答对'与'稳定掌握'，可引入多组采样或答案一致性作为修正项。第三，answer-aware 设定存在变相答案泄漏风险：附录 D 案例 2 中教师脚手架几乎直接给出 $T=\pi/2$ 的关键推导，学生可能学会依赖提示而非自主推理，长期或造成'脚手架依赖'，需要在训练后期逐步撤除提示。第四，改写异步且提示延迟回流，快速训练时刷新可能滞后于策略变化，改写好的提示到达时可能已再度饱和；可引入基于策略漂移速度的刷新时机预测。此外数学公式化中 $\beta$ 的选择缺乏准则（正文未报告具体取值），小 $\beta$ 下估计器方差会急剧升高（附录 B.6.3 自己承认）。
未来方向
作者明确提出的方向：(1) 探索完全 answer-free 的脚手架生成，摆脱对参考答案的依赖；(2) 把框架扩展到不可验证奖励和更广的任务多样性。基于其成果可自然延伸的方向：(3) 将 EPS 与 easy-to-hard 课程调度、主动学习采集函数统一成一个'数据价值'理论，EPS 本质上是 RL 版的采集函数，可与不确定性采样互补；(4) 用学生自一致性或多采样投票替代教师参考答案，实现无答案改写的同时降低闭源 API 依赖；(5) 设计'脚手架退坡课程'——训练后期按 EPS 逐步剥离提示回归原始题面，防止模型形成提示依赖，并检验改写提示上学到的技能是否迁移回原始分布；(6) 将 EPS 适配到 GSPO/DAPO 等其他组归一化 RL 算法，检验估计器形式与优势归一化方式的兼容性；(7) 理论上刻画有限样本下 EPS 的偏差-方差随 $N$、$\beta$ 的关系，给出超参选择准则；(8) 在纯文本 LLM、代码 RL、Agent 任务上验证通用性；(9) 探索学生自改写（self-rewrite）或多教师集成以消除单一教师偏见并降低成本。附录 D 的三个改写成功案例（圆几何、三角函数、反比例函数）提示还可以构建'错误类型→脚手架策略'的分类学，系统性研究哪类推理错误最值得改写。
复现评估
复现评估：论文未提及开源代码或模型权重（有项目页链接，但正文与摘要均未见发布声明），这是最大障碍。有利因素：训练数据 Geometry3K、MMK12 均公开；SFT 初始策略基于公开的 OmniThoughtV4 数据集（HuggingFace: alibaba-pai/OmniThoughtV_Filter_0.5M，50 万多模态推理样本）；基座 Qwen3-VL-2B/4B 开源；评测依赖 MathRuler（GitHub 开源）、LMMs-Eval（开源框架）；脚手架生成与脚手架化提示的完整模板在附录 C 逐字给出。不利因素：教师模型 Qwen-VL-Max 为闭源 API，改写质量无法本地复刻；OOD 评测 judge 用闭源的 Qwen3-VL-Plus，数字可能有 API 版本漂移；EPS 估计器中的温度 $\beta$ 具体取值正文未报告，是复现的一个明显缺口。算力方面：8 卡 GPU + FSDP 训 3000 步、全局 batch 16、响应上限 3072 token、$N=8$ rollout，属于教研室级集群可承受的规模（2B/4B 模型），额外成本主要是教师 API 调用费用。总体复现难度中等：算法本身简单、模板齐全、超参大部分完整，但闭源教师和未公布的 $\beta$ 意味着精确对齐表中数字需要一定试错。
论文图表