面向强化学习的提示学习：一种迁移感知的提示器-推理器协同训练框架 Learning to Hint for Reinforcement Learning

HiLL 的训练流程严格按 Algorithm 1 执行，每一步可拆成 5 个动作。**步骤 1（识别退化组）**：对批次 $B$ 的每道题用 $\pi_\theta$ 采样 $G$ 条轨迹并算奖励，收集所有 $G$ 条全 0 奖励的题 $\mathcal{I}={q\in B: \sum_{i=1}^G r_i(q)=0}$。**步骤 2（生成候选提示）**：对每个 $q\in\mathcal{I}$，构造提示器输入 $c=(q,\tau_k,z^*)$（$\tau_k$ 从全错组随机挑一条，$z^*$ 仅训练可见），让 $H_\phi$ 采样 $M=4$ 条候选提示 ${h_j}_{j=1}^M$，每条最多 1024 token。**步骤 3（评估每条提示）**：先做合法性检查（不能泄漏最终答案、不能超出 10240 token 上限、格式要规范），不合法则 $R(q,h_j)=R_{\text{fail}}=-0.2$；否则推理器在 $q+h_j$ 上重采样 $G$ 条，估 $\hat{p}_h = \frac{1}{G}\sum_i r_i^{(h_j)}$；当 $0<\hat{p}_h<1$ 时再估 $\hat{\rho}_c(q,h_j)=\frac{1}{|C|}\sum_{\tau\in C}\frac{\rho(\tau;q,h)}{|\tau|}$（需要两次 teacher-forced 前向：一次在 $q+h$ 下，一次在 $q$ 下），然后按式 (7) 算 $R(q,h_j)$。**步骤 4（替换与推理器更新）**：选 $h^\star = \arg\max_j R(q,h_j)$，若 $R(q,h^\star)>0$ 则把 $(q,{\tau_i})\leftarrow(q+h^\star,{\tau_i^{h^\star}})$ 作为新输入更新推理器，否则保留原样；推理器用 DAPO 风格 GRPO（$\epsilon_{\text{low}}=0.2,\epsilon_{\text{high}}=0.28$，禁用 KL）按式 (8) 训练 500 步、batch 128、lr $10^{-6}$。**步骤 5（提示器更新）**：对每道 $q\in\mathcal{I}$，$M$ 个候选提示作为提示器 GRPO 组，按式 (9) 用组内归一化优势更新 $H_\phi$，让提示器学会避开无效提示、倾向于低依赖度且能制造混合组的提示。两步更新在同一 GPU 节点上串行执行，Ray 协调调度避免显存冲突。

技术新颖性体现在三个层面。**理论层面**：Proposition 1 给出"无提示成功率 $\ge$ 提示后成功率 $\times \exp(-\text{提示依赖度})$"，第一次把提示设计的优化目标与无提示泛化性能用严格的 KL 散度关系联系起来，$p$ 与 $p_h$ 的对数比加上正确轨迹分布的 KL 就等于平均依赖度，因此降低依赖度本质上等于缩小两个条件分布之间的差距——这是把 prompt engineering 放进信息论框架的一次尝试。**算法层面**：把"hint generation"从离线启发式（partial solution、手写 scaffold、DeepSeek-R1 蒸馏）改造为可微可优化的策略 $H_\phi$，并通过共享 FSDP 分片与 Ray 同节点调度让 hinter/reasoner 共用显存，避免了通常 RL pipeline 中两倍模型的开销。**奖励设计层面**：双因子乘积奖励 $s(\hat{p}_h;G)\cdot\exp(-\max(\hat{\rho}_c,0)/T)$ 把"信号创建"和"信号迁移"做成可独立调温的模块，$T$ 越小越保守（依赖度惩罚越重），$T$ 越大越激进（更看重产生混合组），Figure 3 显示 $T\in[0.2,0.4]$ 内都能超过无迁移加权版本。这种"模块化奖励 + 温度调节"的设计也提示后续工作可以在此基础上叠加其他目标（如多样性、推理步数控制）。

独立审视后我们认为有三个具体弱点值得改进。**弱点 1：候选提示评估的"全或无"瓶颈**——目前对每条候选提示要么成功要么记 $R_{\text{fail}}=-0.2$，这意味着当 hinter 整体探索不充分时，奖励方差会爆炸，hinter 难以学到稳定策略；改进方向是用 hindsight 经验回放或 hindsight relabeling：把"已经找到好提示的题"的失败候选也赋予部分奖励，反向训练 hinter 知道"哪种提示不该发"。**弱点 2：依赖度只在正确轨迹上估计**——这其实忽略了"错误轨迹的依赖度"也可能影响训练，比如某条提示让推理器在 $q+h$ 下产生高 reward 但完全靠提示走捷径的错误轨迹，这种轨迹进入 GRPO 组时仍会拉低其他正确轨迹的优势；改进方向是同时约束 $\rho(\tau;q,h)$ 在 $\tau\in C\cup C'$（正确+错误）上的某种均值或最大值，把"对提示依赖的整体性"也纳入奖励。**弱点 3：hinter 自身没有退化保护**——当某批次所有候选提示都是无效（泄漏答案、超长），hinter GRPO 组优势归零，hinter 完全学不到东西；改进方向是给 hinter 一个轻量"参考提示语料"做 offline warm-start，或者在 hinter 训练里加 KL 锚定项让它不至于漂移到极端输出格式。

作者没有单独列 future work，但基于成果可以延伸出几条值得探索的方向。第一，**层级化提示**——目前提示只能改单条候选，可以扩展为 hint tree：先给出方法层提示，若推理器仍全错，再给出更细的步骤提示，形成 curriculum-like 的多轮 hinter。第二，**多模态 hinter**——把 hint 从纯文本扩展到图示、公式块、甚至是中间工具调用（calculator/SymPy），让提示空间更丰富，$\rho(\tau;q,h)$ 自然延伸到"多模态依赖度"。第三，**领域迁移与泛化**——把 HiLL 框架从数学拓展到代码、多步推理、Agent 任务，关键是设计各领域下"依赖度"的具体形式，例如代码任务可以定义为 $\rho(\tau;q,h)=\log\pi(\tau|q\oplus h) - \log\pi(\tau|q)$ 但用 pass@k 或单元测试通过率作可验证奖励。第四，**hinter 蒸馏**——4B Qwen3 作 hinter 是临时方案，未来可以用一个 70B 强模型当 teacher hinter，给小模型 hinter 做 SFT/distillation，让整套 pipeline 跑得更便宜。第五，**理论扩展**——Proposition 1 只给了下界，未来可以推出"提示数量 $M$、batch 大小与最终无提示性能"的有限样本收敛率，把 HiLL 从经验方法升级为有理论保证的算法。

复现友好度整体不错，但需要相当算力。**代码**：作者明确在摘要里给出 GitHub 链接 https://github.com/Andree-9/HiLL，且声明实现基于 Liao et al. (SAGE) 的官方 codebase（verl [25] 框架 + vLLM [7] rollout）。**数据**：使用与 SAGE 一致的 15k OpenR1-Math-220k 子集（来自 NuminaMath 1.5 + ground-truth 答案与参考解），无需私有数据。**训练细节齐全**：500 步、batch 128、$G=8$、$M=4$、lr $10^{-6}$、max prompt 2048、max response 8192、hinter max prompt 10240 / response 1024、$T=0.3$、$R_{\text{fail}}=-0.2$、$\epsilon_{\text{low}}=0.2,\epsilon_{\text{high}}=0.28$、无 KL、Clip-Higher（DAPO 风格）、checkpoint 每 50 步评估一次取最优，所有超参在论文第 5 节末尾都给齐。**模型**：reasoner 用 Llama-3.2-3B-Instruct 与 Qwen2.5-7B-Instruct，hinter 用 Qwen3-4B-Instruct，均为公开权重。**评估**：温度 0.6、top-p 0.95、max response 8192、Average@16、8 个基准全部开源。**算力门槛**：8 块 B200 GPU 单次完整训练，在 Llama 上 wall-clock 大约是 GRPO 的 3.8 倍——若想完整复现所有表格（7 个基线 $\times$ 2 个模型 + 3 个温度消融 + 训练曲线），保守估计需要 200-400 GPU $\times$ hours。**评估难度**：依赖度估计的两次 teacher-forced 前向会让单步实现容易写错，建议严格按 Algorithm 1 一步步对齐；hinter 的 prompt template 在 Appendix B，是复现成败的关键。