基于截断步级采样与过程奖励的检索增强推理 Truncated Step-Level Sampling with Process Rewards for Retrieval-Augmented Reasoning

SLATE方法包含以下步骤：（1）初始化：对于数据集D中的每个问题x，设置空前缀 $\tau_{<1}$，步骤计数器t=1，梯度累积器 $\Delta\theta=0$。（2）步级采样循环：当 \leq B$（最大动作预算）时，执行以下操作：（a）对于j=1到k，从策略 $\pi_\theta$ 采样候选动作 ^{(j)} = (s_t^{(j)}, q_t^{(j)}) \sim \pi_\theta(\cdot | x, \tau_{<t})$，其中 ^{(j)}$ 是推理步骤，^{(j)}$ 是搜索查询或最终答案。（b）计算思考奖励 {think}^{(j)}$，如果动作包含搜索查询则加上查询奖励，如果包含答案则加上答案奖励和早停奖励 $\lambda \cdot (B-t)/B$。（c）计算步级GRPO优势：$\hat{A}_t^{(j)} = \frac{r_t^{(j)} - \bar{r}_t}{\sigma_t + \epsilon}$。（3）梯度更新：累积梯度 $\Delta\theta += \nabla_\theta \left[\frac{1}{k}\sum_{j=1}^k J_t(\theta) - \beta D_{KL}[\pi_\theta \| \pi_{ref}]\right]$，其中 (\theta)$ 是裁剪策略梯度目标，仅在LLM生成的token上计算（检索token被遮蔽）。（4）轨迹扩展：使用奖励加权采样 ^* \sim softmax(\hat{A}_t^{(1)}, ..., \hat{A}_t^{(k)} / \eta)$ 选择动作，将选定动作和检索文档添加到前缀，在步骤t+1重复。（5）批量更新：轨迹完成后执行 $\theta \leftarrow \theta + \alpha \Delta\theta$。

SLATE的技术新颖性体现在多个方面。首先，截断步级采样是首个为检索增强推理中的步骤级RL提供正式方差保证的方法。定理1证明了在三个条件下（非负未来协方差、条件独立性、方差对称性），截断估计器的期望条件方差满足 {\tau_{<t}}[\text{Var}[\hat{A}_t^{(j)} | \tau_{<t}]] \leq \frac{1}{T} \cdot \text{Var}[\hat{A}_i]$，实现了T倍方差降低。其次，分解式过程奖励设计将评估分解为推理质量、查询质量和答案正确性三个独立维度，使用三元尺度而非二值，通过LLM裁判的先推理后评分协议提高可靠性。查询在观察检索结果之前评估，奖励反映内在查询质量而非检索不确定性。早停奖励 $\lambda \cdot (B-t)/B$ 鼓励在收集足够信息后尽早回答，避免冗余查询。此外，在线GRPO优化避免了SWiRL等离线方法的分布失配问题，奖励加权采样（温度 $\eta=0.7$）平衡利用和探索，防止训练早期轨迹坍缩到单一贪心模式。

SLATE存在几个可改进的弱点：（1）计算开销：每个步骤需要k次LLM裁判评估（Gemma3-27B），加上k次策略采样，训练成本显著高于标准GRPO。改进方向：开发轻量级奖励模型或使用蒸馏技术减少裁判模型开销。（2）探索限制：截断采样只维护单一轨迹，通过奖励加权采样选择动作，探索能力有限。改进方向：可以维护多条候选轨迹，或引入更复杂的探索策略如UCB。（3）LLM裁判依赖：奖励质量完全依赖Gemma3-27B的判断能力，可能存在偏见或不一致。改进方向：训练专门的过程奖励模型，或使用多个裁判的集成。（4）短视野假设：方法假设T小于等于4的短视野，理论保证和实验设置都基于此。改进方向：研究在更长视野（如10-20步）任务上的适用性，可能需要修改采样策略。（5）奖励设计固定：三元尺度的粒度可能不够细，无法区分中等质量的不同层次。改进方向：研究连续奖励或更细粒度的离散尺度。

基于SLATE的成果，可以延伸以下研究方向：（1）扩展到更多任务类型：将截断采样和分解式奖励应用于代码生成、数学推理、多模态问答等其他需要多步推理的任务。（2）自适应截断策略：根据问题难度和模型置信度动态调整截断深度和采样数量k。（3）在线裁判学习：使用策略训练过程中产生的数据持续改进LLM裁判，实现裁判和策略的共同进化。（4）层次化截断：在不同抽象层次（如子问题分解、文档选择、答案提取）应用截断采样。（5）与其他RL算法结合：将截断采样思想扩展到PPO、ReMax等其他策略梯度方法。（6）大规模知识源：将方法应用于实时网络搜索或更大规模知识库。（7）多智能体协作：在多智能体检索增强系统中应用类似思想。（8）理论深化：放松定理1的三个假设，研究更一般条件下的方差保证。作者提到的过程奖励在检索中成功但在数学中失败的原因分析（外部接地、评估性vs预测性、短视野）也为跨领域迁移提供了研究方向。

论文提供了良好的复现条件：代码已在GitHub开源（https://github.com/algoprog/SLATE），使用标准框架（Qwen2.5、E5检索器、Wikipedia 2018数据集）。实验设置详细记录在附录A.2：使用Qwen2.5-7B-Base和3B-Base，E5检索器，top-3文档，GRPO基础算法，学习率 \times 10^{-6}$，裁剪比 $\epsilon=0.2$，KL系数 $\beta=0.001$，早停奖励 $\lambda=0.1$，奖励加权采样温度 $\eta=0.7$，Gemma3-27B作为LLM裁判，LoRA微调（rank 16, alpha=64），bfloat16精度，批次大小32，最大序列长度4096，最大动作预算B=4。训练在两张NVIDIA A100 GPU上进行500步。复现难度中等：需要A100级别的GPU资源，Gemma3-27B裁判模型需要额外显存，但LoRA微调降低了主模型的训练成本。数据集（NQ、HotpotQA训练集，七个评估基准）都是公开可用的。