iGRPO：自我反馈驱动的LLM推理 iGRPO: Self-Feedback-Driven LLM Reasoning

iGRPO方法的具体步骤如下：首先，对于每个训练提示$$q$$，Stage 1从当前策略快照$$\pi_{\theta_{old}}$$采样N个候选草稿：$$d_i \sim \pi_{\theta_{old}}(\cdot | q), i=1,...,N$$。然后使用奖励函数$$R_\phi$$评估每个草稿，选择最高奖励的草稿：$$\hat{d} = \arg\max_{i \in \{1,...,N\}} R_\phi(d_i)$$。接下来，Stage 2构造增强提示$$q' = \text{Concat}(q, \hat{d})$$，即在原始提示后附加最佳草稿。然后从$$\pi_{\theta_{old}}$$采样G个精炼输出：$$o_j \sim \pi_{\theta_{old}}(\cdot | q'), j=1,...,G$$。这些输出获得奖励后，通过组内归一化计算优势值：$$\hat{A}_j = \frac{R_\phi(o_j) - \text{mean}(\{R_\phi(o_1),...,R_\phi(o_G)\})}{\text{std}(\{R_\phi(o_1),...,R_\phi(o_G)\})}$$。最后，使用裁剪的替代目标和KL惩罚仅对Stage 2的输出进行策略更新。关键的是，Stage 1不产生梯度，仅作为自适应探索机制塑造优化景观。

iGRPO的技术新颖性体现在几个方面。首先，它引入了'动态自我条件化'的概念，将自我反馈系统性地融入基于组的RL优化中，这在现有框架中是缺失的。其次，iGRPO建立了'引导式策略改进'的理论框架：在二元奖励下，所选最佳草稿的期望奖励为$$\mathbb{E}[R_\phi(\hat{d}_\theta(q))] = 1 - (1 - V_\theta(q))^N$$，其中$$V_\theta(q)$$是策略的成功概率，这单调递增于$$V_\theta(q)$$，从而建立了引导效应的数学保证。第三，iGRPO的两阶段设计是正交于现有GRPO改进的：它改变的是优化器看到的数据分布，而不是底层的优化目标本身，这使得它可以与DAPO、GSPO等其他变体结合使用。最后，iGRPO通过延迟熵崩溃改变了学习动态，在训练中期维持更高的探索性，从而避免了过早的模式坍缩。

从独立分析的角度，iGRPO存在几个可以改进的弱点。首先，Stage 1的选择策略是纯贪心的（选择最高奖励的草稿），这可能导致探索不足。改进方向包括：引入多样性感知的选择机制（例如选择多个高质量但不同的草稿），或者使用基于不确定性的选择（选择模型最不确定的草稿以增加学习信号）。其次，两阶段的计算分配是固定的（如N=8，G=8），但最优分配可能随训练阶段变化。可以研究自适应分配策略，根据训练进度动态调整Stage 1和Stage 2的预算比例。第三，当前方法在推理时退化为标准的单次生成，没有利用训练阶段学到的精炼能力。可以探索推理时的迭代精炼机制，例如多次采样并选择最佳输出。第四，虽然论文显示了与DAPO和GSPO的兼容性，但具体的结合方式（简单包装vs深度融合）和最优配置尚未充分研究。最后，对于长序列推理任务，当前的组内归一化可能受到序列长度的影响，需要考虑长度感知的优势估计。

基于本文的成果，可以延伸出几个有前景的未来研究方向。首先，将iGRPO的自我反馈机制扩展到其他可验证任务，如代码生成（通过单元测试验证）、定理证明（通过形式化验证）、多步问答（通过事实一致性检查）。其次，研究更复杂的自我反馈形式，例如使用模型自身的置信度估计作为额外信号，或者引入自然语言的自我评论（结合Critique-GRPO的思想）。第三，探索多轮迭代精炼，即在Stage 2的输出上再次应用iGRPO，形成更深的改进层次。第四，研究iGRPO与其他训练技术的结合，如课程学习（逐步增加问题难度）、数据增强（从模型生成中扩充训练集）。第五，将动态自我条件化的思想扩展到多智能体设置，例如让多个模型互相提供反馈。最后，理论分析可以进一步深化，研究在非二元奖励、连续奖励空间下的引导效应，以及收敛速度和样本复杂度的理论保证。

从复现评估的角度，本文提供了相对良好的复现条件。论文的代码和训练配置在GitHub上有开源实现，使用了标准的公开数据集（MATH的7,500个问题和AceReason-Math的9,400个问题）和公开可用的模型（DeepSeek-R1-Distill-Qwen-7B/14B、OpenMath-Nemotron-7B/14B、Nemotron-H-8B-Base-8K）。奖励函数是简单的规则奖励（答案正确性检查），易于实现。然而，复现需要显著的计算资源：7B模型需要2个节点（每节点8×NVIDIA A100 GPU），14B模型需要5个节点，总计约94.1 GPU小时完成一个完整训练。超参数设置在附录中有详细记录，包括学习率（1e-6）、批量大小（128）、温度（0.7）、完成长度（4096 tokens）等。评估框架使用NeMo-Skills，解码参数（温度0.6、top-p 0.95）也已明确。总体复现难度中等，主要挑战在于计算资源需求，但算法本身不涉及复杂的实现细节，熟悉GRPO/PPO的研究者应该能够顺利复现。