揭示隐式优势对称性：为何GRPO在探索和难度适应上表现挣扎 Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation

A-GRAE的实现包含以下步骤：首先，计算批量平均奖励ωs = (∑ri) / B作为训练状态的代理指标，其中B是批量中的总轨迹数，ωs越高表示模型能力越强。然后，在样本级别实现动态注意力转移：Ai = (ωs·ri / (2·std·√p)) + ((1-ωs)·ri / (2·std·√(1-p)))，其中p是采样成功率。这个公式的直觉是：当ωs较低（训练早期）时，简单样本（高p）获得更多权重；当ωs较高（训练后期）时，困难样本（低p）获得更多权重。在组级别，对正优势进行衰减抑制：当Ai > 0时，A* = α·min(1, ωs)·Ai；当Ai ≤ 0时，A* = Ai，其中α ≤ 1是缩放参数。最后，将计算得到的A*代入GRPO的目标函数进行策略优化。

本文的技术新颖性体现在多个层面。首先，理论贡献是首次识别并形式化了GRAE的优势对称性性质，这为理解GRPO及其变体的行为提供了统一的解释框架。其次，Theorem 1（行为空间中的logits更新）和Theorem 2（更新幅度与样本难度的关系）提供了严格的数学分析，其中Theorem 2揭示了∑|Ai| = 2|G|√(p(1-p))的关键公式，解释了为何中等难度样本获得最大更新。第三，实验设计的创新在于通过系统性的控制实验（放大vs抑制正确轨迹、硬聚焦vs软聚焦）验证对称性的因果效应，这种'反事实'实验设计在RLVR领域是新颖的。最后，A-GRAE的动态调节机制（基于ωs的自适应权重）比静态策略更加符合训练动态的需求。

本文存在几个值得深入探讨的弱点。首先，Theorem 2的推导假设了二元奖励（ri ∈ {0, 1}），但对于更复杂的奖励函数（如部分正确的连续奖励），优势对称性的表现可能不同，这限制了理论的普适性。改进方向是将分析扩展到连续奖励空间。其次，动态调节机制依赖于批量平均奖励ωs，这可能受到批量大小和采样策略的影响，在小批量或高度不平衡的采样中可能不稳定。可以考虑使用指数移动平均或其他更鲁棒的状态估计方法。第三，组级别的衰减抑制策略（α·min(1, ωs)·Ai）中，α的选择缺乏理论指导，可以探索自适应的α调整策略。第四，论文未充分讨论不同α值对训练稳定性的影响，消融实验中只展示了α=10的结果，缺乏更细致的超参数敏感性分析。

基于本文的成果，可以从多个方向进行延伸研究。首先，可以将A-GRAE扩展到更广泛的RLVR任务中，如代码生成、工具使用、多轮对话等，验证优势对称性问题在这些领域是否同样存在。其次，可以探索更精细的动态调节策略，例如基于课程学习理论的自适应难度调度，或者基于元学习的自动超参数调整。第三，可以将优势对称性的分析与其他改进GRPO的方法（如token级别的优势估计、过程奖励模型）相结合，探索是否存在协同效应。第四，可以进一步研究优势对称性与模型规模的关系，即在更大规模的模型（如70B、400B参数）中，对称性问题是否更加严重或有所缓解。第五，可以探索在分布式训练环境中A-GRAE的实现和优化，因为当前的分析主要基于单进程设置。

本文在复现性方面提供了较好的支持。作者在GitHub上开源了代码（https://github.com/HKU-HealthAI/A-GRAE），这大大降低了复现门槛。实验使用了公开可用的模型（Qwen2.5-Math-7B、Llama-3.2-3B-Instruct、Qwen2.5-VL-3B-Instruct）和数据集（MATH、AMC23、AIME2025等），这些都是广泛使用的基准。训练框架verl也是开源的。超参数设置相对明确（batch size=1024, G=8, mini-batch=256, lr=1e-6）。然而，完整复现可能需要相当的计算资源（7B模型的RL训练通常需要多GPU），且论文未提供详细的硬件配置和训练时间。此外，A-GRAE引入的超参数α需要额外的调参工作，可能影响复现的一致性。