GrandCode：通过智能体强化学习达到特级大师级竞技编程水平 GrandCode: Achieving Grandmaster Level in Competitive Programming via Agentic Reinforcement Learning

方法分数据准备、训练、推理三大步骤。数据准备：(1)从TACO、LeetCode、USACO、CodeContests、IOI等来源收集广泛种子题目，用Gemini 3.1 Pro扩展数据规模，再用Claude 4.6和Gemini 3.1生成详细的思考过程，形成(question, thinking, solution)三元组用于continue training。SFT阶段对每个题目用多个模型（Gemini 3.1 Pro、Claude Opus 4.6、GPT-5.4、GLM 4.5、Kimi K2.5、DeepSeek V3.2）生成候选(思考, 解法)，对简单题要求与gold solution等价，对难题用Eq. 9的打分函数 $s(c_i) = \alpha \frac{\log p_{\pi_{main}}(c_i,y|x)}{|c_i|+|y|} + \beta \frac{\log p_{\pi_{main}^{(0)}}(x|c_i)}{|x|}$ 选出最佳思考，其中 $\alpha, \beta$ 是平衡超参，第一项鼓励'能让模型想出答案'的思考，第二项惩罚'只通过答案泄露问题信息'的退化情况。训练阶段：(1)Continue training on noisy data——在Qwen 3.5-397B上继续预训练，随机将20%样本转为假设条件样本使模型熟悉有辅助信息的场景；(2)SFT——训练Qwen 3.5-397B学会预测$(c, y)$，并对 $\pi_{hypothesis}$ 和 $\pi_{summary}$ 做监督微调；(3)Multi-component RL——用GRPO联合优化 $\pi_{main}$、$\pi_{hypothesis}$ 和 $\pi_{summary}$，$\pi_{main}$ 的奖励包括可执行性、正确性、与brute-force相比的效率加速比，加上基于难度级别 $d$ 的长度惩罚 $\text{Penalty}(l, d) = \max(0, \frac{l - B \cdot \alpha^{d-1}}{B \cdot \alpha^{d-1}})$（Eq. 11）——难题允许更长思考但有上限。$\pi_{summary}$ 的训练分三阶段（Eq. 10），先做局部chunk摘要的RL（reward $= \alpha \frac{\log p(c^{(2)},...,c^{(n)},y|s_1,x)}{|c^{(2)},...,c^{(n)}|+|y|} + \beta \frac{\log p(c^{(1)}|s_1)}{|c^{(1)}|}$），再做整条摘要链的RL，最后在主RL中联合优化。$\pi_{hypothesis}$ 的奖励（Eq. 12-13）由两部分组成：通过率 $r_1(h) = \frac{1}{|T|}\sum_t \mathbb{1}[h \text{ correct on } t]$ 加下游收益 $S(x,h) - S(x,\emptyset)$。推理阶段：先用轻量分类器将题目分为5个难度等级（Level 1-5），简单题用direct generation（多解并行评估后选最优），难题启动test-time RL——用LoRA对 $\pi_{main}$ 做在线优化，目标函数（Eq. 19-20）为 $W(\theta) = \mathbb{E}[\sum_j w_j(\lambda) R^{(j)}]$，其中 $w_j(\lambda) = \frac{e^{-\lambda j}}{\sum_m e^{-\lambda m}}$ 按排名分配权重，$\lambda$ 训练时从0逐渐增大实现从'平均奖励'到'最佳奖励'的平滑过渡。RL trial摘要机制会维护一个历史搜索摘要（哪些策略试过、哪些有效、哪些无效），输入下一轮rollout。

技术新颖性体现在三个层面。算法层：Agentic GRPO（Eq. 1-7）的'即时奖励+延迟修正'两阶段更新机制是首个针对多阶段智能体rollout设计的GRPO变体，区别于已有pipeline-RL的纯off-policy控制，额外利用中间信号做信用分配。系统层：多智能体协同（$\pi_{main}$、$\pi_{hypothesis}$、$\pi_{summary}$、测试生成器）的'联合优化但分阶段预训练'策略是首个明确分离的三步走设计（先各自SFT预热，再联合RL微调），相比端到端联合训练更易诊断失败来源。基础设施层：pipeline context parallelism for DeltaNet+Softmax混合架构是首个针对此混合架构的CP调度设计，4 CP rank + 4 micro-batch时利用率达90.3%，8 micro-batch时94%，16 micro-batch时97%，接近线性扩展（Table 5）。另外'动态CP'（按难度调CP规模）、'冻结MoE路由器只更新专家FFN'（避免路由漂移）、'按难度和完成时间双维度平衡batch'等工程创新保证了在MoE长上下文场景下的训练稳定性。但需注意：大多数新颖性属于'系统级工程+算法扩展'而非基础理论突破，Agentic GRPO缺乏论文声称的完整理论分析（仅在Appendix C有简要讨论）。

独立分析的具体弱点及改进方向。**弱点1：现场赛数量极少**——仅3场且都是Div. 2/1+2联合组，未在高难度Div. 1场次测试。改进方向：在更多现场赛、更多平台（TopCoder、AtCoder、ICPC区域赛）上验证，提供更全面的对比统计。**弱点2：$\pi_{hypothesis}$ 与 $\pi_{main}$ 的协同验证缺乏**——Eq. 13中$\alpha, \beta$权重和'how to choose'未做充分消融。改进方向：增加$(S(x,h) - S(x,\emptyset))$权重的消融实验，并探索不同$\alpha/\beta$配比对最终性能的影响曲线。**弱点3：'Solution Attack'依赖gold solution**——只能用于训练集，测试时无法直接复用。改进方向：训练一个'无gold时也能生成solution-attack测试'的元学习模型，或在test-time用TTRL本身生成'准gold'。**弱点4：Agentic GRPO的延迟修正项在异步训练中可能丢失**——Eq. 14的staleness规则会把超过K2的修正项完全丢弃，与delayed correction的初衷有冲突。改进方向：区分'中间奖励时效'和'修正项时效'，对修正项设置更宽松的阈值；或设计'修正项缓冲队列'延迟丢弃。**弱点5：MoE路由冻结限制了模型适应新领域的能力**——Section 9.3承认'freeze the router entirely'以保证RL稳定性，但这等于放弃了RL的fine-grained路由学习。改进方向：探索'路由软更新'或'专家级重要性采样'以保持稳定性的同时允许路由学习。**弱点6：测试时RL只更新$\pi_{main}$**——$\pi_{hypothesis}$ 和 $\pi_{summary}$ 在test-time固定，但实际比赛不同题目可能需要不同的假设/摘要策略。改进方向：探索'轻量级test-time prompt tuning'对$\pi_{hypothesis}$的自适应调整。**弱点7：评估指标偏单一**——主要用accept rate和weighted score，对'解法优雅性'、'可读性'、'调试效率'等人类关心的维度未量化。改进方向：增加'解法复杂度'、'可读性'、'提交次数'等二级指标。

作者明确提出的未来方向：(1)**更广泛的多智能体架构**——目前假设模型/摘要模型/主求解器是分离的，未来可探索更细粒度的智能体分解（如代码生成、注释生成、复杂度分析、边界分析各成独立智能体）。(2)**强化智能体间通信**——当前多智能体通过prompt注入通信，可探索智能体间的'对话式协同'或'共享记忆'机制。(3)**泛化到其他长延迟奖励任务**——验证Agentic GRPO在数学证明、科学推理、长期对话等任务上的有效性。我基于成果可延伸的额外方向：(a)**理论基础**——为Agentic GRPO提供完整的收敛性分析和偏差上界，证明'两阶段更新优于单阶段更新'在什么条件下成立；(b)**延迟修正的优先级**——不同阶段的修正项应有不同权重，可引入'阶段重要性'学习机制；(c)**多模态扩展**——虽然论文提到多模态（Qwen本身是VLM），但对'题目有图像'的场景未充分实验；(d)**对抗鲁棒性**——现场赛可能被'恶意题'（误导性描述、隐藏陷阱）针对，可研究GRPO+对抗训练的结合；(e)**资源受限部署**——当前系统需要大规模GPU集群，研究'小模型+大模型协作'或'模型剪枝'以降低部署门槛；(f)**跨领域迁移**——把'多智能体+延迟奖励+测试时RL'框架迁移到化学合成、芯片设计、游戏AI等领域。

复现性评估整体偏负面。**未开源**——论文中未提及任何代码、模型权重或训练数据的公开承诺。**模型权重不开放**——Qwen 3.5-397B本身是闭源商用模型，论文中只是'using Qwen 3.5 as the foundation model'，复现者无法获取基座。**数据严重依赖闭源API**——训练数据生成大量调用Claude Opus 4.6、Gemini 3.1 Pro、GPT-5.4、Kimi K2.5、DeepSeek V3.2等API，这些API要么收费高昂，要么根本不复现当时的版本。**算力需求极高**——MoE模型397B参数 + 训练中需要多组件RL联合优化 + test-time RL在线更新，据描述需要'distributed GPU mesh'，初步估计需要数百张H100级别的GPU连续运行数周。**闭源基础设施**——Agentic GRPO的精确实现、pipeline CP for DeltaNet+Softmax的调度细节、TTRL中$\lambda$的curriculum schedule都未给出超参设置和实现细节。**比赛结果部分可验证**——3场Codeforces的比赛结果可被Codeforces官方榜单间接验证（但账号已可能被封禁），可作为'系统存在过'的证据但无法重跑。**正向因素**——Algorithm层面有详细数学公式（Eq. 1-20），论文架构图清晰（图2的pipeline、图5的CP调度），Table 5有完整的可复现微batch数。总体复现难度：**9/10**——除了有完整博士级RL+系统工程背景的顶级实验室外，独立研究者几乎不可能完整复现。