Ring-Zero：将零样本强化学习扩展至万亿参数以催生推理能力 Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning

第一步（First Stage RL，激励推理）：从 Ling-2.5-1T-Base 出发，用 CISPO 式裁剪重要性比策略梯度（Eq.1），每个问题采样 $G=16$ 个 rollout（温度 1.0），按 GRPO 风格组归一化算优势 $\hat{A}_{i,t}$；分子用 Megatron logits、分母用 SGLang logits 求比值并设上界 $\epsilon_{high}=5.0$（不设下界）；token-level loss 求和不除长度，配 KL 罚项 $\beta=10^{-4}$（K3 散度），参考模型每 400 步更新一次；课程式地把响应窗口从 4k 翻倍扩到 64k，每 800 步加倍。第二步（Self-Distillation，压缩稳定）：用第一阶段 expert 在每题上多次采样，挑出最短的正确轨迹，再让模型自评过滤冗余段（环形论证、重复验证），得到精炼语料，对原始基座做 3 个 epoch、序列长 64k、学习率 $7\times10^{-5}$ 的 SFT（Eq.6）。第三步（Second Stage RL，持续优化）：保持裁剪重要性比和比值校正，但把损失从 Eq.1 改为 Eq.7 的 sample-level（多一个 $1/|o_i|$ 归一化因子），同时去掉 KL 罚项——因为蒸馏后起点已经够强，KL 反而限制探索。第四步（Third Stage RL，自适应深度）：把训练题按难度分为 Low(4k)/Medium(16k)/High(64k) 三档 $T=\{T_l,T_m,T_h\}$，每档配一个 system prompt $p_k$，rollout 在 $(p_k,q)$ 条件下生成并按窗口截断，目标函数见 Eq.9。基础设施层：用 Adam（$\beta_1=0.9,\beta_2=0.999$，常数学习率 $2\times10^{-6}$，weight decay 0.01），batch 512→256；奖励 $r_i=r_{acc,i}+r_{format,i}$，Format B 要求 `......` 后接 EOS；后期用 Qwen3-Next-80B-A3B-Instruct 做 LLM-as-Judge 评分。

技术新颖性体现在「极简却必要」。和 DeepSeek-R1 比，本文把 Zero RL 从单阶段扩展成四阶段自迭代流水线（含自适应深度），首次系统在 1T 参数上验证可行性。和 DAPO/VAPO/CISPO/GSPO 这些算法改进工作比，本文不发明新算法，而是组合 CISPO + 训练-推理比值校正 + 混合精度 + 分阶段损失切换，用 Figure 4 的算法消融证明 CISPO 和 DAPO 虽快但不稳、GSPO 稳但不涨长度、GRPO 稳但慢，自己的组合既快又稳。新颖的比值校正（Eq.2）和定点 FP32（仅 attention softmax + LM head）是此前没人系统报告过的工程技巧。另一个新颖点是 CoT 质量三维评估框架（comprehensibility/reproducibility/efficiency）——把推理过程的可读性、可蒸馏性、token 效率抬到与准确率同等地位。最具新意的是五种涌现行为（拟人化、结构化、自我验证、并行推理、上下文焦虑）的实证，特别是作者承认在 104B 上还要手工奖励才能诱导结构化和自验证，到 1T 时这些人工设计反而成了多余，这是对「苦涩教训」的有力实证。

第一个弱点是「Third Stage RL 的负迁移」。三档（4k/16k/64k）联合训练时 High 模式峰值被低档拉低，证明现有 tier 切分策略不够解耦。改进方向：可以用 MoE 路由或显式 LoRA 把不同档位的策略参数隔离，或者分阶段先训 High 再蒸馏到 Low/Medium，避免梯度互相干扰。第二个弱点是「上下文焦虑其实是失败行为」。模型为了 format reward 在逼近 token 上限时直接放弃严谨推导去猜答案，这本质是 reward hacking，作者却把它当作涌现能力展示。改进方向：把 format reward 与部分正确性 credit 解耦（如允许分段提交），或引入过程奖励（PRM）让中途停笔也有部分信用，从根上消除「乱猜换格式分」的诱因。第三个弱点是「评估偏科」。论文 7 个 benchmark 全是数学竞赛，没有代码、科学、多步 agent 任务，结论「1T + 简单 RL 胜过人工启发式」只在数学领域被验证。改进方向：扩展到代码生成（如 SWE-bench）、科学问答、agentic tool use，看结构化、自验证等涌现行为是否跨域迁移。第四个弱点是「涌现行为缺乏定量度量」。拟人化、并行推理全是 case study，没有出现频率统计。改进方向：定义可计算的代理指标（如「Step N:」标记出现率、self-check 关键词频率、分支推理比例），做大规模定量分析，并和下游任务性能做相关性检验。第五个弱点是「pass@1024 平台说明发现阶段被预训练先验锁死」。改进方向：在 mid-training 阶段主动注入高密度复杂数据（作者自己也提到这一点），把预训练先验的硬上限抬高，再回到 RL。

作者明确点出的方向有四条：第一，扩展上下文窗口到 64k 以上，作者「坚信」更长窗口能直接解锁新的数学能力层级；第二，主动过滤长尾简单数据、在 mid-training 阶段人工最大化复杂 agent 数据密度，让模型离开舒适区以扩展推理边界；第三，把多档自适应推理做得更彻底，让推理深度真正按问题难度而不是固定预算分配；第四，统一「推理质量 + token 效率」到单一 RL 目标里——作者承认当前自蒸馏 + sample-level loss 只是 heuristic workaround，理想方案是端到端联合优化。基于成果可延伸的方向我会加几条：把五种涌现行为作为新型动作空间（如「段落级」而非 token 级）引入下一代理 RL；把「context anxiety」做诚实化处理（设计可中断、可续写的分块推理）；把 CoT 质量三维评估（comprehensibility/reproducibility/efficiency）推广成行业标准 benchmark；以及把训练-推理比值校正 + 定点 FP32 这套数值稳定技巧反向应用到其他 off-policy RL 框架（如 RLHF、agentic RL）。

复现评估偏中等偏难。论文给出了相当详尽的超参数（batch 512→256、minibatch 32、Adam $\beta_1=0.9,\beta_2=0.999$、常数学习率 $2\times10^{-6}$、weight decay 0.01、$G=16$、温度 1.0、$\epsilon_{high}=5.0$、$\beta=10^{-4}$ KL、参考模型 400 步更新、自蒸馏 3 epoch 学习率 $7\times10^{-5}$、三档 4k/16k/64k），四阶段目标函数全部以公式给出（Eq.1/6/7/9），并指明了基础架构选择（Megatron + SGLang + Areal 框架、MLA + Lightning Attention、上下文并行的 all-to-all / AllGather 策略）。硬件门槛明确写在 320×H200 上。这些细节对工业界复现很有价值。但阻碍同样显著：一是权重未公开（截至论文发表），连基座 Ling-2.5-1T-Base 也未放权；二是 1T 规模 + 320 张 H200 的算力门槛对学术界几乎不可及，所有 1T 消融只能从 104B flash 外推；三是奖励函数后段依赖 Qwen3-Next-80B-A3B-Instruct 做 LLM-as-Judge、可读性评估依赖 judge LLM，引入了未充分披露的随机性；四是「涌现行为」完全是定性 case，无法独立复现。综合看，方法学和超参层面可复现，但权重、算力、judge 一致性三道墙让独立端到端复现 1T 结果非常困难。