用于稳定异步强化学习的陈旧度自适应信赖域 Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning
SAT让PPO裁剪半径按批次内陈旧度自适应收缩，稳定异步RL训练
前置知识
PPO裁剪目标
近端策略优化通过裁剪重要性比率 $r=\pi/\mu$ 来限制策略更新幅度，核心是 $\bar{r}^{PPO}=\text{clip}(r,1-\varepsilon,1+\varepsilon)$，只对采样动作施加固定半径的外向门控，保留pull-back更新。它不约束全词汇分布，只是采样层面的代理。
SAT的本质就是直接替换这个裁剪区间，理解PPO裁剪才能理解SAT改了什么、为什么这样改、为何保持基线行为可还原。
batch-wise异步RL
rollout生成（SGLang推理引擎）和优化（Megatron训练引擎）跑在解耦的GPU池上，每隔 $n$ 个trainer步广播一次权重，称 $n$ 为configured lag。被优化的batch所用behavior policy $\mu_{b,t}$ 与当前train policy $\pi^{(j)}$ 已隔了 $n$ 个策略版本。
这是论文的核心实验设置，SAT所有概念都围绕configured lag与实现mismatch展开，不懂异步范式无法理解staleness从何而来。
有限时策略改进界与总变差散度
在有限时生成任务中，$J(\pi)-J(\mu)\geq L'_\mu(\pi)-4\xi\mathbb{E}\sum_t D_{TV}(\mu[\cdot|s_t]\|\pi[\cdot|s_t])$，近似惩罚是累积的token级总变差散度 $D_{TV}$。Lemma给出 $D_{TV}=\frac{1}{2}\mathbb{E}|r_s(a)-1|$。
本文全部论证起点：硬全动作比率包络能控制 $D_{TV}$ 进而控制改进界的近似误差，而PPO采样裁剪不是这种硬包络，这是SAT存在的理论缺口。
GRPO与GSPO
Group Relative Policy Optimization以组内相对奖励估计优势，是token级比率目标；GSPO（Group Sequence Policy Optimization）改用长度归一化序列级比率 $\rho^{seq}_b$。两者均为大模型RL的主流基线。
论文的实验grid围绕GRPO/GSPO加各种stabilizer展开，SAT同时给出token级和序列级两种实现，理解这两个算法才能看懂baseline对比与SAT的GSPO扩展。
研究动机
异步RL把rollout和优化解耦到不同GPU池、每隔 $n$ 步广播权重，导致严重的训练-推理不匹配。论文形式化了这一mismatch $d_{b,t}=\log r_{b,t}=\Delta\pi_{b,t}+\Delta\text{impl}_{b,t}$，它同时包含策略更新分量与实现分量（引擎内核、低精度数值、MoE路由差异）。实验显示在configured lag=8时，mismatch $\bar{d}_\pi$ 超过0.03、KL诊断超过 $2.8\times10^{-3}$，呈重尾spike；GSPO在lag 8时第449步从约0.34坍塌到0.14。而PPO的固定裁剪半径把每个token视为同等可靠，在高陈旧度尾部给出错误先验：均匀小半径饿死大多数token的学习，均匀大半径则给高陈旧度尾部与可靠数据相同的外向容许。
本文的目标是让PPO的裁剪半径根据每个批次观测到的陈旧度自适应地收缩，使异步RL在高陈旧度场景下更稳定。从有限时LLM策略改进界看，为抑制未来训练-推理散度增长，clip radius应精确地在观测到的高陈旧度尾部收缩，而非对所有token保持固定。本文目标是设计一个即插即用、可在普通token上完全还原基线行为、仅在外向高陈旧度带上更保守的机制，并给出其更新几何的精确刻画（区间包含、点wise悲观、变化轨迹的精确位置）。
与已有工作不同的是，本文的独特切入角度在于把'应该做什么'与'能做什么'明确区分。从有限时改进界可知，statewise总变差散度精确等于绝对比率偏差的行为期望，硬全动作包络 $|r_s(a)-1|\leq\varepsilon$ 能控制它——但实际只能观测到采样动作。作者因此把detached采样log-ratio $d_{b,t}$ 当作per-token风险代理，在采样目标层级而非全词汇层级操作，用批次内自校准分位数识别尾部，仅收缩sign-selected端点。这与DPPO的行为概率加权边界本质不同：SAT的活跃边界由当前批次的观测陈旧度决定，而非由 $\mu(a|s)$ 直接决定。
核心方法
整体直觉是：高陈旧度token的mismatch会局部放大散度惩罚，因此应收到更紧的外向容许。技术路线上，SAT并非新目标族，而是PPO裁剪的drop-in替换：它把detached采样log-ratio作为per-token陈旧度代理，通过批次内自校准分位数 $q$（α=0.90）识别高陈旧度尾部，用单调核函数 $\psi(u;q)=1/(1+(u/q)^2)$ 将异常大的陈旧度映射到更紧的外向容许，仅收缩sign-selected端点。整个过程每批次仅多一次分位数计算加少量逐元素张量运算，普通token与pull-back更新完全保持基线行为，禁用时精确还原底层目标。
核心创新是sign-selected的端点收缩与批次内相对校准的结合。当采样比率已在1之上时，规则只收紧区间上侧 $\tilde{\varepsilon}_{high}$；在1之下时只收紧下侧 $\tilde{\varepsilon}_{low}$，从而避免抑制已经向行为策略回拉的pull-back移动。批次内分位数 $q$ 使方法响应mismatch尾部的相对形状而非绝对尺度，无需手工绝对阈值。这与PPO固定半径、DPPO行为概率加权边界本质不同：SAT的活跃边界由当前批次的观测陈旧度决定，gate关时与PPO完全一致，gate触发时仅sign-selected端点严格内移、对侧不变。
方法步骤详情
SAT分四步。(1) Detached陈旧度：取 $d_{b,t}=\log r_{b,t}$ 并stop-gradient得 $d^{sg}_{b,t}$，只决定裁剪保守度不参与优化。(2) 核函数缩放：先由detached经验分位数 $q$标定尾部，再对sign-separated幅度 $u_{\pm}$ 用hill核 $\psi=1/(1+(u/q)^2)$ 映射。(3) 收缩因子：当 $q>0$ 且 $|d^{sg}|>q$ 时 $c_{\pm}=\psi(u_{\pm};q)$ 否则为1，得自适应半径 $\tilde{\varepsilon}_{low}=\varepsilon_{low}c_-$、$\tilde{\varepsilon}_{high}=\varepsilon_{high}c_+$。(4) 代入：$\bar{r}^{SAT}=\text{clip}(r,1-\tilde{\varepsilon}_{low},1+\tilde{\varepsilon}_{high})$，$S^{SAT}=\min(r\hat{A},\bar{r}^{SAT}\hat{A})$。
技术新颖性
技术新颖性在于精确的更新几何刻画与对采样代理的诚实定位。Proposition 4.1给出三点：(i) 包含 $I^{SAT}_{b,t}\subseteq I^{PPO}$，gate关时区间重合，触发时sign-selected端点严格内移、对侧不变；(ii) 点wise悲观 $S^{SAT}(r,\hat{A})\leq S^{PPO}(r,\hat{A})$；(iii) 精确变化轨迹：在停止裁剪限固定的条件下，导数差异仅出现在新裁剪的外向带 $\{\hat{A}>0,1+\varepsilon_{high}c_+<r<1+\varepsilon_{high}\}$ 或 $\{\hat{A}<0,1-\varepsilon_{low}<r<1-\varepsilon_{low}c_-\}$ 上，SAT导数为零而PPO保留外向导数 $\hat{A}$。这种承认无法施加硬全动作信赖域、只在采样层级精确收缩的克制设计，是区别于以往非对称裁剪工作的关键。
实验结果
Table 1主结果显示SAT-GSPO w/ R3在两个lag下均排第一：lag 1达35.83、lag 8达34.79。相对GRPO与GSPO，lag 1增益分别为+4.58与+3.58分，lag 8增益+4.62与+3.33分；相对DPPO增益lag 1为+1.87、lag 8为+2.08。$\bar{d}_\pi$列显示采样mismatch随lag上升，但表现更好的非坍塌配置占据更低mismatch带——SAT-GSPO w/ R3记录0.0056（lag 1）与0.0076（lag 8），对比GSPO的0.0097与0.0109。vanilla GRPO与GSPO在高陈旧度下分别于429与424步训练坍塌。Figure 4进一步表明R3对稳定mismatch至关重要：用R3的方法把log prob差异限制在约0.007附近紧致波动，不用R3则漂移到0.011。DPPO lag 1达33.96、lag 8达32.71，两lag均超GRPO基线并避免后期坍塌，但仍落后SAT，说明非对称门控本身不充分、设置有效边界的规则更重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24数学推理（avg@8） | avg@8准确率（%） | SAT-GSPO w/ R3 lag1=35.83、lag8=34.79；SAT-GSPO lag1=34.17、lag8=32.71 | GRPO lag1=31.25、lag8=30.17；GSPO lag1=32.25、lag8=31.46；DPPO lag1=33.96、lag8=32.71 | 相对GRPO lag1 +4.58、lag8 +4.62；相对GSPO lag1 +3.58、lag8 +3.33；相对DPPO lag1 +1.87、lag8 +2.08 |
| 训练-推理mismatch $\bar{d}_\pi$（越低越稳定） | 末epoch采样mismatch | SAT-GSPO w/ R3 lag1=0.0056、lag8=0.0076；SAT-GRPO w/ R3 lag1=0.0056、lag8=0.0079 | GSPO lag1=0.0097、lag8=0.0109；GRPO lag1=0.0103、lag8=0.0110 | SAT-GSPO w/ R3相比GSPO mismatch约降低42%（lag1）与30%（lag8），同时性能更高且无坍塌 |
局限与改进
作者承认两点核心局限：(1) 代理层控制——SAT收缩的是采样名义区间而非实现的策略本身，学习到的策略仍可移出该区间，未观测词汇动作仍无约束，代理 $|\log r|$ 不应等同于 $D_{TV}$ 或版本年龄，因为它省略了式(12)中 $\frac{1}{2}\mu(a|s)|r(a)-1|$ 的概率质量权重，并混合了策略lag与实现mismatch。(2) 相对自适应——因参考分位数 $q$ 为每个批次重算，方法响应当前mismatch尾部而非绝对尺度，故不意味着一旦PPO原始边界已激活就随configured lag单调收缩。我额外观察到：评估范围窄（仅AIME24单一benchmark、仅Qwen3-30B-A3B一个MoE模型、仅lag 1与8两个点），且MoE路由分量无法被独立诊断，缺乏与概率质量加权替代方案的实验对比。
独立分析的弱点
弱点一：评估范围过窄。仅AIME24数学推理benchmark，无法说明SAT是否泛化到代码、通用对话、安全对齐等其他RLHF任务。改进方向是扩展到多任务多benchmark评测（如代码生成、多步agent任务）。弱点二：MoE路由分量不可独立诊断。$d_{b,t}$ 混合 $\Delta\pi$ 与 $\Delta\text{impl}$，作者自己也承认没有中间分布无法唯一加性分解。改进方向是在MoE路由层插入探针，分离路由不一致与策略更新贡献，使R3与SAT的归因更清晰。弱点三：概率质量加权替代未实证探索。作者指出采样代理忽略 $\mu(a|s)$ 权重、稀有动作可有巨大比率但移动很少概率质量。改进方向是设计概率质量加权的per-token风险评分，或在概率空间而非对数比率空间校准分位数并做对照实验。弱点四：仅mild vs high lag二分。configured lag只测1和8，中间过渡区（2、4）行为未知，改进方向是密集扫描lag刻画SAT增益的连续变化曲线。
未来方向
作者明确提出三方面后续：概率质量加权的per-token风险评分作为自然延伸；top-k/top-p截断下支持兼容性的分离处理（Appendix E已部分讨论，因为截断会违反全词汇support条件）；路由replay（R3）与SAT的更深组合优化，弄清两者互补性。基于本成果还可延伸：将sign-selected自适应思路推广到其他非对称裁剪族（SPO、DRPO），看统一设计空间下的最优边界规则；把detached批次分位数校准机制迁移到其他对mismatch敏感的训练信号，如KL惩罚项、奖励模型对齐；在百B级MoE模型上验证mismatch尾部是否仍为可控的少量token，以决定SAT是否随规模保持优势。
复现评估
复现评估：论文提供project page（https://jyyang26.github.io/stable_async_analysis），Appendix F列出完整超参数、硬件与并行度。模型用开源Qwen3-30B-A3B-Base（MoE，刻意选它以激活实现mismatch与路由分量），数据为DAPO-Math-17k与Dolci-RL-Zero-Math-7B共30,712 prompts，框架slime（异步RL）+SGLang+Megatron均为开源，奖励为rule-based verifier，相对可复现。但算力门槛极高：每次迭代256 prompts×16 samples=4096 responses，544次rollout迭代，在完全解耦的双GPU池上跑30B MoE，论文未明确具体GPU数量，端到端复现整个异步pipeline对一般实验室较难。SAT本身实现成本低（每批次一次分位数+少量逐元素运算），单独移植到已有RL框架相对容易，是较友好的工程点。
论文图表
展示batch-wise异步RL的pipeline：rollout引擎（SGLang）和训练引擎（Megatron）跑在解耦的GPU池上，权重每隔n个optimizer步广播一次，形成configured lag。标注了 $\mu^0、\mu^8、\mu^{16}$ 等behavior policy版本与 $\mu^{24}$ 训练侧权重广播时刻。
定义了全文核心符号 $\mu_{b,t}$、$\pi^{(j)}$、$d_{b,t}$ 与configured lag概念，是理解staleness从何而来、SAT针对什么的起点，必看。
两个面板分别展示batch平均的mismatch $\bar{d}_\pi$（左）与train-rollout KL幅度（右），对比configured lag=1与lag=8的轨迹。lag=8时 $\bar{d}_\pi$ 超过0.03、KL超过 $2.8\times10^{-3}$，出现重尾spike，并标注高lag轨迹首次离开低mismatch基线带的时刻。
直接量化staleness inflation症状，说明高lag下mismatch分布变宽而非中心移动，是motivation的核心证据。
画出GSPO在某variance method下configured lag=1与8的AIME24评测曲线。lag=1稳定在约0.30附近，lag=8峰值约0.34后在第449步坍塌到约0.14，坍塌点用标注点与标签明确标出。
展示高陈旧度下评测坍塌的灾难性后果，与Figure 2的mismatch信号在时间上对齐，论证staleness直接威胁训练稳定性。