RAGEN-2：智能体强化学习中的推理坍缩 RAGEN-2: Reasoning Collapse in Agentic RL

方法分三步实施。步骤一(诊断)：在训练rollout阶段对每个 prompt $X_i$ 采样 $G$ 条推理链 $Z_{i,k}$，用teacher forcing在所有 prompt 下计算对数似然 $\log p_\theta(Z_{i,k}|X_j)$，得到 $P\times G\times P$ 分数矩阵 $L_{i,k,j}$。从中提取 matched 与 marginal 两个长度归一化量。步骤二(估计代理)：离散代理 Retrieval-Acc 计算 $i = \arg\max_j L_{i,k,j}$ 的命中概率(随机水平 $1/P$ 约1.56%@P=64)，连续代理 MI-ZScore-EMA 计算 (matched-marginal)/sigma batch+EMA。Table 1 给出6种变体，分别覆盖首轮vs全轨迹、离散vs连续、是否长度归一。步骤三(干预)：在每次策略更新前，按 prompt 维 reward variance 排序，用累积质量阈值 $\tau=\rho\sum_i \hat{\text{Var}}(R|X_i)$ 选出 top 子集 $S$，过滤后的目标函数 $\mathcal{L}_\rho(\theta) = \frac{1}{k^*}\sum_{i\in S}\sum_{j\in B_i}\mathcal{L}_\theta(\xi_j)$ 仅在 $S$ 上计算，并把per-step loss按 $\rho$ 缩放以保持更新步长可比。Table 8 给出事前可计算的诊断量 Std/Mean(RV)，比值大于1时过滤效果显著。

技术新颖性体现在三个层面。第一，概念层面：首次把模板坍缩形式化为 $I(X;Z)\to 0$ 伴随 $H(Z|X)$ 维持高位的现象，并证明四个推理状态(Figure 1)的分类学，明确指出 Template Collapse 是熵监控盲区。第二，方法层面：Table 1 的MI代理族是无外部模型、复用训练rollout的轻量级实现，其In-Batch Cross-Scoring把I(X;Z)估计问题转化为batch内检索任务，与MINE类互信息估计相比计算量低两个数量级。第三，机制层面：Figure 3 的梯度分解实证(任务梯度随reward variance单调上升、正则化梯度保持平坦)+ Theorem G.1 的Cauchy-Schwarz上界 $|g_\text{task}(x)|\leq \sqrt{\hat{\text{Var}}(R|X=x)}\cdot C$，建立了奖励方差→梯度信噪比→输入依赖性完整因果链，这一严格化是把现象问题转化为可工程化旋钮的关键。

独立分析本文存在四个可改进方向。第一，MI代理依赖 teacher forcing 在所有 prompt 下重打分，计算复杂度为 $O(P^2 G)$，当 prompt batch 很大(如>64)时 overhead 会明显上升(虽然论文称<0.1% iteration time，但需在更大batch上验证)；可考虑只用 top-K 相似 prompt 做负样本以降低复杂度。第二，固定 keep rate rho=0.9 在不同任务上手调负担重，Table 8 提出的 Std/Mean(RV) 事前诊断仅在 Sokoban/FrozenLake 上验证，缺乏更广任务谱的阈值校准曲线。第三，SNR机制假设任务信号与正则化梯度方向独立，但 Figure 2/3 的分解图是经验性而非严格证明，Theorem G.1 仅给出上界而非等号条件；可补充在控制环境(如Toy MDP)上的严格因果推断。第四，文章对格式合规但语义空心现象(Figure 12)的讨论定性多于定量，缺乏一个直接衡量模板占比的文本度量(如self-BLEU或n-gram重复率)与MI代理的相关性分析。

作者在 Limitations 中点明三个未来方向：多智能体RL下的坍缩传播、模型博弈过滤准则的对抗鲁棒性、稀疏奖励下替代SNR代理的设计。基于成果我看到四个可延伸方向：(1)把SNR框架扩展到per-step或per-segment级别，针对长horizon任务设计hierarchical RV，估计子目标层级的信号强度；(2)把互信息代理与显式去模板化正则项结合，比如在loss中加 -lambda I(X;Z) 约束，实现端到端优化而无需事后过滤；(3)把Retrieval-Acc的batch内检索推广到cross-batch检索，构建长期I(X;Z)时间序列，研究其作为early warning的lead time；(4)在RLHF/RLAIF等偏好对齐场景下检验模板坍缩，因为对齐阶段奖励更稀疏、更易出现低方差prompt，可能是坍缩重灾区；(5)把格式合规vs语义空心(Figure 12)的解耦作为评测维度，发布专门的多轮agent reasoning quality benchmark。

复现评估整体良好但有门槛。代码方面，作者团队是 RAGEN 原班人马，RAGEN-2 基于 RAGEN 测试床和 veRL/HybridFlow 栈，论文引用 appendix 与 GitHub 链接(论文 18 页有官方页面 ragen-ai.github.io/v2/)，但 v2 仓库在本文写作时点尚未公开全部代码，作者明示 RAGEN 原仓库可复用部分基础设施。数据方面，所有任务(Sokoban/FrozenLake/MetaMathQA/Countdown/SearchQA/WebShop/DeepCoder)都是开源benchmark或自带生成器，无私有数据。算力门槛较高：Qwen2.5-7B 训练需要多卡A100/H100集群，作者主要用 3B 模型做消融；Table 5 显示单步89-92秒、VRAM约 202GB 表明每实验需要至少 4-8 张 80GB A100。难度上，方法本身实现简单(核心是 reward variance 排序 + top-p 过滤)，但要复现 Table 4 全部 16 个配置需约 50-100 GPU-days，对学术实验室有较高门槛；附录 C/G 提供了较详细的代理实现细节与过滤策略变体说明。