自评估递归智能体 Self-Evaluating Recursive Agents
训练递归智能体自己写评分量规，让学会评估反过来提升分解与解题能力
前置知识
递归智能体（Recursive Agent）
指由同一套策略权重驱动的语言模型智能体树：根节点接收原始任务，可以把任务拆解成子任务并委托（delegate）给子节点的全新上下文实例，子节点又可继续委托，直到叶节点直接求解并逐层返回结果。与固定脚手架的多智能体系统不同，递归智能体的树结构、子任务内容和深度全部由策略在运行时自己生成，是继更长思维链、更宽采样之外的又一条测试时扩展轴。
SERA 的全部设计都围绕「同一套权重同时承担分解、执行、评估三种角色」展开，不理解递归结构就无法理解为何评估能力能反哺执行能力。
Rubric（评分量规）奖励
Rubric 是一组带权重的自然语言成功标准 $\rho_v=\{(k_{v,j}, w_{v,j})\}$，权重归一化 $\sum_j w_{v,j}=1$。子任务结束后评分者逐条给每个标准打 $c_{v,j}\in[0,1]$ 分，并附带一个二值完成门控 $g_v$，节点得分为 $s_v=g_v\sum_j w_{v,j}c_{v,j}\in[0,1]$。相比二值的「过/不过」信号，它给出连续、子任务特定的分数，能区分「干净利落的解法」和「勉强及格的解法」。
SERA 的核心就是把生成 rubric 变成策略自身的一项可训练能力，并用它替代外部 judge 提供逐节点的密集执行奖励。
Leave-one-out 优势估计与 CISPO
GRPO 式的 RL 不训练价值网络，而是对同一任务采样一组 rollout，用组内其他样本的平均奖励作基线得到优势 $A=r-\mathrm{mean}(r)$。CISPO 是带裁剪的重要性采样策略梯度：$\ell_t=-\mathrm{sg}\,\mathrm{clip}(\varrho_t,c_{\min},c_{\max})\tilde A_t\log\pi_\theta(a_t|h_t)$，其中 $\varrho_t=\pi_\theta/\pi_{\mathrm{old}}$，对 token 级长序列更新更稳定。
SERA 的三路奖励各自经过不同的 LOO 基线转成优势，再共用 CISPO 目标交替更新共享策略，这是读懂第 3.5–3.6 节的前提。
Margin Ranking Loss（间隔排序损失）
成对排序损失 $\mathcal{L}_{\mathrm{rank}}=\frac{1}{|P|}\sum_{(i,j)\in P}\max(0,\delta-s_i+s_j)$，其中 $P=\{(i,j):y_i>y_j\}$ 是验证结果上 $i$ 严格优于 $j$ 的样本对，$\delta>0$ 是要求的最小分数间隔。它只要求「成功者得分高于失败者至少 $\delta$」，不要求绝对分数跨任务校准，因此能天然隔离不同子任务之间的难度差异。
SERA 正是用这个损失把 rubric 生成锚定在外部验证结果上，防止评估与执行在共享权重下共谋抬分。
信用分配与过程奖励
当只有最终结果可验证（代码能跑通、答案能对上）时，RL 只有稀疏的根奖励，很难判断树中哪个中间决策立了功。过程奖励/密集奖励通过给中间步骤打分来定位功劳，如过程奖励模型 PRM、逐步验证；经典分层 RL（options、goal-conditioned）则跨层级分配信用，但假设子任务类型或深度固定。
递归智能体树中的每个委托决策、每条子任务轨迹都需要各自的学习信号，SERA 的三个奖励正是对这一问题的针对性重构。
研究动机
递归语言模型智能体把一个无法一次做完的任务拆成树状子任务并逐层委托给同一策略的子实例，其训练却面临监督稀缺且分布不均的困境：根任务的最终结果通常可验证（答案可查、代码可测），但智能体自己发明的中间子任务几乎没有真值可对照。最接近的已有方法 RAO（Recursive Agent Optimization, Gandhi et al. 2026）用验证器或 LLM judge 给每个节点打二值成败标签作为局部奖励，但这带来三个问题。其一是信号太粗：二值标签无法区分「干净利落的解法」与「勉强及格的解法」，也发现不了成功树内部的劣质环节。其二是成本太高：论文统计 RAO 在 TextCraft-Synth 上训练累计需要 550.94K 次验证器调用，在 TextWorld-Sync 上需要 147.80K 次 judge 调用和 633.80M 输入 token。其三是对分解质量完全沉默：奖励只问子任务有没有被解决，不问拆出来的子任务本身对不对，而在共享状态、依赖链环境中「拆错任务」往往直接决定整棵树的失败。
本文的目标是本文目标是把递归智能体的训练重新表述为在同一套共享权重中学习三个耦合能力：分解（决定如何把任务拆成子问题）、执行（解决委托来的子任务）、评估（判断委托出去的工作是否真正完成），并为每种能力设计互不干扰的专属训练信号。具体希望做到三点：让每个中间节点获得连续、子任务特定的密集奖励，而不必逐节点调用外部 judge；让分解决策本身得到直接奖励，使智能体学会用委托承担结构性负载；让评估标准与真实子任务成败对齐，防止自我评估被「刷分」。最终在 TextCraft-Synth 与 TextWorld-Sync 两个基准上超越强递归基线 RAO，并让学到的评估能力在推理时还能充当树搜索的选择器，成为额外的测试时扩展轴。
与已有工作不同的是，本文的独特切入角度在于：评估不是外挂的验证器，而是策略自身学出来的能力。与 RAO 直接用外部二值标签当奖励不同，SERA 让父节点在委托前先「事前承诺」一份冻结的加权 rubric，子任务跑完后由同一策略的另一次无梯度调用来打分，外部 judge 只用于训练 rubric 生成器本身。与已有 rubric-RL 工作（RubricEM、ARCO、EvoRubrics 等）相比，那些方法都假设平坦或固定阶段的计算、rubric 模型独立于策略；SERA 面对的是拓扑逐 rollout 变化的动态树，评估者就是策略自己，评估与执行共享权重。此外，已有 rubric 学习青睐的「无标签区分度」信号（奖励分数分散）在树设定下被发现有害——分数方差更多反映子任务难度差异而非 rubric 质量，SERA 改用验证成败对的排序目标，这也是对奖励黑客风险的一种结构性防御。
核心方法
直觉上，SERA 认为「会评判子任务好坏」与「会做子任务」在共享权重下是相互促进的：学会写出能区分成败的标准，执行方式也会随之改变——这是全文的中心实证发现。技术路线上，给定根任务 $x$，策略 $\pi_\theta$ 可直接求解或发出委托动作生成子智能体，递归构成树 $T$；为做方差缩减，每个根任务独立采样 $K=8$ 棵树。三路信号分别训练三种能力：执行奖励让每个非根节点获得连续的 rubric 分数 $s_v=g_v\sum_j w_{v,j}c_{v,j}$，根节点用环境奖励 $R_i$；叶覆盖奖励 $r_{\mathrm{leaf}}=R_i\cdot|L_i(e)|/|L(T_i)|$ 按「该委托子树组织了多少叶层工作」给分解决策记功，失败树中一律为零；rubric 生成奖励用间隔排序损失 $\mathcal{L}_{\mathrm{rank}}$ 要求 rubric 在同一子任务的反事实 rollout 组中把验证成功者排在失败者之上。三种优势各用各的 LOO 基线，共用 CISPO 目标与深度逆频加权 $\omega_t\propto 1/N_{d(t)}$，按 $n_{\mathrm{exec}}:n_{\mathrm{leaf}}:n_{\mathrm{rub}}=16:2:2$ 的比例交替更新，每步只激活一个目标。
核心创新是三个相互咬合的设计。第一，事前承诺的 rubric：父节点在子任务运行之前就写下加权的自然语言成功标准并冻结（式 (1)），生成时只能看到委托时刻的信息、永远看不到将要打分的轨迹，从机制上杜绝「先看答案再定标准」的共谋。第二，锚定验证结果的排序训练：因为 rubric 生成器与求解器共享权重，若用根任务奖励训练 rubric，两者会共适应、一起抬分而无实质改进；SERA 因此在委托点克隆环境状态、采样 $B=8$ 条同子任务的反事实 rollout，用外部验证/judge 给出成败标签 $y_b$，只训练「成功者必须排在失败者之上至少间隔 $\delta$」（式 (3)），把 rubric 质量与绝对任务难度解耦。第三，叶覆盖分解奖励：$r_{\mathrm{leaf}}=R_i\,|L_i(e)|/|L(T_i)|$ 直接奖励「承担了大部分叶层工作且整树成功」的委托，弥补执行信号对结构决策的盲区。由此 judge 只在训练 rubric 生成时出场，执行阶段完全靠策略自评打分，外部监督被大幅摊薄——这是与 RAO 等方法的本质区别。
方法步骤详情
完整流程分四个交替阶段。（1）并行递归 rollout：每个优化器步激活一个目标，执行阶段对每个根任务采 8 棵独立树，根智能体与每个子节点各有 20 个环境步、最大递归深度 3；父节点委托时先生成冻结 rubric，子节点在全新上下文中求解并把结果返回给父节点。（2）打分与奖励：子任务完成后，同策略的一次无梯度调用对冻结 rubric 逐条打分，输出完成门控 $g_v\in\{0,1\}$ 与逐条分 $c_{v,j}\in[0,1]$；若子任务未完成（耗尽步数或无可用的输出）则强制 $g_v=0$、得分恰为零，避免给残次品逐条打分引入噪声。节点执行奖励在根为 $R_i$、其余节点为 $s_{i,v}$；每个委托事件按式 (2) 得叶覆盖奖励，且只作用于写委托目标的 token，执行和 rubric token 不共享该奖励。（3）优势估计与更新：执行优势 $A^{\mathrm{exec}}_{i,v}=r^{\mathrm{exec}}_{i,v}-\frac{1}{K-1}\sum_{j\neq i}R_j$ 用其他树的根结果作基线，使中间节点在整树失败时仍可因自身高分获得正信用；叶优势先对树内全部委托取均值再做树间 LOO，防止委托多的树偏置基线；rubric 优势在批内有效委托事件间做 LOO（全成功或全失败的组无序对信息，直接跳过）。（4）rubric 生成训练：在委托点克隆状态、采 $B=8$ 条反事实 rollout——1 条延续原执行，其余 $B-1$ 条仅作训练数据——每条拿验证标签 $y_b$，按式 (3) 计算排序损失并只更新写 rubric 的 token。所有 token 级损失统一为 CISPO 形式（式 (7)(8)），含深度逆频加权，按 16:2:2 循环调度。
技术新颖性
与最接近的先验工作相比，新颖性体现在四个层面。对 RAO：RAO 只给节点二值成败且不评价分解质量，SERA 给每个节点一个训练出来的连续 rubric 分数，并直接奖励分解决策。对过程奖励/PRM 一系（Lightman et al. 2024 等）：它们作用于平坦线性轨迹，中间信号来自独立 critic 或回报的加性分解；SERA 作用于层级、子任务、评估者全部由单一策略动态生成且逐 rollout 变化的树。对 rubric-RL 一系（OpenRubrics、ARCO、EvoRubrics、RubricEM）：它们假设平坦或固定阶段计算、rubric 模型独立于策略，并偏好无标签的区分度信号；SERA 首次把可学习 rubric 用于递归自创子任务、用策略自身做评估器，并实证发现区分度奖励在树设定下反而使 TextCraft-Synth 平均成功率从 74.84% 跌至 65.77%（-9.07 点），必须换成锚定验证成败的排序目标。对经典分层 RL（options、goal-conditioned hierarchies）：它们假设固定的子任务类型或层级深度，而 SERA 的层级完全由策略发明。「训练评估能力是收益主源、学评估即提升执行」这一中心发现也是先前工作未曾展示的。
实验结果
主实验（Table 1，Qwen3-4B-Instruct-2507 全参微调，3 个随机种子）显示 SERA 在两个基准上达到最高或次高平均成功率：TextCraft-Synth 74.31%（次高），TextWorld-Sync 65.07%（最高），分别比递归基线 RAO 的 68.93% 与 51.93% 高 5.38 和 13.14 点；其中 TextWorld 的 Hard/Extreme 分别为 54.29% vs 20.19%、22.86% vs 2.95%。组件拆解给出四条结论：仅给委托接口不训练几乎无用，prompted 多智能体只比单智能体高 3.27/3.79 点，而 RAO 比单智能体 GRPO 高 39.97/12.64 点；用未经训练的 rubric 当执行奖励（SERA w/o D & RT）在 TextCraft 只比 RAO 高 3.33 点、在 TextWorld 反而低 0.83 点；加入 rubric 训练（SERA w/o D）在 TextWorld 提升 9.16 点、TextCraft 提升 2.58 点，Hard/Extreme 分别 +6.62/+7.60，验证了「训练评估能力是收益主源」的中心论断；叶覆盖奖励在 TextWorld 再加 4.81 点（Hard +8.58、Extreme +17.43），但在子任务近似独立的 TextCraft 上是 -0.53 点。Table 2 显示外部监督大幅下降：TextCraft 验证器调用 550.94K→257.96K（约 2.1 倍节省），TextWorld judge 调用 147.80K→35.79K（4.1 倍）、输入 token 633.80M→125.32M（5.1 倍）。Table 3 消融表明自写子任务级 rubric 在训练前就与外部 Kimi judge 打平（72.26% vs 73.10%，差距在种子噪声内），训练后 74.84% 反超一切免训练配置；全局共享单条 rubric 掉到 67.77%，加区分度奖励掉到 65.77%。Table 4 显示推理时用学到的 rubric 做自底向上的树搜索选择（N=2）再提升 2.43 点至 67.50%，Extreme 从 22.86% 升至 28.95%，且 4B 策略自评与外部 Kimi-K3 judge 几乎持平（67.50% vs 67.29%）；未训练模型用同样的选择几乎无收益（策略自评 -0.22 点，Kimi +1.21 点，Hard/Extreme 始终为 0）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TextCraft-Synth（四难度加权平均） | 平均成功率（%，3 seeds） | 74.31（SERA） | RAO 68.93 | +5.38 点 |
| TextWorld-Sync（四难度平均） | 平均成功率（%，3 seeds） | 65.07（SERA） | RAO 51.93 | +13.14 点 |
| TextWorld-Sync Hard 层级 | 成功率（%） | 54.29 | RAO 20.19 | +34.10 点 |
| TextWorld-Sync Extreme 层级 | 成功率（%） | 22.86 | RAO 2.95 | +19.91 点 |
| TextCraft-Synth Hard 层级 | 成功率（%） | 78.92 | RAO 70.34 | +8.58 点 |
| TextWorld-Sync 推理时 rubric 树搜索（N=2，策略自评） | 平均成功率（%） | 67.50 | 无选择 N=1 为 65.07 | +2.43 点（Extreme 22.86→28.95） |
| 外部监督成本（TextWorld-Sync 训练全程） | judge 调用次数与 token 量 | 35.79K 次调用，125.32M 输入 token | RAO 147.80K 次调用，633.80M 输入 token | 调用减少 4.1 倍，token 减少 5.1 倍 |
| 训练开销（TextCraft-Synth，2×8 H200） | 达到评估 checkpoint 的墙钟时间 | 24h06m（最快的多智能体方法） | RAO 29h36m；SERA w/o D & RT 47h02m | 比 RAO 快约 18%，同时精度最高 |
局限与改进
作者承认的局限：实验只在 Qwen3-4B 一个模型、两个合成文本环境上进行，向更大模型和真实智能体任务（真实代码库、开放网络研究）的泛化完全未验证；策略既写又用自己的 rubric，存在自我评估偏离真实成败被「刷分」的风险，目前仅靠验证结果锚定来缓解，在验证更稀疏或噪声更大时的稳健性仍是开放问题，且 rubric 训练始终残留在验证结果上的依赖（Table 2）；叶覆盖奖励把所有叶节点等权，未反映子任务重要性差异。我的补充观察：执行优势用同批其他树的根结果做基线，而各树子任务是策略随机发明的，对照意义偏弱，可能引入跨树方差；rubric 训练依赖反事实 rollout，在 TextWorld 这类共享状态、必须串行交互的环境中代价高——训练时间 24h14m 几乎是 RAO（13h08m）的两倍，相当于用时间换精度和监督成本；分解奖励在独立子任务场景（TextCraft 上 -0.53）可能拖后腿，需要按域调整更新比例；最难层级绝对值仍很低（TextCraft Extreme 仅 6.13%），方法对 Extreme 的解决能力有限；此外 TextWorld-Sync 的 judge 标签本身可能带噪，会直接传导进 rubric 训练。
独立分析的弱点
独立分析的弱点与改进方向：（1）根组基线较粗糙——执行优势用同批其他树的根结果平均作基线，而各树子任务是策略随机发明的，跨树对照含义弱，可能放大方差；可按子任务语义聚类构造匹配对照组，或学习子任务条件化的价值基线。（2）反事实 rollout 的成本与序列化瓶颈——克隆状态采 $B=8$ 条 rollout 仅为训练 rubric，串行环境中无法并行（TextWorld 训练时间近乎翻倍）；可复用历史轨迹离线构建成败对，或用低成本模型先筛再精标。（3）叶覆盖等权假设——「检查后院可用」这类小任务与「做全部五道菜」的大任务若都是叶层贡献会被同等记功；可用子任务 token 量、环境状态增量或学习到的重要性权重替代。（4）门控过刚——$g_v=0$ 把部分完成的子任务得分直接清零，丢掉了「做了一半」的梯度信息；可改为部分完成也有边际分的平滑门控。（5）规模与深度受限——最大深度 3、每节点 20 步，更深递归下叶覆盖比例会天然变小，奖励尺度需要随深度重新校准，且 4B 模型的结论未必迁移到更大或更小的模型。
未来方向
作者提出的方向：学习能跨任务泛化的 rubric（当前每个子任务都是现场新写）；用 rubric 引导训练期的探索（高分区域值得深挖）；把自评估扩展到连根结果都不可精确验证的开放式设定。基于其成果还可延伸：把三信号交替训练搬到真实软件工程（SWE-bench 类）与多跳研究问答，检验 judge 标签有噪声时的稳健性；探索 rubric 的层次化复用，让父节点 rubric 作为子节点 rubric 的先验约束，减少重复生成；把叶覆盖从等权比例推广到基于关键路径或瓶颈分析的加权；推理时把 N=2 的分支选择扩展为更大搜索预算，并结合束搜索与树置信度估计；以及研究评估-执行共适应的收敛条件，监控长期训练中 rubric 是否漂移成「好刷分」的标准，必要时引入周期性的外部锚定校准。
复现评估
复现条件较好。代码与 TextWorld-Sync 基准承诺随论文发布（GitHub: OliverLeeXZ/SERA）；基础模型 Qwen3-4B-Instruct-2507 公开可用；附录 B 给出完整超参：2×8 H200、Adam lr=3e-6、批/组 8/8 根任务、$K=8$、每代理 20 步、深度 ≤3、训练温度 1.0、上下文 10240/13312 token、$B=8$ 反事实组、更新比例 16:2:2、TextCraft 在 250 步、TextWorld 在 400 步取 checkpoint；两个基准的报告中成功率均由确定性环境验证给出，附录 C 还完整给出 TextWorld-Sync 的构造方法（7 种协调结构、1500 训练/1400 测试任务的划分）。主要门槛在算力：8 张 H200 训 24–47 小时，TextWorld 的反事实 rollout 需串行环境交互，自建 judge 标签还有 API 成本；小规模团队可先复现 TextCraft-Synth 一侧（程序验证器免费、任务可并行），总体难度评估为中等偏高。
论文图表