R²Orch：技能内化回路中自博弈驱动的智能体编排递归自我提升 R^2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
内外双循环自博弈训练：递归可学习性选任务、配对对照撤技能，实现零技能部署
前置知识
GRPO 与优势坍缩
GRPO（组相对策略优化）对同一任务采样一组 rollout，用组内平均作基线计算相对优势，免去价值网络。当组内所有 rollout 结果一致（全对或全错）时优势全为零，该任务对梯度更新毫无贡献，这就是优势坍缩。数学上 $n$ 个 Bernoulli 结果的优势能量为 $E\sum_i A_i^2=(n-1)p(1-p)$，在 $p\in\{0,1\}$ 处恰好为零。
本文的核心动机之一就是优势坍缩：撤掉一个技能会把原本可解的任务推成全错，GRPO 信号随之消失。递归可学习性目标 $\ell(p)=4p(1-p)$ 正是对这一坍缩现象的量化反转，读懂它必须先懂 GRPO 的组内基线机制。
自博弈与课程学习
自博弈让一个提议者自动生成任务、一个求解者解题，两者互相促进形成开放课程，代表工作有 Absolute Zero、R-Zero、SESA 等。提议者奖励常见设计有遗憾、求解率、不确定性等，课程质量取决于奖励能否挑出『当前刚好学得动』的任务。
R²Orch 的内环就是一个提议者-导演自博弈系统，但其提议者奖励（递归可学习性）与 Absolute Zero 的 solve-rate、R-Zero 的不确定性奖励有本质区别——在撤掉候选技能的上下文上度量。理解已有自博弈奖励的思路，才能看出这一步挪动的意义。
随机化对照实验与贝叶斯自助法
随机化实验把受试对象随机分配到处理组与对照组，使组间均值差成为处理效应的无偏（Neyman）估计。贝叶斯自助法对观测记录按 $w\sim\mathrm{Dir}(1,\ldots,1)$ 权重重加权，构造均值的后验分布 $\Pi_k=\mathrm{Law}(\sum_x w_x z_x)$，无需参数似然即可做贝叶斯决策。
技能撤除的证据完全来自随机化：每个 rollout 组随机分配一部分隐藏候选技能，配对差 $z_x=\bar y_V-\bar y_H$ 是技能效应的无偏估计；撤留决策则建立在贝叶斯自助后验上。不懂随机化就看不穿『一组 rollout 兼作一次对照实验』这个核心机关。
KL 正则化策略优化与对数配分函数
相对熵策略搜索（REPS）在 KL 预算约束下最大化期望回报，解为指数倾斜分布 $\pi_\beta(g)\propto\pi(g)e^{\beta r(g)}$。倾斜分布的对数配分函数 $\log Z$ 在 $\beta=0$ 处一阶导是成功率、二阶导是方差 $p(1-p)$；固定 KL 预算 $\delta$ 下的最优增益为 $\sqrt{2\delta V}$，由曲率决定。
递归可学习性被定义为撤除技能后上下文上 $\log Z$ 的二阶导（乘 4），即 $4p^-(1-p^-)$。理解曲率与 KL 预算的关系，才能明白为什么『中间成功率』的任务在给定算力下进步最快，以及该目标为何随技能撤除自动下移。
双时间尺度随机逼近
Borkar (1997) 的经典框架：两组迭代以快慢不同的步长更新，快变量把慢变量视为准静态、逐段取近端最优响应，慢变量则看到快变量的平均效果。收敛条件为步长满足 $\sum a_t=\infty$、$\sum a_t^2<\infty$，且每个慢模式对应 Lyapunov 稳定的平衡点。
R²Orch 的 Director（快）与技能 scaffold（慢）正是双时间尺度系统：内环自博弈在固定 scaffold 上更新，外环撤技能改写内环目标。论文 Lemma A.6 用该框架证明 Director 能逐段跟踪每次撤除后的新平衡，这是『两环可以嵌套』的理论根据。
研究动机
现有编排学习虽能把冻结 Worker 组织成远超直接提示的系统，但实践中存在三个具体问题。其一，手工课程：工作流搜索（AFlow）、RL 训练编排（AgentFlow、FlowSteer）、技能内化（SKILL0、PATS）都在人工预先收集的任务池上练习，扩容昂贵且无法自我改进。其二，优势坍缩：GRPO 这类组相对 RL 依赖同一任务各 rollout 的结果差异，组内全同对或全错时优势归零；自博弈系统（如 SESA）让求解者始终带着技能解题，任务停在『带技能的前沿』上，一旦撤走技能，其支撑的任务立刻变成全错 rollout，坍缩卷土重来。其三，评估信号不可靠：技能脚手架按成功率阈值、预设预算或留一验证淡出指导，但训练期成功率把『任务选得好不好』与『技能本身有没有用』混在一起；技能库按每个技能一条噪声分数决定去留，会漂移到『注入技能反而不如不注入』的状态。论文在消融中量化了这些信号失灵的代价：换用这些退化规则，AIME 2026 精度会从完整版的 81.33 跌到 66.67–74.67。
本文的目标是本文的目标是训练一个编排器 Director $\pi_\theta$：它读取任务与技能上下文，通过一串原子编辑（ADDAGENT、SETPROMPT、SETMODEL 等）从空图构建 agent 图，交给冻结的 Worker 池执行；最终部署目标是零技能——$\max_\theta\ \mathbb{E}_{x\sim\rho}\ \mathbb{E}_{g\sim\pi_\theta(\cdot\mid x,\varnothing)}\ r(g,x)$，即不依赖任何上下文技能也能成功。为逼近这一目标，训练系统本身必须同时解决三个子问题：谁来选训练任务（摆脱手工课程）、如何在撤技能时保住学习信号（规避优势坍缩）、以及依据什么证据判定一个技能可以安全撤除（取代不可靠的单条分数）。论文希望任务选择、技能撤除、失败蒸馏全部由同一套自博弈闭环自动驱动，并最终走向零技能部署的递归自我改进。
与已有工作不同的是，本文的独特切入是把『选任务』和『撤技能』这两件原本互不相通的事压进同一条 rollout 组，让一次采样同时产出训练目标与因果证据。每组 $G=n_h+n_v=5$ 条 rollout（3 隐藏 + 2 可见），随机抽一部分隐藏被测技能 $k_x$：隐藏部分天然测出『没有该技能时任务的可学性』，直接充当提议者奖励（递归可学习性）；可见与隐藏两部分的均值差 $z_x=\bar y_V-\bar y_H$ 因随机分配而成为技能效应的无偏配对对照。与已有工作的本质区别：(1) 自博弈方法测『带技能的前沿』，本文测『撤掉候选技能后下一任 Director 的前沿』；(2) 技能库按一条噪声分数退役，本文用随机化对照加贝叶斯后验决策，且不花任何额外 rollout；(3) 学习型编排把任务池当给定，本文提议者以闭式 Gibbs 课程主动追逐持续产生学习信号的任务。两个循环因此闭合成一个循环：失败蒸馏成技能、技能练进参数、撤除把提议者推向新的失败，直至零技能。
核心方法
先讲直觉：把训练想成教练（Proposer）给学员（Director）出题。教练的诀窍不是挑最难的题，而是挑『把小抄收走以后学员还能做对一半』的题——这类题当前能力够得着又没被拿下，练一次涨一次；等某张小抄对成绩已无影响，就把它从讲义撕掉，逼学员脱抄答题。技术上这是嵌套双循环：内环是 Proposer–Director 自博弈，Director 用 PPO/GRPO 的近端裁剪步在提议任务上更新参数；外环是技能撤除，以慢时间尺度更新 scaffold $S_{t+1}=\Phi(S_t;\{\Pi_k\},\mathcal{F}_t)$，$\Pi_k$ 是技能效益后验、$\mathcal{F}_t$ 是双部分全失败的组。两循环共享同一条随机化 rollout 组：采样分布 $q_x$ 把大部分质量放在 $K_x\setminus k_x$ 上，多数更新本来就在练无技能路径。关键是伸缩恒等式 $J_{S_T}(\theta_T)=J_{S_0}(\theta_0)+\sum_{t<T}\Gamma_t-\sum_{t<T}C_t$：零技能成功率 = 起点 + 内环增益 − 外环撤除代价；递归可学习性驱动 $\Gamma_t$，技能撤除把每个 $C_t$ 的后验期望压到 $\epsilon$ 以内。
核心创新有两个且互相咬合。第一是递归可学习性：$\ell_{\mathrm{rec}}(x):=4\partial_\beta^2\log Z_{K_x\setminus k_x}\big|_{\beta=0}=4p^-(1-p^-)$，即在撤掉候选技能的上下文上度量 KL 倾斜的曲率；它在 $p^-\in\{0,1\}$（全组坍缩）时恰为零、$p^-=1/2$ 时最大，并随每次撤除自动跟随 scaffold 下移到零技能 Director。与 Absolute Zero 的 solve-rate、R-Zero 的不确定性奖励的本质区别在『在哪个上下文上测』：它们测带技能的前沿，本文测撤掉技能后下一任 Director 的前沿（Proposition 2 证明小信任域内成功率增益随 $\ell_{\mathrm{rec}}$ 增长）。第二是技能撤除：因为隐藏部分是随机分配的，每组 rollout 就是一个随机化区组，配对对照的条件期望恰为技能效应 $\mathbb{E}[z_x]=\Delta_k(x)=p_{K_x}-p_{K_x\setminus k}$（Neyman 无偏，Proposition 3）；对比记录累积成贝叶斯自助后验 $\Pi_k$，当 $\mathbb{E}[\Delta^+]\le\epsilon$ 且 $n_k\ge n_{\min}$ 时撤除，当 $q_k=\Pi_k(\Delta\le0)\le\alpha$ 时准入。这把『技能还有没有用』从一条噪声分数变成带误差控制的因果推断问题，且复用训练 rollout、零额外成本。
方法步骤详情
完整一轮（Algorithm 1）：(1) Proposer 从 Gibbs 课程 $\rho^\star(x)\propto\rho_0(x)e^{\bar R_P(x)/\tau}$ 的候选列表（每轮 2 个列表 × 8 个候选）抽两个不同任务；(2) 检索技能 $K_x\subseteq S_t$，用 Thompson 采样挑最接近撤除的技能 $k_x$，30% 任务是复测任务（往 $K_x$ 加回一个已撤技能）；(3) 随机指定 $n_h=3$ 个隐藏 slot 与 $n_v=2$ 个可见 slot：隐藏 rollout 读 $K_x\setminus k_x$，可见读 $K_x$；(4) Director 在 $(x,K_i)$ 下以原子编辑构建 agent 图，冻结 Workers 执行并回传正确性 $y_i$（Director 奖励减 $\lambda$ 加权的 Worker 成本）；(5) 计算提议者奖励 $R_P(x)=(1-c_x)\gamma^{h_x}\ell(\tilde p_x)-\lambda_P c_x$，$\tilde p_x$ 是向数据集运行均值收缩（$m=2$）的后验均值，$c_x$ 标记全组坍缩、$h_x$ 处理隐藏全败但可见成功的迁移分支；同时把 $z_x=\bar y_V-\bar y_H$ 记入技能账本；(6) 按留一形式 $\mathbb{E}[\frac{1}{G-1}\sum_i(u_i-\bar u)\nabla_\theta\log\pi_\theta]$ 做 PPO 裁剪更新（KL 锚回基座，裁剪 0.2–0.28）；(7) distinct-pair 更新 Proposer：两任务互为基线，优势取奖励差一半，加信任域与 KL 锚；(8) 对 $n_k\ge12$ 的技能查后验：$\mathbb{E}[\Delta^+]\le0.02$ 撤除、$q_k\le0.05$ 准入或复测恢复；编辑器修订后验效益最低的技能、从双部分全失败的组蒸馏新技能（试用期 $3n_{\min}$ 条记录内未准入即淘汰）。循环 200 个 cycle 直至技能撤空。
技术新颖性
新颖性体现在四个层面。概念层面：把递归自我改进形式化为伸缩恒等式（Eq. 6），零技能目标分解为内环增益与外环代价之差，两循环贡献可逐项核算——自博弈与技能进化文献里没有先例。统计层面：一组 rollout 兼作一次随机化实验，训练信号与因果证据共用同一批样本；配对对照的 Neyman 无偏性（Proposition 3）给出以往『单条分数 + 阈值』不具备的误差控制（后验期望撤除损失至多 $\epsilon$）；自适应选择不破坏组内随机化（Lemma A.7 的鞅差界）。优化层面：递归可学习性来自对数配分函数的二阶导，等倾斜下各任务增益按 $p(1-p)$ 排序、等 KL 预算下按 $\sqrt{2\delta V}$ 缩放（Lemma A.1–A.2）；成功率的『课程项 + 技能项』分解（Eq. 12）解释了成功率阈值必然误读技能的根源。系统层面：混合上下文梯度（Lemma A.4）保证 3:2 的隐藏/可见分割无偏且多数梯度落在无技能路径上；两时间尺度跟踪（Lemma A.6）处理 scaffold 切换的非平稳性。这些设计共同支撑『失败→技能→参数』的完整自改进闭环。
实验结果
实验覆盖 6 个域内基准（HotpotQA、NQ-Open、MedQA、AIME 2026、MBPP+、ALFWorld）与 6 个域外基准（TriviaQA、MuSiQue、GPQA、MATH-Hard、SWE-Bench、WebShop），每测试集 128 题（AIME 30 题），5 次运行报均值与标准差（Table 1）。RQ1：R²Orch 在全部 12 个基准第一，域内平均 89.79 对最强基线 PATS 86.00、FlowSteer 82.34，域外平均 78.79 对 PATS 76.13；单点看 AIME 2026 达 81.33（PATS 74.00）、ALFWorld 90.63（87.97）、MBPP+ 93.13（90.63），域外 WebShop 91.09、SWE-Bench 42.81，且全部在零技能下测试。RQ2：用 Qwen3.5-9B Workers 训出的 Director 零改动迁移到另外 6 个骨干，每个基准都提升，弱骨干收益最大，域内跨骨干分差从 25.7 缩到 6.4 点（Figure 4e）。RQ3：双环缺一不可——纯 GRPO（无技能）AIME 跌到 59.33，固定 scaffold 跌到 66.67，完整版 81.33；零技能精度在训练中段反超带技能精度（Figure 4a）。RQ4：中间成功率任务产生混合组的频率约为 $p=0$ 或 $p=1$ 任务的 4 倍（Figure 5e）；换任何已有提议者目标（SFL、AZR、R-Zero、DAPO、GRESO）在所有基准都更差（AIME 上 AZR 77.33 对本文 81.33）。RQ5：全部 12 次撤除通过后验判据（$\mathbb{E}[\Delta^+]\le0.019$），撤除前后种子卡不再带来 held-out 增益；被撤的 MedQA 拓扑卡后被 30% 复测机制恢复。成本：训练 200 cycle 约 106 A100 小时，隐藏部分免费测分，每有效组的选择 rollout 最少。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2026（数学竞赛，训练用往年题） | Accuracy | 81.33 | PATS 74.00；FlowSteer 67.33；直接提示 48.67 | +7.33（对最强基线 PATS） |
| ALFWorld（交互式家务，域内） | 成功率 SR | 90.63 | PATS 87.97；FlowSteer 88.91 | +2.66（对 PATS） |
| HotpotQA（多跳问答，域内） | Ans EM | 91.09 | PATS 89.06；FlowSteer 87.97 | +2.03 |
| MBPP+（代码生成，域内） | Pass@1 | 93.13 | PATS 90.63；FlowSteer 88.91 | +2.50 |
| WebShop（网页交互，域外） | 成功率 SR | 91.09 | PATS 87.97；SESA 77.66 | +3.12 |
| SWE-Bench（GitHub 修 issue，域外） | Resolved 比例 | 42.81 | PATS 40.16；直接提示 15.78 | +2.65 |
| 6 个域内基准平均 | 平均分 | 89.79 | PATS 86.00；FlowSteer 82.34 | +3.79（对 PATS） |
| 6 个域外基准平均 | 平均分 | 78.79 | PATS 76.13；FlowSteer 73.52 | +2.66（对 PATS） |
局限与改进
作者承认的局限：初始技能（种子卡）为每个数据集手工定制，其后的撤除、修订、蒸馏都建立在其上，自动推导新领域初始技能仍是开放问题。我的补充观察：第一，验证器假设强——技能效应判定完全依赖 $r(g,x)\in\{0,1\}$ 的精确正确性判据，开放生成等没有可靠验证器的领域无法直接套用；无偏性还依赖 rollout 间无干扰、图决定结果等假设。第二，评测规模小：每测试集仅 128 题（AIME 30 题），0/1 指标落在 $k/128$ 网格上，虽做 5 次运行报标准差，对 1–3 个点的差距统计功效有限。第三，Workers 冻结在 9B 级模型上，收益天花板受 Worker 能力约束；数学域收益最小（接近天花板），暗示 Worker 已很强的域边际价值有限。第四，账本后验目标 $\mu_k$ 与撤除真正关心的检索条件均值 $\mu_{\rho,k}$ 之间有漂移 $d_k$，论文用 $\mathbb{E}[C_t]\le a_k(\epsilon+d_k)$ 控制，但 $d_k$ 不可观测。第五，每次只撤一个技能、每轮只测一个候选，面对大量冗余技能（作者举例：两个冗余技能单独撤代价均零、一起撤代价为 1）时收敛慢。
独立分析的弱点
独立分析四个弱点。其一，种子技能的人工依赖是最大工程瓶颈：每个数据集需先人工写初始技能，『递归』的起点并不递归；改进方向是用无监督失败聚类或让 LLM 从零样本错误自动蒸馏种子技能，再做『从零开始』的全流程实验。其二，撤除判据保守：$n_{\min}=12$ 条记录、30 cycle 证据窗、每轮至多撤一个，200 个 cycle 只发生 12 次撤除；若技能库有几百条，撤空遥遥无期。改进方向是把撤除批量化——同轮对多技能做部分因子设计的隐藏分配（每组隐藏两个不同技能），或用序贯检验提前触发。其三，提议者奖励的迁移分支（隐藏全败但可见成功时切到可见部分并打 $\gamma=0.5$ 折）意味着系统仍花算力在『只有带技能才能解』的任务上，这类任务对零技能目标没有直接贡献；改进方向是给这类任务设预算上限或更陡折扣。其四，全部结论建立在可验证的二值奖励上；Director 奖励用成本校正的 $u=y-\lambda c$ 而配对对照只用原始正确性，这个不一致虽是作者的有意设计（保证对照无偏）但损失了信息，如何把配对对照推广到连续得分或方差不等的场景还需要新的统计工具。
未来方向
作者提出的方向：自动推导新领域的初始技能，让『失败→技能→参数』链路从零启动。基于本文成果可延伸：统计上，把单技能隐藏推广到多技能同时隐藏的部分因子设计，同时估计技能间交互效应，处理作者指出的『冗余技能组合撤除代价不可加』问题；研究漂移 $d_k$ 下的最优停止与复测调度，把 30% 复测比例变成自适应的。方法上，『在下一个策略上度量可学性』是通用的课程思想，可移植到数据选择、预训练课程、RLHF 提示筛选——任何『支撑会被撤走』的场景（工具下线、文档删除、模型升级）都可用它预训练稳健性。系统上，放开冻结 Workers 做联合训练，或在编排层叠加跨域技能迁移，让一个领域蒸馏出的技能经后验筛选后自动服务另一领域。理论上，现有收敛分析依赖有限模式、Lyapunov 稳定平衡等假设，把技能撤除建模为脉冲切换系统并给出更紧的瞬态界、把无偏性推广到有干扰（多 rollout 共享环境状态）的交互任务，都值得做。安全上，自改进编排器的撤除-蒸馏循环可能蒸馏出有害技能，后验能否加安全约束、如何与沙箱执行配合，是值得专门研究的问题。
复现评估
复现条件较好。代码已开源（github.com/beita6969/R2Orch），训练任务池与规模随代码发布；所有公式中的超参数完整列在 Table 4：$G=5$（$n_h=3$、$n_v=2$）、$\epsilon=0.02$、$\alpha=0.05$、$n_{\min}=12$、2000 次自助采样、证据窗 30 cycles、学习率 $10^{-5}$、LoRA rank 64、PPO 裁剪 0.2–0.28、每 cycle 24 任务等，没有藏关键常数。算力门槛中等：Qwen3.5-9B 上的 LoRA 训练，200 cycle 约 106 A100 小时，单机多卡可承受；但评测侧需同时跑 ALFWorld、WebShop、SWE-Bench 沙箱等 12 个环境，工程量不小。主要风险：基线对比绑定具体模型版本，换模型后种子技能需重新手工定制；128 题网格较粗，复现者应保留 5 次运行并检查显著性；实验针对较新的数据切分（如 AIME 2026），数据可获得性需自行确认。总体而言，有 RL 训练经验、能搭多环境评测的团队可以复现，主要时间花在种子技能定制与 12 个环境接入上。
论文图表
对比示意：外循环把目标向下传递（许多技能 → 更少技能 → 零技能），内循环通过随机化 rollout 组上的自博弈把证据向上返回（失败任务仍可学 → 无 $k$ 也可学 → 有 $k\approx$ 无 $k$）。
一图讲清论文题眼——递归需要两条通道。理解内外双循环如何靠『目标下行、证据上行』耦合，是读懂全文结构的前提。
四栏范式对比：(a) 学习型编排用人工静态任务池训练 Director；(b) 自我改进智能体在带技能状态下测前沿（技能锚定前沿），技能一撤优势坍缩；(c) 技能脚手架按成功率门控淡出指导，评估信号被自博弈钉死；(d) R²Orch 嵌套双循环，向下目标通道（递归可学习性）与向上证据通道（技能撤除）在零技能处汇合。
把三类相关工作与本方法的差异画在一张图里，是快速定位论文贡献坐标的最优入口。
单轮训练伪代码（18 行，每行标注对应公式）：从候选列表抽两个任务 → Thompson 采样被测技能并随机分隐藏/可见 slot → Director 编辑图、Workers 执行得 $y_i$ → 计算 $R_P$ 与账本记录 $z_x$ → GRPO 裁剪更新 Director → distinct-pair 更新 Proposer → 后验撤/准/复测 → 修订最低效技能、蒸馏新技能。
把三个组件（自博弈、递归可学习性、技能撤除）落到一条可执行的主循环，是从『理解思想』到『动手实现』之间的桥梁。