← 返回 2026-09-10

难度自适应的树结构策略优化：扩展 RLVR 中的推理覆盖 Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR

Youngjun Yu, Sanghwan Jang, Hwanjo Yu 📅 2026-09-08 👍 5 2026-09-12 18:30
GRPO RLVR 探索策略 推理覆盖 树搜索 测试时扩展
arXiv HuggingFace PDF

用难度自适应树搜索、句子熵分叉与兄弟多样性奖励扩展 RLVR 的 pass@k 推理覆盖

前置知识

RLVR 与 GRPO

可验证奖励强化学习（RLVR）指用可自动判定的奖励（如数学最终答案对错记 $r\in\{0,1\}$）对大模型做 RL 后训练。GRPO 不训练 critic，而是对同一道题采样一组（$G$ 条）回答，用组内相对优势 $\hat{A}_i=(r_i-\text{mean})/\text{std}$ 更新策略，是 DeepSeek-R1 的核心训练机制。它简单高效，但 rollout 数量对所有题目固定，探索完全依赖采样自带的随机性。

本文的全部对比基线（GRPO、Dr.GRPO、TreeRL、AttnRL）与 DATPO 本身都建立在 GRPO 式组采样之上，理解组 rollout 如何产生学习信号是读懂动机、方法与实验的前提。

pass@k 与 avg@k

对单题采样 $k$ 次时，avg@k 是平均正确率，衡量单次推理的可靠性；pass@k 是至少一次答对的概率，理论形式为 $1-(1-p_x)^k$（$p_x$ 为单样本正确率），衡量模型能覆盖多少条不同的正确推理路径。测试时扩展（多数投票、best-of-N）的收益上限由 pass@k 决定。

本文的核心论点是 RLVR 主要提升 avg@k 而 pass@k 几乎不动（模型只是在反复已有解法），DATPO 的目标就是扩大 pass@k；分不清这两个指标就无法理解论文的问题定义和全部实验设计。

树状 rollout 与分叉（forking）

树状 rollout 先并行采 $N$ 条基础轨迹，再在每条轨迹内选定 $K$ 个分叉点，从分叉点处共享前缀续采 $B$ 条分支，最终得到 $N(1+KB)$ 条叶子路径。由于到分叉点的前缀只计算一次，token 消耗相对叶子数呈亚线性增长，同预算下能探索更多不同续写。

『并行采样 vs 树结构哪个更能发现正确路径』是本文三大设计原则之一，DATPO 的训练流程就是两阶段树 rollout 的直接延伸，不理解分叉机制就看不懂方法章和 Figure 3。

token 熵与局域化现象

token 熵 $H_t=-\sum_{v\in V} P(v\mid y_{<t})\log P(v\mid y_{<t})$ 度量模型在该位置的不确定性，高熵 token 常被视为『分水岭』。已有方法（TreeRL 等）取 top-k 高熵 token 做分叉点，但本文发现高熵 token 会密集聚集在推理轨迹的狭窄片段内（局域化），导致搜索预算被反复重采样在同一小段上，树的结构覆盖受限。

局域化是本文提出的核心新概念，句子级熵分叉（sent-entropy）正是针对它设计的；Table 6、Figure 8、Figure 9 和 Table 1 的实验全部围绕这一现象展开。

蒙特卡洛价值估计与块级优势

把树轨迹按分叉点切成互不重叠的连续文本块（block）后，可用蒙特卡洛回报估计状态值：$\hat{V}_{MC}(s)$ 取该分叉点所有后代终端块奖励的平均。块级优势 $\hat{A}_{\text{base}}(b)=r^{(b)}+\hat{V}_{MC}(s^{(b)}_{\text{end}})-\hat{V}_{MC}(s^{(b)}_{\text{start}})$ 给中间步骤提供了类似 VinePPO 的过程级信用分配。

DATPO 的增广优势公式 (3)(4)——包括只加在正优势块上的兄弟多样性项——完全建立在这一套块级价值/优势语言之上，是读懂方法与算法伪代码的必要基础。

研究动机

RLVR（以 DeepSeek-R1 的 GRPO 为代表）已成为训练大型推理模型的主流范式，但近期多项研究（Yue et al. 2025；Dang et al. 2025；Wu et al. 2025）指出它主要提升单次采样准确率 avg@k，却几乎无法扩展模型内在的推理覆盖 pass@k。其后果直接作用于测试时扩展：无论多数投票、best-of-N 还是 MCTS，候选集再大也只是在对模型反复犯的同类错误做聚合与挑选（Brown et al. 2024），因为缺少真正的新正确路径。现有改进的两个方向各有盲区：难度自适应采样类工作（如 Knapsack RL、AttnRL 等）只把自适应当作节省算力的效率启发式；树结构方法（TreeRL、AttnRL、TreePO）虽引入树，却主要将树用于优势分配或 KV-cache 复用，最终仍把树摊平成独立序列更新。因此『训练时 rollout 的结构设计如何影响推理覆盖』这一根本问题仍缺乏系统研究。

本文的目标是本文要系统回答三个关于训练时 rollout 结构的设计问题：(1) 计算预算应如何在不同难度的题目之间分配才能真正扩大 pass@k；(2) 树状与并行两种拓扑，哪种在有限 token 预算下更能高效发现至少一条正确轨迹（PassRate）；(3) 树搜索的分叉点应选在什么位置，才能既利用模型的不确定性信号又产生语义多样的分支。在得到可复用的设计原则后，把它们整合为一个可训练的 RLVR 算法 DATPO，在每题总 token 预算与基线严格可比的条件下同时提升 avg@k 与 pass@k，并验证覆盖扩大能直接转化为 maj@k 多数投票等测试时扩展收益，以及向 GPQA-Diamond、MMLU-Pro 等域外任务的迁移。

与已有工作不同的是，本文的独特切入是把『训练时 rollout 的结构』本身当作被优化和被实证研究的对象，做控制变量式的拆解：采样拓扑（并行 vs 树）、预算分配（按难度自适应）与分叉位置（token/句子/注意力/随机）三个维度逐一独立验证，而非像 PKPO、R1-zero-Div、FOR 那样只在目标函数层面注入多样性。技术上首次识别并量化了 token 级熵分叉的『局域化』现象——高熵 token 密集聚簇（WCR@5=23.6%）导致搜索预算被垄断——从而把分叉决策提升到句子级语义粒度。理论上还用 Jensen 缺口分解（Theorem A.2）给出了一个反直觉现象的机制解释：在简单题上训练时加大 rollout 预算反而降低 pass@k，因为跨题方差惩罚项的增长压过了均值增益。

核心方法

直觉上，要在固定算力下最大化 pass@k，就应把采样预算集中花在最可能产生『新而正确』路径的三个地方：还没被解出来的难题、能共享前缀从而成倍扩展叶子的树结构、以及语义层面真正不确定的位置。技术路线分四个阶段：(1) 基础 rollout：对每个 prompt 并行采 $N=4$ 条轨迹，用平均可验证奖励 $V(\text{root})\in[0,1]$ 作为题目难度的经验估计；(2) 难度自适应树展开：分叉点数 $\hat{K}=\lceil K_{\max}(1-V(\text{root}))\rceil$、每点分支数 $\hat{B}=\lceil B_{\max}(1-V(\text{root}))\rceil$（$K_{\max}=3,B_{\max}=4$），越难的题展开越大，$V(\text{root})=1$ 时完全跳过展开，分叉点用句子熵（sent-entropy）选取；(3) 块级优势估计：把整棵树切成互不重叠的连续文本块，用蒙特卡洛回报估计分叉点状态值，计算块级基础优势，并给正优势块加上兄弟多样性奖励 $Div_{sib}$；(4) 策略更新：在树拓扑上做块级、token 级重要性比率的 clip PPO 式更新，多样性系数 $\alpha$ 从 0.2 线性退火到 0。整体可在 GRPO-Zero 框架上实现，训练每题平均生成 8,952.4 个 token，与基线可比。

核心创新有三点。第一，重新定位难度自适应 rollout：它不是省算力的启发式，而是扩大 pass@k 的关键算法因子。Theorem A.2 把 pass@k 分解为平均成功率增益 $\Delta f_k$ 减去与跨题方差成正比的 Jensen 缺口 $J_{k,d}(G)\approx\frac{k(k-1)}{2}(1-\mu)^{k-2}\sigma_d^2(G)$：训练易题时大预算使策略极化（熟悉题 $p\to1$、陌生题 $p\to0$），方差惩罚压过均值增益，因此 pass@256 不升反降（Figure 1a），而难题训练则一致受益。第二，揭示并解决分叉局域化：token 级高熵点聚簇使搜索被困在窄段，句子熵 $H_{S_m}=\frac{1}{|S_m|}\sum_{t\in S_m}H_t$ 在几乎不损失多样性的前提下把推理期 PassRate 从 12.0% 提到 17.3%。第三，与 TreeRL/AttnRL 把树摊平成独立序列、需要 $\sqrt{|L(s_n)|}$ 启发式惩罚来抑制共享前缀重复梯度不同，DATPO 的块是互不重叠的，每个 token 恰属一个块，天然免疫前缀重复更新，直接在树拓扑上完成稳健的信用分配。

方法步骤详情

完整流程（Algorithm 3）：Phase 1 对 prompt $q$ 采样 $N=4$ 条独立基础轨迹 $R=\{\tau^{(i)}\}$，计算 $V(\text{root})=\frac{1}{N}\sum_i r(\tau^{(i)})$ 并据此得 $\hat{K},\hat{B}$。Phase 2 若 $\hat{K},\hat{B}>0$：先用 PySBD 把每条轨迹切成句子并对齐 tokenizer 偏移，句子熵取句内 token 熵均值以消除长度偏差，选 $\hat{K}$ 个熵最高句子的起始 token 为分叉点；对每个分叉点抽取前缀 $x_f=[q;\tau_{1:f}]$，续采 $\hat{B}$ 条分支（为防 OOM 按 384/64 条一批的 chunk 生成），难题最多展开出 $N(1+\hat{K}\hat{B})$ 个叶子。Phase 3 把树切成由分叉点/轨迹终点界定的连续块；终端块的 $r^{(b)}\in\{0,1\}$ 为可验证奖励，分叉点状态值 $\hat{V}_{MC}(s)$ 为其全部后代终端块奖励均值（终端状态强制为 0），块优势 $\hat{A}_{\text{base}}(b)=r^{(b)}+\hat{V}_{MC}(s^{(b)}_{\text{end}})-\hat{V}_{MC}(s^{(b)}_{\text{start}})$；用 gte-large-en-v1.5 编码块，$Div_{sib}(b)$ 为块 $b$ 与同分叉点兄弟块的平均余弦距离，最终增广优势 $\hat{A}^{(b)}=\hat{A}_{\text{base}}^{(b)}+\mathbb{I}(\hat{A}_{\text{base}}^{(b)}>0)\cdot\alpha\cdot Div_{sib}(b)$——只奖励正确路径上的多样性，避免激励错误探索。Phase 4 以块为单位、token 级重要性比 $\rho_{b,t}(\theta)$ 做 clip $\epsilon=0.2$（clip-higher 上界 0.28）的策略梯度更新，AdamW lr $5\times10^{-6}$、无 KL 惩罚，$\alpha$ 由 0.2 线性退火至 0。

技术新颖性

与已有工作的本质区别：(1) 相对 GRPO/DAPO/Dr.GRPO 的均匀并行采样，本文首次用 9 组对照训练（3 难度子集 × 3 种组大小）加理论证明系统论证『训练时 rollout 结构决定 pass@k 上限』；(2) 相对 TreeRL 的 top-k 高熵 token 分叉与 AttnRL 的注意力 FCI 选点，句子熵分叉既保留不确定性信号又避开局域化，且距离强制基线（tok-entropy w/ 5%/10% dist.，PassRate 14.0/15.3）证明收益主要来自缓解局域化而非随机铺开；DATPO 的难度自适应动机是覆盖最大化，而 AttnRL 的注意力过滤只是粗粒度硬截断，导致难题（MATH Level 4-5）上 PassRate 落后；(3) 相对 PKPO、R1-zero-Div、FOR 等目标函数级多样性方法，DATPO 把多样性写进树结构优势项并只作用于正优势块；(4) 消融 Table 14 排除了『赢在更宽树拓扑』的质疑：TreeRL/AttnRL 换成 (4,3,4) 后性能反而下降（如 AttnRL 80.0 pass@8）且每题 token 增至 17,766/12,478.7，而 DATPO 用 8,952.4 个 token 达到 63.5/81.7。

Overview of the proposed DATPO framework.
Figure 3: Overview of the proposed DATPO framework.
Visualization of the localization phenomenon of token-level entropy forking.
Figure 8: Visualization of the localization phenomenon of token-level entropy forking.
Case study comparing forking points selected by tok-entropy, sent-entropy, and ATB along a fixed reasoning path.
Figure 9: Case study comparing forking points selected by tok-entropy, sent-entropy, and ATB along a fixed reasoning path.

实验结果

主实验（Table 2，MATH 训练、5 个基准，MATH500 报 k=8、其余 k=64，3 次运行平均）：Qwen2.5-3B-Base 上 DATPO 平均 avg@k 22.4、pass@k 54.9，超过最强基线 AttnRL（21.3/53.0）、GRPO（20.7/48.2）与未训练 Base（7.6/37.3），pass@k 领先 AttnRL +1.9；单项上 MATH500 avg@8 63.5、AIME26 pass@64 33.3、AIME25 pass@64 33.3、AIME24 pass@64 35.6、AMC23 avg@64 39.8 多为最佳。Qwen3-4B-Base 上 avg@k 31.3、pass@k 60.4，pass@k 领先 AttnRL +3.0，其中 AIME24 avg@64 14.0、pass@64 46.7 提升显著。关键模式是 avg@k 提升有限（+1.1/+0.6）而 pass@k 提升明显，说明收益来自覆盖扩大而非对已知解法的精调。训练动态（Figure 4）：TreeRL 与 AttnRL 后期停滞甚至退化，DATPO 因退火多样性项全程上升；Figure 11 进一步显示无多样性项时 AIME26 pass@64 从第 200 步峰值 30.0% 跌至第 700 步 25.6%，DATPO 升至 33.3%。搜索行为（Figure 5）：DATPO 给易题分配更少、难题显著更多叶子，在 Level 4-5 上 PassRate 超过其他树方法。测试时扩展（Figure 6）：DATPO 的 maj@k 相对自身 avg@k 提升 +7.2 个百分点，为所有方法最大（其余约 +4.5~+6.2）。消融：分叉策略（Table 3）sent-entropy 63.5/81.7 最优；多样性系数（Table 4）0.2→0 最优（63.5/81.7），不发奖励 62.1/81.4、常数 0.2→0.2 损伤 avg@8（61.5）、负退火 0.2→-0.2 损伤 pass@8（81.0）、全块发放 61.6/81.3；去掉难度自适应（Table 12）平均 pass@k 从 54.9 跌至 49.8，AIME26 pass@64 从 33.3 跌至 21.1。域外（Table 11）：Qwen2.5-3B 在 GPQA-Diamond 达 28.5（较最强基线 Dr.GRPO 26.1 +2.4）、MMLU-Pro 33.1（-0.1）；Qwen3-4B 分别 +1.2/+0.4，说明覆盖增益可部分迁移。

Comparison of forking point selection strategies when applied during inference. Best results are in bold, and second-best results are underlined.
Table 1: Comparison of forking point selection strategies when applied during inference. Best results are in bold, and second-best results are underlined.
Evaluation results on mathematical reasoning benchmarks. We report avg@k and pass@k for each dataset.
Table 2: Evaluation results on mathematical reasoning benchmarks. We report avg@k and pass@k for each dataset.
Ablation study on different forking strategies.
Table 3: Ablation study on different forking strategies.
Ablation study on the diversity coefficient α.
Table 4: Ablation study on the diversity coefficient α.
Quantitative comparison of forking-point localization across different selection strategies.
Table 6: Quantitative comparison of forking-point localization across different selection strategies.
Comparison of forking-point selection strategies, including distance-forced token-entropy baselines.
Table 7: Comparison of forking-point selection strategies, including distance-forced token-entropy baselines.
Out-of-domain evaluation results. We report avg@8 accuracy for each dataset.
Table 11: Out-of-domain evaluation results. We report avg@8 accuracy for each dataset.
Ablation study on difficulty-adaptive rollout.
Table 12: Ablation study on difficulty-adaptive rollout.
Performance of baselines under wider tree topology.
Table 14: Performance of baselines under wider tree topology.
Learning curves of MATH500 accuracy over training steps for tree-based methods. (Smoothed)
Figure 4: Learning curves of MATH500 accuracy over training steps for tree-based methods. (Smoothed)
Comparison of average leaf count generated at train-time and PassRate across difficulty levels for tree-based methods.
Figure 5: Comparison of average leaf count generated at train-time and PassRate across difficulty levels for tree-based methods.
Test-time scaling performance using majority voting (maj@k). The green arrows indicate the performance improvement of maj@k over avg@k.
Figure 6: Test-time scaling performance using majority voting (maj@k). The green arrows indicate the performance improvement of maj@k over avg@k.
pass@64 on AIME26 across training checkpoints under different diversity-coefficient schedules.
Figure 11: pass@64 on AIME26 across training checkpoints under different diversity-coefficient schedules.
查看结构化数据
任务指标本文基线提升
数学推理 5 基准平均（Qwen2.5-3B-Base） pass@k 54.9 AttnRL 53.0 / GRPO 48.2 +1.9 vs 最强基线
数学推理 5 基准平均（Qwen3-4B-Base） pass@k 60.4 AttnRL 57.4 / GRPO 58.3 +3.0 vs 最强基线
MATH500（Qwen2.5-3B-Base） avg@8 63.5 AttnRL 62.0 / GRPO 61.8 +1.5 vs 最强基线
AIME24（Qwen3-4B-Base） avg@64 14.0 AttnRL 11.0 / GRPO 9.6 +3.0 vs 最强基线
AIME26 pass@64（Qwen2.5-3B-Base） pass@64 33.3 AttnRL 32.2 / GRPO 21.1 +1.1 vs 最强基线
测试时多数投票增益（Qwen2.5-3B，5 基准平均） maj@k − avg@k +7.2 其余方法约 +4.5 ~ +6.2 所有方法中最大
GPQA-Diamond 域外（Qwen2.5-3B-Base） avg@8 28.5 Dr.GRPO 26.1 / AttnRL 25.9 +2.4 vs 最强基线
推理期分叉效率（AIME26，Qwen2.5-3B-Instruct，K=4,B=4 共 17 叶） PassRate 17.3%（sent-entropy） tok-entropy 12.0% / random 10.0% +5.3 vs token 熵分叉
训练效率（每题平均生成 token） Avg. Generated Tokens 8,952.4 TreeRL 11,029.9 / AttnRL 8,807.3 比 TreeRL 省 18.8% token 且性能更高

局限与改进

作者明确承认三点：(1) 兄弟多样性项需要对每个块做外部 embedding 模型的额外前向，引入计算开销——虽然 per-step 仅占 4.55%（13.65s/300.02s），但整训 wall-clock 60.3 小时高于 TreeRL 56.2h、AttnRL 55.5h，约为 GRPO 26.3h 的 2.3 倍，且树生成的顺序依赖（分支必须等基础 rollout 完成和分叉点选定）是瓶颈；(2) 块级公式依赖小样本估计：$N=4,B=4$ 使经验难度 $V(\text{root})$ 和蒙特卡洛状态值都有噪声，偶尔导致策略更新高方差；(3) 受资源限制只在 3B-4B 模型与数学推理上验证，≥7B 规模及逻辑推理、代码生成等领域的有效性未检验。我的补充观察：难度仅由 4 条 rollout 的 0/1 均值估计，取值只有 5 档，与真实通过率未必对齐；余弦距离可能奖励措辞层面的表面差异而非解题策略差异；句子切分依赖 PySBD，对其他语言或无标点思维链的鲁棒性存疑；pass@k 提升部分源于把探索预算向难题倾斜，公平性依赖『每题总 token 可比』这一控制条件，实际算力分布并不等同。

独立分析的弱点

弱点一：多样性度量语义浅。SibDiv/Div_sib 基于 gte-large-en-v1.5 的余弦距离，嵌入距离大可能只是换了记号或表述而非解题思路不同，反之两条本质不同的推理路线也可能嵌入相近，导致奖励信号与真正探索脱节。改进方向：用中间结论/答案聚类、NLI 蕴含模型或让策略模型自评『策略级差异』来定义多样性。弱点二：小样本估计噪声。$N=4$ 的 $V(\text{root})$ 只有 5 个可能取值，$\hat{K},\hat{B}$ 呈阶梯式跳变；深层分叉点上的 MC 状态值基于极少后代路径，方差大。改进：用历史通过率的 EMA 或贝叶斯收缩做难度估计，或用迭代价值传播降低 MC 方差。弱点三：训练开销。wall-clock 60.3h 约为 GRPO 的 2.3 倍，树 rollout 的顺序依赖是硬瓶颈。改进：引入 one-step off-policy（作者实验显示可到 60.0h，收益有限）、异步 rollout 流水线或前缀 KV-cache 调度。弱点四：分叉只在基础轨迹上进行且只有一层（分叉后不再递归分叉），对需要多步深入搜索的空间表达受限；改进：多级递归分叉加不确定性剪枝，向轻量 MCTS 靠拢。弱点五：多样性奖励只发给正优势块，当难题上所有分支都错时多样性信号为零，错误路径之间缺乏『区分接近成功与完全失败』的塑形；改进：对失败分支按与正确答案的距离给部分信用。

未来方向

作者方向：扩展到 ≥7B 模型验证可扩展性；推广到逻辑推理、代码生成等其他可验证领域；降低多样性 embedding 的额外开销（one-step off-policy 只能部分缓解）。基于其成果可延伸：(1) 把单层分叉推广为多级树/MCTS 式递归搜索，并结合过程奖励模型做更细粒度的预算分配；(2) 用策略级多样性（解题路径聚类、程序语义等价、NLI）替代嵌入余弦距离；(3) 与直接优化 pass@k 的目标函数（如 PKPO）正交结合，探索结构设计与目标设计的互补收益；(4) 将 Jensen 缺口分解从静态分析扩展为训练动力学模型，在线预测 pass@k 拐点并自适应调节组大小 $G$，取代人工难度分桶；(5) 难度自适应思想可反哺数据课程——按 $V(\text{root})$ 动态筛选训练题；(6) 把 sent-entropy 分叉用于推理时自适应算力分配，与训练端形成统一的『哪里不确定就在哪里花算力』框架；(7) 在多语言/无标点思维链上检验 PySBD 句子切分的替代方案（如语义段落切分）。

复现评估

复现条件较好。代码已开源（https://github.com/colin31472/DATPO），基于公开的 GRPO-Zero 框架；训练数据为公开 MATH 数据集（去掉 MATH500 后的 12,000 题）。附录 F 给出了几乎全部超参：AdamW β=(0.9,0.999)、恒定学习率 $5\times10^{-6}$、无 KL 惩罚、clip 0.2（clip-higher 上界 0.28）、温度 1.0、训练最大长度 1024/评估 2048、每步 16 个 prompt、树参数 $(N,K_{\max},B_{\max})=(4,3,4)$、$\alpha$ 由 0.2 线性退火到 0、embedding 用 gte-large-en-v1.5、分支 rollout 按 384（Qwen2.5-3B）/64（Qwen3-4B）分 chunk 防止 OOM；评估在 5 个公开基准上进行 3 次重复。算力为 8×A100 集群、单次训练占一张 A100 约 60 小时（GRPO 基线约 26 小时），对学术实验室偏重但可行；消融显示多样性度量对 embedding 模型不敏感（110M 的 all-mpnet-base-v2 也能达到 pass@8 81.9，甚至高于默认的 81.7），可显著降低复现门槛。难度评级：中等——树 rollout、块级优势与 chunk 化生成的工程实现较复杂，需要处理块级 batch 与显存问题，但无需私人数据或超大算力。

论文图表

avg@256 and pass@256 performance across different rollout budgets for models trained on different difficulty subsets.
Figure 1: avg@256 and pass@256 performance across different rollout budgets for models trained on different difficulty subsets.

三个子图分别对应在 Easy/Medium/Hard 子集上训练的模型，横轴为 GRPO rollout 预算 $G\in\{4,8,16\}$，纵轴为 avg@256 与 pass@256。avg@256 在所有难度下都随 $G$ 小幅上升；pass@256 在 Easy 上随 $G$ 增大而下降，Medium 上呈非单调、在 $G=8$ 达峰，Hard 上则从 20.4 升至 21.2 持续受益。

这是设计原则一（难度自适应 rollout）的核心证据：加大预算对 pass@k 的作用方向取决于训练题难度，直接支撑了按 $V(\text{root})$ 自适应分配树展开预算的设计。

Comparison of PassRate against inference token consumption between parallel and two tree-structured sampling using different forking strategies.
Figure 2: Comparison of PassRate against inference token consumption between parallel and two tree-structured sampling using different forking strategies.

在 AIME25 上以推理 token 消耗为横轴、PassRate（至少一条正确解的概率）为纵轴，比较并行采样与两种树结构变体（fixed-seg 等距分叉、random 随机分叉）。两种树结构曲线斜率更陡，同一 token 预算下 PassRate 更高，且 fixed-seg 一致优于 random 与并行。

证明设计原则二：树拓扑因前缀共享在单位 token 上能探索更多叶子，是『树结构 rollout 优于并行采样』这一结论的直接实验依据。