长存平衡：信息瓶颈驱动的基于树策略优化

用信息瓶颈理论量化探索-利用平衡，通过IBTree提升在线强化学习效率和稳定性。

前置知识

探索-利用权衡

强化学习中的经典困境。探索指尝试未知动作以发现更好的策略，利用指在已知好动作中选择最优。对于LLM推理任务，探索意味着生成多样化的推理路径，利用意味着在高置信度路径上集中计算资源。平衡两者至关重要：过度探索导致训练不稳定和计算浪费，过度利用导致陷入局部最优、性能停滞。

本文的核心问题就是在线RL中探索-利用失衡，这是理解论文动机的基础。

信息瓶颈理论

由Tishby等人提出的理论框架，核心是在最小化输入X与中间表示Z的互信息I(X;Z)的同时，最大化Z与输出Y的互信息I(Z;Y)。数学公式为：min I(X;Z) - βI(Z;Y)。第一项促使Z丢弃与任务无关的信息（泛化），第二项确保Z包含预测Y所需的关键信息（相关性）。β参数控制两者权衡。

论文将IB理论重新解释为探索-利用平衡的度量，并推导出IB-Score指标，这是方法的理论基础。

Group Relative Policy Optimization (GRPO)

PPO的变体，专为LLM在线RL设计。给定问题q，GRPO独立采样G条轨迹{τ_i}，从验证器收集奖励{R_i}，在组内归一化计算相对优势，然后使用裁剪策略进行策略优化。优势计算为A_{i,t} = (R_i - mean({R_i}))/std({R_i})，重要权重为w_{i,t} = πθ(τ_{i,t}|q,τ_{i,<t})/πref(τ_{i,t}|q,τ_{i,<t})。损失函数包含KL散度正则化以防止策略偏离。

GRPO是目前LLM在线RL的主流方法，是论文的主要基线。论文指出GRPO存在探索不足、利用不足的问题。

Tsallis熵

Shannon熵的广义形式，定义为H_α(p) = (1-∑p_i^α)/(α-1)，其中α是熵指数。当α=1时退化为Shannon熵。论文使用α=2，得到H_2(p) = 1-∑p_i^2，这在数值上更稳定且计算更简单。论文用它作为Shannon熵的代理来估计步骤级别的分布不确定性。

论文用Tsallis熵替代Shannon熵来估计H(s_i|q,s_{<i})，这是IB-Score计算的关键组成部分。

研究动机

现有在线RL方法（如GRPO）在LLM推理任务中存在探索-利用失衡的双重困境。一方面，独立采样策略难以生成足够多样化的推理路径，模型在训练早期快速收敛到高确定性策略，导致有效采样组（Eff-Rate，即非零奖励方差的组占比）急剧下降，学习信号稀疏。以Qwen3-8B-Base在DAPO-Math-17K上的训练为例，GRPO的Eff-Rate从约60%持续下降至接近40%。另一方面，基于结果的验证器（如数学验证器）提供的奖励信号稀疏，难以进行细粒度策略优化。尽管引入熵正则化和非对称裁剪可以缓解熵衰减，但Eff-Rate仍持续下降，且朴素鼓励高熵会导致熵爆炸（模型表现出过度不确定性）和训练不稳定。

本文的目标是本文旨在开发一个统一的框架来量化和鼓励LLM在线RL中细粒度的探索-利用平衡。具体目标包括：(1)设计一个有效指标来量化步骤级别的探索-利用权衡，(2)将该指标融入RL优化目标以实现自适应平衡，(3)在不显著增加采样成本的前提下提高采样效率和探索有效性。

与已有工作不同的是，已有工作尝试从不同角度解决探索-利用失衡问题：基于熵的机制（如TreeRL）通过最大化token级熵来鼓励探索，但这忽略了环境反馈，与模型决策不匹配；过程奖励模型（如Math-Shepherd）提供细粒度监督但难以高效收集；树结构方法（如TreePO）限制树宽以控制成本。然而，这些方法要么因策略早期收敛导致学习信号衰减，要么因不确定性爆炸导致训练崩溃。本文的独特切入点是从信息瓶颈理论出发，提出IB-Score作为统一框架，同时考虑模型置信度和环境反馈增益，实现探索多样性与置信度分配的协同优化。

核心方法

IB-TPO的核心思路是用信息瓶颈理论重新审视探索-利用权衡，将IB目标转化为可计算的IB-Score指标，然后通过IBTree引导树搜索和优势估计。方法整体分为三步：(1)推导IB-Score：将IB目标J_IB(τ) = -I(q;τ) + βI(τ;a*|q)转化为步骤级形式，用Tsallis熵和Monte Carlo估计得到可计算的IB-Score = (β+1)Ĥ(s_i) - βĤ(s_i|a*)。(2)IBTree采样：将IB-Score作为分支选择准则，选择性在最高IB-Score节点扩展，共享前缀提高效率。(3)策略优化：结合IB-Score计算局部优势A_IB(s)，与全局优势A_GL(s)组合，使用标准policy梯度优化。

核心创新是将信息瓶颈理论重新解释为探索-利用平衡的度量，并提出IBTree实现IB引导的探索。与传统熵方法不同，IB-Score不仅衡量模型不确定性，还考虑环境反馈的信息增益，通过Cov(η1,η2)量化置信度与反馈增益的对齐程度。η1 = -(1+1/β)(p(a*|s)/p(a*|s_{parent})) + 1衡量环境反馈增益，η2 = πθ(s)衡量模型置信度。高IB-Score意味着模型对高信息增益路径保持高置信度，这正是有效探索的特征。IBTree利用这一特性，选择性扩展高IB-Score节点，而非盲目扩展高熵节点。

方法步骤详情

方法完整流程如下：(1)初始化：对每个问题q，初始化一棵树T={节点S={q}}，轨迹集合T={}。(2)树扩展：进行L次迭代，每次迭代选择IB-Score最高的K个节点S'=arg topK_s∈S(IB-Score(s))进行分支，从每个分支节点生成B条新轨迹T'，更新T=T∪T'，S=S∪nodes(T')。使用\n\n作为步骤分隔符。(3)IB-Score计算：对每个节点s，从其生成B个候选{s_b^i}，计算步骤概率πθ(s|q,s_{<i})（几何平均归一化），用Tsallis熵估计Ĥ(s) = (1-∑πθ(s)^α)/(α-1)，通过Monte Carlo rollouts估计p(a*|s)，得到Ĥ(s|a*) ≈ (1-∑p(s|a*))/B，最终IB-Score(s) = (β+1)Ĥ(s) - βĤ(s|a*)。(4)优势估计：局部优势A_IB(s) = (p(a*|s)/p(a*|s_{parent}) - (1+1/β))·πref(s)，全局优势A_GL(s) = (p(a*|s)-p(a*|q))/std({R(τ)})，组合优势A(s) = A_GL(s) + λ·A_IB(s)。(5)策略优化：使用GRPO的裁剪目标，用组合优势A(s)替代原始优势进行policy梯度更新。

技术新颖性

技术新颖性体现在三个方面：(1)理论创新：首次将IB目标转化为步骤级可计算指标IB-Score，揭示Cov(η1,η2)与探索-利用平衡的本质联系。(2)采样策略创新：IBTree不同于TreeRL的熵引导（忽略反馈）和TreePO的固定宽度（缺乏引导），使用IB-Score同时考虑置信度和反馈，实现选择性高效探索。(3)估计方法创新：利用树结构作为IB-Score的高效Monte Carlo估计器，树扩展与IB-Score更新相互强化，避免额外采样成本。此外，使用步骤级（非token级）熵计算和Tsallis熵替代Shannon熵提高了数值稳定性。

**Figure 3**: Training dynamics of Cov(η1, η2) and IB-Score for GRPO baselines.

**Figure 9**: An example of IBTree Sampling.

实验结果

在Qwen3-1.7B-Base和Qwen3-8B-Base上的实验表明，IBTPO显著优于所有基线。在Qwen3-1.7B-Base上，IBTPO相比Vanilla GRPO在MATH-500上提升3.3%（66.8%→70.1%），AIME 25上提升2.2%（4.5%→6.7%），AMC 24上提升3.7%（19.7%→23.4%），GPQA上提升2.5%（26.5%→29.0%），整体平均提升2.9%。在Qwen3-8B-Base上，提升更为明显：MATH-500提升1.8%（81.5%→83.3%），AIME 25提升1.7%（13.6%→15.3%），AMC 24提升6.6%（39.4%→46.0%），GPQA提升3.6%（38.1%→41.7%），整体平均提升3.6%。训练动力学分析显示，IBTPO的Eff-Rate比基线平均高6.8%，验证了IBTree的探索多样性优势；Cov(η1,η2)和IB-Score保持更高水平，表明模型有效保持置信度与反馈增益的对齐。pass@K准确率比较显示，IBTPO在大K时优势更明显，验证了扩展搜索空间的能力。扩展实验在Qwen3-14B-Base和Llama3.1-8B-Instruct上验证了方法的可扩展性和跨任务泛化性（数学+代码）。

**Table 1**: Main comparison with state-of-the-art methods.

**Table 2**: Ablation of main components of our method.

**Table 3**: Ablation of different tree branching strategies.

**Figure 5**: Training dynamics of our method compared with state-of-the-art approaches using Qwen3-8B-base.

查看结构化数据

任务	指标	本文	基线	提升
数学推理	MATH-500 avg@32	70.1%/83.3%	66.8%/81.5%	+3.3%/+1.8%
数学推理	AIME 25 avg@32	6.7%/15.3%	4.5%/13.6%	+2.2%/+1.7%
数学推理	AMC 24 avg@32	23.4%/46.0%	19.7%/39.4%	+3.7%/+6.6%
多任务推理	GPQA avg@32	29.0%/41.7%	26.5%/38.1%	+2.5%/+3.6%
指令遵循	IFEval avg@32	26.9%/46.2%	24.0%/42.0%	+2.9%/+4.2%

局限与改进

作者承认的主要局限性是多迭代树采样引入的时间开销。虽然可以通过并行采样多棵树充分利用推理引擎解码宽度，但由于迭代依赖，单棵树的并行性低于独立采样。实际GPU wall-clock运行时间比较显示，在高并行度下IBTree (G=12)与独立采样 (G=8)的差距逐渐缩小，但仍有一定开销。其他潜在局限性包括：(1)β参数需要调优（论文推荐β=5），(2)步骤分隔符\n\n在语义边界不明确时可能影响步骤粒度，(3)树搜索空间仍受限于总轨迹数G。

独立分析的弱点

独立分析发现的弱点：(1)计算复杂度：IB-Score需要对每个节点进行多次rollouts估计p(a*|s)，在大型树结构中开销显著，虽然论文声称IBTree本身作为估计器可以复用，但实际成本仍高于独立采样。(2)步骤粒度依赖：使用\n\n作为分隔符假设模型输出遵循良好格式，若模型不遵循格式或步骤边界模糊（如数学推导步骤未换行），IB-Score计算可能不准确。虽然噪声注入实验显示鲁棒性，但极端情况下可能失效。(3)稀疏奖励依赖：IB-Score仍依赖p(a*|s)的准确估计，对于结果验证器难以评估的开放性问题（如文本生成），p(a*|s)估计可能不可靠。(4)超参数敏感性：λ（优势权重）和β需要针对任务调优，论文实验显示λ=0.1最优，λ=0.5性能下降7%，β=5最优，β=10性能略降。改进方向：(1)开发更高效的自适应rollout策略，(2)学习步骤边界而非依赖硬分隔符，(3)结合过程奖励模型提高p(a*|s)估计可靠性，(4)自适应调整λ和β。

未来方向

作者提出的未来方向包括减少树采样的wall-clock时间，扩展到多模态推理和函数调用场景。基于成果可延伸的方向：(1)跨模态IB-Score：将IB-Score扩展到多模态任务，考虑图像、代码等多模态输入的信息流。(2)离线RL集成：将IB-Score用于离线RL数据集的质量评估和筛选。(3)元学习框架：学习λ和β的自适应调整策略，根据任务类型和训练阶段动态优化。(4)树搜索增强：结合MCTS或AlphaZero风格的搜索，用IB-Score替代UCB作为选择准则。(5)理论分析：深入分析Cov(η1,η2)与收敛速度的定量关系，提供更严密的理论保证。(6)轻量化变体：开发无需树结构的轻量化版本，通过重要性采样估计IB-Score。

复现评估

论文声称代码已在GitHub开源（但未提供具体链接），使用ms-swift框架和vLLM推理引擎。实验设置：Qwen3-1.7B/8B/14B-Base，训练数据DAPO-Math-17K（约17K数学问题），学习率1×10^-6，KL正则化0.001，1 epoch。采样参数：T=0.7, top p=0.95, top k=20, 最大长度2K。IBTree参数：G=12 (vs GRPO G=8), (B0,L,K,B)=(4,9,1,1)，β=5, λ=0.1。评估使用EvalScope框架，报告avg@32准确率。算力：8×A100 GPU。复现难度中等：框架选择（ms-swift）和基线对齐需要注意，论文未提供详细训练日志，但提供了主要超参数。潜在复现挑战包括：(1)树扩展的同步逻辑实现，(2)p(a*|s)的Monte Carlo估计效率，(3)步骤分隔符处理。

长存平衡：信息瓶颈驱动的基于树策略优化 Long Live The Balance: Information Bottleneck Driven Tree-based Policy Optimization