基于迭代信息瓶颈的潜在策略优化：I²B-LPO IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck
通过熵驱动潜在分支和信息瓶颈正则化，解决大语言模型推理中的探索崩溃问题
前置知识
强化学习与可验证奖励（RLVR）
RLVR是一种训练大语言模型进行推理的方法范式，特别适用于数学等具有确定性验证的任务。在这种范式中，模型会生成多个推理路径（rollouts），然后通过对比正确和错误的路径来强化学习。具体来说，模型会尝试不同的解题思路，系统会验证每个路径是否得到正确答案，然后使用强化学习算法（如GRPO）来优化策略，使得模型更倾向于选择能导致正确答案的推理路径。这种方法在DeepSeek-R1等模型中取得了显著成功。
这是本文研究的核心场景，理解RLVR的基本原理是理解本文问题动机和解决方案的基础。
策略熵与探索崩溃
策略熵是衡量语言模型生成不确定性的指标，高熵表示模型在某个位置有多个可能的输出选择，低熵表示模型倾向于选择少数几个确定的输出。在RLVR训练过程中，模型会逐渐收敛到少数高概率的推理模板，导致策略熵持续下降，这种现象称为探索崩溃。具体表现为：虽然表面措辞有变化，但底层推理模式高度相似，使得对比学习信号变得微弱，模型失去探索新策略的动力。
探索崩溃是本文要解决的核心问题，理解熵的动态变化对于理解本文的熵驱动分支机制至关重要。
条件变分自编码器（CVAE）
CVAE是一种生成模型，它通过潜在变量z来建模条件分布。在CVAE中，编码器将输入映射到潜在空间，解码器从潜在变量重建输出。与标准VAE不同，CVAE的生成过程是条件的，即给定输入x，模型学习p(y|z,x)的分布。在本文中，CVAE用于在检测到高熵状态时采样多样化的潜在变量z，每个z作为一个结构化提示注入到LLM的注意力层中，从而引导后续推理轨迹的多样化。
CVAE是本文实现潜在分支的核心技术组件，理解其工作原理对于理解方法的技术细节至关重要。
信息瓶颈理论
信息瓶颈（Information Bottleneck, IB）是一种信息论方法，用于在压缩输入信息的同时保留对预测目标有用的信息。其核心思想是：最优表示应该最小化输入与表示之间的互信息I(X;X̂)，同时最大化表示与目标之间的互信息I(X̂;Y)。在本文中，IB被用于量化推理路径的压缩程度和预测能力之间的权衡。具体来说，一个最优策略应该最小化对提示的依赖（压缩），同时最大化对最终答案的预测能力（信息性）。
信息瓶颈是本文的核心理论框架，理解IB的权衡机制对于理解本文的自奖励和路径选择策略至关重要。
伪自注意力（PSA）
PSA是一种将外部信息注入到Transformer自注意力机制中的技术。在本文中，PSA用于将CVAE采样的潜在变量z注入到LLM的注意力层中。具体实现分为两个阶段：第一阶段是自适应范数调制，将潜在变量投影并添加到RMSNorm的可学习缩放参数中；第二阶段是增强自注意力，将潜在代码进一步投影为调制向量，与原始的键和值进行拼接。这种注入方式使得潜在变量能够以结构化的方式影响模型的注意力分布，从而引导推理轨迹的方向。
PSA是本文实现潜在变量对推理过程影响的具体技术手段，理解其工作方式有助于理解方法的实际效果。
研究动机
在强化学习与可验证奖励（RLVR）训练大语言模型进行数学推理时，现有方法面临严重的探索崩溃问题。具体来说，当使用标准GRPO算法训练时，模型会快速收敛到少数高概率的推理模板，导致推理路径在语义上高度同质化。如论文Figure 3所示，在GRPO训练过程中，虽然响应长度持续增长（从约800 tokens增长到1200 tokens以上），但准确率却早早达到平台期，同时4-gram重复率（灰色柱状图）显著上升，表明模型在生成冗长但缺乏实质内容的推理过程。这种语义同质化导致了一个恶性循环：相似的推理路径产生微弱的优势差异，进而产生信息量不足的学习信号，最终使模型失去探索新策略的动力。现有两类解决方案都存在根本局限：熵正则化方法（如Entropy-Reg）通过全局平滑词元分布来增加熵，但这会导致模型生成语义空洞的冗余内容，如Figure 1(a)所示的过度元话语；词元选择性方法（如80/20）则在高熵位置局部锐化分布，但这种局部调整难以克服预训练模型的强归纳偏置，高熵位置往往对应词汇歧义而非真正的推理分岔点。
本文的目标是本文的核心目标是实现一种既能保持推理准确性又能提升语义多样性的探索机制，具体量化目标包括：在数学推理基准测试上超越现有最佳方法至少5%的准确率提升，同时在多样性指标上实现7%以上的改进，并且避免生成过度冗长的响应。更深层次的目标是实现从统计词元扰动到拓扑轨迹分岔的范式转变，不再仅仅调整词元概率分布，而是在推理轨迹的结构层面实现真正的多样化。
与已有工作不同的是，本文的独特切入角度在于将探索问题从统计扰动提升到拓扑分岔的层面。现有方法都局限于在词元分布空间进行操作：熵正则化全局平滑分布，词元选择性方法局部锐化分布，但都未能触及推理轨迹的结构多样性。本文的洞察是：高熵状态实际上代表了推理过程中的自然决策点，在这些点进行分支能够真正解锁探索潜力。如论文Figure 2所示，在高熵区间（>2.5）进行混合解码策略的性能提升远大于低熵区间（<1.0），验证了高熵状态作为自然决策点的假设。基于这一洞察，本文提出了两个关键创新：一是熵驱动的潜在分支，通过CVAE在高熵状态采样多样化潜在变量来实现拓扑分岔；二是信息瓶颈正则化，作为双重用途的过滤器和自奖励机制，确保探索的简洁性和信息性。这种从统计扰动到拓扑分岔的范式转变，使得模型能够在推理结构层面实现真正的多样化，而不仅仅是表面措辞的变化。
核心方法
I²B-LPO的方法可以类比为在迷宫中探索多条路径的过程。传统方法就像在迷宫的每个路口随机选择方向，但最终会陷入同一条路径；而I²B-LPO则像在关键决策点（高熵状态）设置多个路标，引导探索者尝试不同的路径组合。具体技术路线分为两个阶段：第一阶段是熵驱动的潜在分支，首先检测推理轨迹中的高熵状态作为分岔点，然后使用CVAE在这些点采样多样化的潜在变量，通过伪自注意力（PSA）机制将这些变量注入到LLM的注意力层中，从而引导后续推理轨迹的多样化；第二阶段是信息瓶颈正则化，通过计算每个推理路径的IB分数来评估其信息量和简洁性，保留高分路径作为训练数据，并将IB分数作为辅助奖励目标进行策略优化。整个流程如Figure 4所示，从初始rollout集合开始，经过熵检测、CVAE采样、PSA注入生成分支集合，然后通过IB评分和排序选择高质量路径进行策略优化。
本文的核心创新在于实现了从统计扰动到拓扑分岔的范式转变。与现有方法最本质的区别在于：现有方法（如熵正则化、词元选择性方法）都在词元分布空间进行操作，试图通过调整概率分布来增加多样性，但这种调整是表面的、局部的，难以克服预训练模型的强归纳偏置。而I²B-LPO则在推理轨迹的结构层面进行操作，通过潜在变量z来实现真正的拓扑分岔。具体来说，每个潜在变量z都作为一个结构化提示，通过PSA机制持续影响后续的推理过程，从而产生结构上不同的推理轨迹（如Figure 1(c)所示的基于微分的R1和基于几何的R2）。这种拓扑分岔的关键优势在于：它不是简单地增加随机性，而是通过潜在变量来编码不同的推理策略，使得探索更加有方向性和结构性。同时，信息瓶颈正则化作为双重机制，既作为过滤器选择信息丰富的路径，又作为自奖励机制抑制语义空洞的冗余内容，从而在探索和利用之间实现更好的平衡。
方法步骤详情
I²B-LPO的完整流程包含以下步骤：首先，从初始rollout集合Ro={r1,...,rM}开始，对每个基础rollout ri生成K个分支，同时保留原始路径，形成分支集合R={ri,j|1≤i≤M,1≤j≤K+1}，包含M×(K+1)条路径。然后进入熵驱动潜在分支阶段：对于每条轨迹r=(o1,...,oT)，计算每个步骤的词元级熵Ht=-Σv∈V P(v|q,o<t)logP(v|q,o<t)，选择熵最高的5%步骤作为候选分岔点Ω，从中均匀采样一个分岔点t*，提取前缀上下文ct*=[q,o1,...,ot*-1]。接着使用训练好的CVAE模型，以ct*为条件，从先验网络p(z|x)采样K个独立的潜在代码zj~p(z|ct*)。这些潜在代码通过PSA机制注入到LLM中：第一阶段进行自适应范数调制，将z投影并添加到RMSNorm的缩放参数；第二阶段进行增强自注意力，将z投影为调制向量与原始键值拼接。随后进入信息瓶颈正则化阶段：对分支集合R中的每条路径计算IB分数SIB(r)=(1/T)Σt=1^T AtH(ot|o<t,q)，其中At是优势函数，H是策略熵。根据IB分数排序，保留前N条高质量路径形成R*。最后将R*作为训练数据，同时将IB分数作为辅助最大化目标，最终损失函数为J=JGRPO+γ·SIB(θ;R*)，其中γ是平衡任务正确性和推理效率的系数。
技术新颖性
I²B-LPO的技术新颖性体现在三个层面：第一，范式创新，从统计扰动转向拓扑分岔。现有方法如Entropy-Reg通过全局平滑分布增加熵，KL-Cov在高熵位置局部锐化分布，但都在词元空间操作；而I²B-LPO通过潜在变量在轨迹结构层面实现分岔，产生真正不同的推理策略。第二，机制创新，熵驱动分支与信息瓶颈的协同设计。熵检测机制利用高熵状态作为自然决策点，如Figure 2验证的高熵区间（>2.5）性能提升显著；CVAE采样提供多样化的潜在变量；PSA注入实现结构化影响；而IB正则化同时作为过滤器和自奖励，这种双重用途设计在探索和利用之间实现了更好的平衡。第三，技术实现创新，PSA机制的两阶段设计。第一阶段的自适应范数调制使潜在变量影响所有词元的特征表示，第二阶段的增强自注意力使潜在变量作为结构化提示持续引导推理过程，这种设计比简单的输入拼接或logit调整更有效，如Table 3消融实验所示，PSA融合相比输入级融合和softmax层融合在MATH数据集上分别提升5.3%和3.2%的Pass@1准确率。
实验结果
I²B-LPO在四个数学推理基准测试上取得了最先进的性能，充分验证了其在准确性和多样性方面的优势。在Qwen2.5-7B骨干网络上，I²B-LPO在MATH-500数据集上实现了81.5%的Pass@1准确率，相比标准GRPO的54.4%提升了27.1个百分点，相比最强基线SPINE的76.2%提升了5.3个百分点。在AIME2025上，I²B-LPO达到13.6%的Pass@1，相比GRPO的8.2%提升了5.4个百分点。在更具挑战性的AIME2024上，I²B-LPO达到18.6%的Pass@1，相比GRPO的10.3%提升了8.3个百分点。在OlympiadBench上，I²B-LPO达到58.0%的Pass@1，相比GRPO的44.9%提升了13.1个百分点。在Qwen3-14B骨干网络上，I²B-LPO同样表现优异，在MATH-500上达到93.5%的Pass@1，相比GRPO的89.2%提升了4.3个百分点；在AIME2025上达到38.3%的Pass@1，相比GRPO的27.0%提升了11.3个百分点。多样性方面，如Figure 5和Table 2所示，I²B-LPO在GSM8K基准上，Qwen2.5-7B骨干的Distinct-4指标达到0.87，相比基线的0.51提升了70.6%，相比Entropy-Reg的0.73提升了19.2%。在MATH-500上，I²B-LPO的Distinct-4指标为0.82，相比基线的0.40提升了105%。值得注意的是，I²B-LPO在保持高多样性的同时，响应长度保持在合理范围（MATH-500上为1080 tokens），避免了Entropy-Reg方法生成的过度冗长响应（1802 tokens）。消融实验（Table 3）进一步验证了各组件的贡献：熵驱动分支相比随机分支在MATH上提升4.3%的Pass@1；PSA融合相比无潜在注入提升7.0%；IB机制（损失+剪枝）相比无IB提升14.8%的Pass@1，同时将困惑度从19.5降低到12.6。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500 | Pass@1 (%) | 81.5 | 54.4 (GRPO) | +27.1 |
| AIME2025 | Pass@1 (%) | 13.6 | 8.2 (GRPO) | +5.4 |
| AIME2024 | Pass@1 (%) | 18.6 | 10.3 (GRPO) | +8.3 |
| OlympiadBench | Pass@1 (%) | 58.0 | 44.9 (GRPO) | +13.1 |
| GSM8K | Pass@1 (%) | 95.6 | 91.6 (Base) | +4.0 |
| MATH-500 | Distinct-4 | 0.82 | 0.40 (Base) | +105% |
| MATH-500 | Perplexity | 13.1 | 19.5 (w/o IB) | -32.8% |
局限与改进
尽管I²B-LPO取得了显著成果，但仍存在一些局限性。首先，熵作为不确定性度量在开放式或非数学任务中可能无法持续反映语义多样性。论文作者在Limitations部分明确指出，熵信号在不同任务类型中的有效性可能存在差异，这限制了方法的泛化能力。其次，尽管基于IB的剪枝机制，分支机制在计算上仍然比单rollout方法更加密集。如Table 4所示，最大响应长度从2048增加到8192 tokens时，MATH Pass@1从68.2%提升到81.5%，但这也意味着更多的计算开销。第三，方法依赖于高熵状态作为自然决策点的假设，如Figure 2所示在高熵区间（>2.5）性能提升显著，但在低熵区间（<1.0）提升有限，这可能限制方法在某些推理模式下的效果。第四，CVAE组件需要额外的训练和调优，如Appendix B所述，CVAE使用DeBERTa-v2-large作为编码器，潜在维度dz=128，这增加了系统的复杂性和训练成本。最后，实验主要集中在数学推理任务上，在其他推理类型（如逻辑推理、常识推理）上的有效性尚未验证。
独立分析的弱点
基于独立分析，I²B-LPO存在以下几个主要弱点：第一，熵检测机制的局限性。当前方法选择熵最高的5%步骤作为分岔点，但这种启发式阈值可能在不同任务和模型上不是最优的。改进方向可以是开发自适应的分岔点检测机制，例如基于梯度信息或注意力模式来识别真正的推理决策点，而不仅仅依赖熵值。第二，CVAE采样的多样性质量。虽然CVAE能够生成多样化的潜在变量，但无法保证这些变量对应的是有意义的推理策略差异。可以考虑引入对比学习或语义约束来确保采样的潜在变量编码不同的推理策略，而非随机噪声。第三，IB分数的计算效率。当前IB分数需要计算每个词元的熵和优势函数，计算开销较大。可以探索近似计算方法，如基于采样的估计或使用代理模型来预测IB分数。第四，分支因子K的固定设置。如Table 4所示，K=7时性能最优，但不同问题可能需要不同的分支数量。可以开发动态分支策略，根据问题的复杂性和不确定性水平自适应调整K值。第五，PSA注入的深度选择。实验显示在最后12层注入效果最好，但这种固定策略可能不是最优的。可以探索逐层自适应注入机制，根据每一层的特征动态调整注入强度和位置。
未来方向
基于I²B-LPO的成果，未来研究可以在以下几个方向展开：第一，将方法扩展到更多推理任务类型。当前工作主要聚焦于数学推理，未来可以探索在逻辑推理、代码生成、常识推理等任务上的应用，验证熵驱动分支和IB正则化的泛化能力。第二，开发更高效的分支机制。当前分支机制需要生成多个rollout并计算IB分数，计算开销较大。可以研究基于重要性采样的近似方法，或者开发轻量级的代理模型来预测路径质量，从而减少实际生成的分支数量。第三，探索潜在变量的可解释性。当前CVAE生成的潜在变量是黑盒的，难以解释其编码的具体推理策略。可以研究如何使潜在空间更加结构化和可解释，例如通过解耦表示学习或引入语义约束。第四，结合过程奖励模型。当前方法主要依赖结果奖励，可以探索将过程奖励模型与IB正则化结合，在中间推理步骤提供更细粒度的指导信号。第五，研究分支时机的优化。当前基于熵阈值的分岔点检测是启发式的，可以研究基于强化学习的分支时机选择策略，让模型自主学习何时进行分支最有效。
复现评估
I²B-LPO的复现条件相对友好。论文已在GitHub开源代码（https://github.com/denghuilin-cyber/IIB-LPO），提供了完整的实现细节。数据集方面，训练数据来自DAPO和MATH数据集，经过过滤后包含6,486个MATH样本和13,583个DAPO样本，这些都是公开可用的数据集。算力需求方面，如Appendix E所述，在Qwen2.5-7B骨干上训练需要8×H100 GPU运行约50小时，在Qwen3-14B骨干上需要16×H100 GPU运行约64小时，这对于学术研究来说是可承受的。复现难度中等，主要挑战在于CVAE组件的训练和调优，以及超参数的选择。论文提供了详细的超参数设置（Table 6），包括学习率、批大小、分支因子K=7、保留路径数N=8等，这有助于复现。但需要注意，CVAE需要使用DeBERTa-v2-large作为编码器，潜在维度dz=128，这些细节在Appendix B中有说明。总体而言，对于有相关经验的研究者，复现该方法是可行的，但需要一定的计算资源和调优时间。
论文图表
