自压缩语言模型智能体 Self-Compacting Language Model Agents
让模型自主决定何时压缩上下文的训练免费框架，以30-70%更低成本实现自适应轨迹压缩
前置知识
Context Rot（上下文腐烂）
随着语言模型生成长轨迹，早期产生的错误推理、过时的搜索结果、无效的候选程序等垃圾内容会持续影响后续生成，这种现象称为上下文腐烂。这些残留内容锚定后续生成，导致模型从干净起点能解决的问题在回到自身错误推理后反而失败。这是长上下文推理中的核心挑战之一，随着轨迹长度增加而恶化。
论文的核心问题就是解决上下文腐烂，理解这一现象有助于理解为什么需要压缩以及何时压缩最重要
KV Cache Reuse（KV缓存复用）
在推理过程中，模型的键值对缓存可以复用以减少重复计算。SELFCOMPACT通过追加而非替换提示词的方式，保持已有轨迹的KV缓存，使压缩工具和规则探测只需要为追加的指令支付prefill成本，而非重新编码整个轨迹。这使得额外的LLM调用成本大大降低，压缩与不压缩的平衡点被推到 L/ell > 10（L为轨迹长度，ell为摘要长度）。
这是SELFCOMPACT能在不增加总成本的前提下实现压缩的关键技术细节
Rubric-Gated Inference（规则门控推理）
在固定间隔探测点，模型根据一组预定义的轻量级规则判断当前状态是否适合压缩。规则要求模型引用轨迹中的具体证据来验证条件是否满足，例如子任务是否已解决、轨迹是否正在收敛、是否卡在中间推导等。只有当规则返回COMPRESS时才触发压缩，否则继续。这相当于在推理过程中插入了一个元认知检查点。
这是论文的核心创新点，将何时压缩的决策从固定阈值变为基于轨迹结构的自适应判断
研究动机
现有的agent上下文压缩策略依赖内容无关的启发式规则：反应式压缩仅在上下文接近预算时触发，将压缩视为纯粹的溢出预防；周期式压缩在固定间隔（每k轮或每k个token）触发，完全忽略轨迹内容。固定间隔策略的致命缺陷是它无法区分模型处于中间推导状态还是刚刚解决子问题、正在搜索中还是正在收敛。图1展示了具体场景：固定间隔压缩在BrowseComp问题的推理中途触发，擦除了四个已验证的事实，导致模型只能猜测错误答案。表2显示，在IMO-Answerbench上，12次固定间隔压缩中40.4%的转换导致性能退化。更严重的是，随着任务难度增加，长推理轨迹可能消耗数万甚至数十万token：Qwen3.5在单个竞赛数学问题上产生81k token，Kimi-K2.5产生96k，这使得上下文腐烂问题更加突出。
本文的目标是论文的核心研究问题是：语言模型智能体本身能否在不进行训练的情况下识别自身的上下文腐烂，并相应地进行压缩。目标是在不引入外部验证器或额外训练的情况下，让模型自主决定何时以及如何压缩，从而以更低的token成本达到或超过固定间隔压缩的性能。
与已有工作不同的是，现有工作要么依赖固定的token阈值触发压缩，要么需要通过SFT、RL等方式训练模型来学习何时压缩。前者的缺陷是忽略轨迹结构，后者则需要大量的训练数据和计算资源。本文的独特切入角度是：完全不进行任何训练，仅通过在推理时暴露一个压缩工具和一个轻量级规则，让即用型模型自己学会何时调用工具。这揭示了一个元认知能力缺口：虽然未经提示的模型无法可靠判断自己的上下文是否腐烂，但一个段落级别的规则就能填补这个缺口。论文声称这是首个在训练免费设置中引入并评估基于规则的自适应压缩时机的工作。
核心方法
SELFCOMPACT的整体思路是将压缩决策权归还给语言模型智能体本身，但不是让它完全自主，而是通过一个轻量级规则门控来指导何时调用压缩工具。技术路线包含两个核心元素：压缩工具S和规则提示P_R。压缩工具S接受原始提示x和（可能不完整的）延续y_1:t，生成压缩版本。规则提示P_R在探测间隔t ∈ {N, 2N, 3N, ...}时追加到上下文，让模型判断当前是否应该压缩，返回二元裁决r_t ∈ {COMPRESS, CONTINUE}。只有当r_t = COMPRESS时才调用S，生成压缩轨迹后用替换原有上下文并继续生成。整个框架在单个推理引擎上运行，无需任何fine-tuning。
SELFCOMPACT的核心创新点是将何时压缩的决策从固定的token阈值改为基于轨迹结构特征的自适应判断。与现有方法的本质区别在于：它不训练模型，而是通过推理时的规则提示来补充模型的元认知能力。表5和表6的消融实验显示，仅提供压缩工具而不提供规则会导致模型调用时机不稳定（GLM-4.7-Flash平均准确率46.4%降至41.0%，Qwen3-4B从45.5%降至40.9%），与固定间隔策略相当甚至更差。这说明压缩工具本身不足以解决问题，规则才是关键。规则将子任务已解决和轨迹未卡在中间推导转化为模型可以验证的具体条件，每个条件都要求模型引用轨迹中的逐字证据。这使得模型能够在本地检查条件，而不是依赖不可靠的直觉。
方法步骤详情
SELFCOMPACT的完整工作流程如算法1所示。步骤1：初始化上下文C为提示x。步骤2-16：进入生成循环，t从1到T。步骤3：从采样得到y_t并追加到C。步骤4：如果y_t是最终答案则返回。步骤5：如果t是探测间隔N的倍数，则执行步骤6-14。步骤6：追加规则提示P_R到C（此时KV缓存保留）。步骤7：从采样裁决r_t ∈ {COMPRESS, CONTINUE}并追加。步骤8：如果r_t = COMPRESS则执行步骤9-11。步骤9：追加总结器提示P_S（KV缓存仍然保留）。步骤10：从采样得到压缩轨迹。步骤11：硬重置C为，从摘要处恢复生成。步骤12-13：如果r_t = CONTINUE则弹出r_t和P_R，回退到原轨迹继续。整个流程的输入是提示x、模型、探测间隔N、步预算T、规则提示P_R和总结器提示P_S，输出是最终答案。
技术新颖性
SELFCOMPACT的技术新颖性体现在三个方面：一是首个在训练免费设置中引入规则门控的自适应压缩时机决策，填补了元认知能力的缺口；二是通过KV缓存复用技术使压缩探测的成本极低，仅贡献自己的短生成，而轨迹的缓存被保留；三是揭示了一个重要发现：仅提供工具而不提供规则会导致不稳定的工具使用，但一个段落级别的指导就能有效引导自适应压缩。这与需要大量训练的工作（如通过SFT或RL学习何时压缩）形成鲜明对比，证明了元认知能力可以通过推理时的轻量级规则而非权重训练来提供。成本分析显示，压缩在L/ell > 10时总是划算（L为轨迹长度，ell为摘要长度），搜索总结器在20-80倍达到此阈值。
实验结果
论文在6个基准和7个模型上进行了评估，核心发现如下。数学推理方面（表1）：在IMO-Answerbench、HMMT Nov 2025和HMMT Feb 2026三个基准上测试了Qwen3-4B-Instruct-2507、Qwen3-30B-A3B-Instruct-2507、Qwen3.5-9B（禁用思考）和Qwen3.5-4B（禁用思考）四个模型。在匹配的token预算下，SELFCOMPACT在12个设置中的11个达到最佳性能。对于启用思考的模型，提升最为显著：Qwen3.5-9B上相比基线在三个基准分别提升16.4、10.0和18.1个百分点。唯一的例外是Qwen3-30B-A3B在HMMT Feb上，固定间隔压缩超出SELFCOMPACT 1.1个百分点，但SELFCOMPACT在其他两个基准上仍领先。智能体搜索方面（表4）：在BrowseComp、BrowseComp-Plus和DeepSearchQA三个任务上测试了GLM-4.7-Flash、MiniMax-M2.5和Mimo-V2-Flash三个模型。SELFCOMPACT在所有模型上都是最强方法，相比无压缩基线在BrowseComp-Plus上分别提升+8.5（GLM-4.7-Flash）、+9.2（MiniMax-M2.5）和+5.3（Mimo-V2-Flash）绝对百分点。精度排序一致：基线小于固定间隔小于等于SELFCOMPACT。固定间隔压缩恢复了基线的大部分损失，SELFCOMPACT的自适应触发通过避免不当压缩额外增加高达6.3百分点。成本方面：尽管每个探测点增加一个额外LLM调用，SELFCOMPACT仍比基线更便宜。BrowseComp-Plus上的每题成本下降67%（GLM-4.7-Flash，0.12到0.04）、63%（MiniMax-M2.5，0.19到0.07）和33%（Mimo-V2-Flash，0.24到0.16）。压缩时机分析（图2）：SELFCOMPACT的规则触发摘要分布明显左偏于30%阈值线，表明规则在轨迹消耗30%上下文之前就达到现在压缩的裁决。这意味着固定阈值通常触发太晚，保留了过时token到模型已经解决当前子问题之后。难度分析（图3）：按无压缩基线的总输出token将问题分成5个等分位数作为难度代理。在简单分位数上三个策略在采样噪声内，但在两个最难的分位数上SELFCOMPACT在所有三个模型上比阈值基线一致提升5-20百分点，表明规则驱动的压缩在需要深度搜索和累积最大上下文的问题上帮助最大。表3的Oracle分析显示，如果能在固定间隔时跳过当前答案正确的压缩，能达到52.9%准确率，比固定间隔+11.5个百分点，比基线+14.0个百分点。这表明即使仅决定是否压缩（而非何时压缩）的子策略也有很大提升空间，而SELFCOMPACT的完全自适应策略理论上能做得更好。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IMO-Answerbench (Qwen3.5-9B) | Accuracy (%) | 45.5 | 38.9 | +6.6 |
| HMMT Nov 2025 (Qwen3.5-9B) | Accuracy (%) | 47.8 | 40.8 | +7.0 |
| HMMT Feb 2026 (Qwen3.5-9B) | Accuracy (%) | 42.1 | 36.5 | +5.6 |
| BrowseComp-Plus (GLM-4.7-Flash) | Accuracy (%) | 54.1 | 45.6 | +8.5 |
| BrowseComp-Plus (MiniMax-M2.5) | Accuracy (%) | 71.2 | 62.0 | +9.2 |
| BrowseComp-Plus (Mimo-V2-Flash) | Accuracy (%) | 62.9 | 57.6 | +5.3 |
| BrowseComp-Plus (GLM-4.7-Flash) | Cost ($/question) | 0.04 | 0.12 | -67% |
| BrowseComp-Plus (MiniMax-M2.5) | Cost ($/question) | 0.07 | 0.19 | -63% |
| BrowseComp-Plus (Mimo-V2-Flash) | Cost ($/question) | 0.16 | 0.24 | -33% |
局限与改进
作者承认的局限性包括：仅评估了开放权重模型，未在frontier系统（如GPT-5.5、Claude Opus 4.7、Gemini 3 Pro）上测试，这些系统报告有更强的元认知能力，可能在没有规则的情况下检测上下文腐烂；研究范围限定于训练免费干预以隔离规则的贡献，未使用强化学习，而RL可以教模型同时学习何时和如何压缩。此外，论文没有提供完整的开源实现，虽然给出了详细的提示词和成本公式。从实验结果看，SELFCOMPACT在部分设置上（如Qwen3-30B-A3B在HMMT Feb上）仍略逊于固定间隔压缩，表明规则设计仍有改进空间。另一个潜在限制是规则需要为不同任务定制（数学和智能体搜索的规则不同），这可能限制通用性。消融实验显示规则至关重要，但也意味着规则设计的质量直接影响性能，如果规则设计不当可能适得其反。
独立分析的弱点
SELFCOMPACT的弱点主要在规则设计方面。当前的规则是人工设计的任务特定提示词，需要为不同任务定制不同的规则（如数学与搜索的规则不同），这限制了框架的通用性和可扩展性。规则的质量直接影响性能，设计不当可能导致压缩时机不佳。从实验结果看，在Qwen3-30B-A3B的HMMT Feb上SELFCOMPACT仍落后固定间隔1.1个百分点，表明规则可能不完全适用于所有模型和任务。另一个弱点是探测间隔N的选择需要手动调优，论文中没有讨论如何自动选择最优间隔。改进方向包括：开发自动规则学习或优化机制，如使用小规模的验证集来学习规则权重；探索跨任务通用的规则设计或规则模板；将SELFCOMPACT与RL结合，让规则作为RL的行为目标，将元认知能力蒸馏到模型权重中；动态调整探测间隔N，例如根据轨迹复杂度自适应调整探测频率；引入更精细的压缩策略，如部分压缩而非全轨迹替换，以保留更多关键信息。
未来方向
作者提出的未来工作方向包括：将SELFCOMPACT与强化学习结合，规则可以提供RL可以蒸馏到策略中的行为目标，这样模型可以内化何时压缩的决策而非依赖外部提示。基于论文成果的可延伸方向包括：探索更多样的任务领域，如代码生成、多轮对话、长期规划等，验证SELFCOMPACT的通用性；研究规则的可解释性和可调试性，帮助理解模型为何在特定时刻选择压缩或继续；开发规则库，为不同任务和模型提供预定义的规则模板，降低使用门槛；将SELFCOMPACT集成到现有agent框架中，作为即插即用的上下文管理模块；研究与其他上下文管理技术的结合，如KV cache eviction、context window动态扩展等，形成更全面的上下文管理方案；探索在多智能体协作中的应用，让智能体间共享压缩规则或协同压缩。
复现评估
论文的可复现性评估如下：开源情况方面，论文未提供完整的代码实现，但给出了详细的算法伪代码（算法1）、提示词模板（附录A和附录B）和成本分析公式（附录C），这为复现提供了重要参考。数据方面，使用的基准都是公开可访问的：数学基准（IMO-Answerbench、HMMT Nov 2025、HMMT Feb 2026）和智能体搜索基准（BrowseComp、BrowseComp-Plus、DeepSearch QA）。模型方面，测试的七个模型都是开放权重模型：四个Qwen模型（Qwen3-4B-Instruct-2507、Qwen3-30B-A3B-Instruct-2507、Qwen3.5-4B、Qwen3.5-9B）和三个部署的智能体（GLM-4.7-Flash、MiniMax-M2.5、Mimo-V2-Flash）。算力方面，论文使用vLLM进行推理，给出了每题token成本和OpenRouter价格，但没有给出具体的硬件配置和总运行时间。难度方面，复现难度中等：算法本身相对简单，主要挑战在于正确实现KV缓存复用和规则探测逻辑，以及选择合适的探测间隔N和提示词模板。论文提供了足够的细节，但完整复现可能需要对vLLM或类似框架的底层实现有深入了解。
论文图表
图1展示了一个BrowseComp硬问题的三种轨迹压缩策略对比。基线（无压缩）在几次不产生成效的搜索后，生成一个30k token的单调独白，没有进一步查询，最终回答None。固定间隔压缩每两个搜索轨迹触发一次，不当地在推理中途触发，擦除了已验证的事实，导致模型只能猜测错误答案。SELFCOMPACT通过规则门控摘要，每个摘要都在验证一个事实后立即触发，在推理继续之前将其结晶化，使所有四个事实得以保留，模型返回正确答案。黄金答案需要验证四个事实后才能组成答案。
这张图是理解论文核心贡献的关键，直观展示了固定间隔压缩的缺陷和SELFCOMPACT的优势，用具体例子说明了为什么压缩时机比压缩操作本身更重要
图3展示了三个模型在BrowseComp Plus上按每题难度的准确率。难度是无压缩基线轨迹消耗的总输出token，每个模型分成5个等大小分位数（左等于简单，右等于困难）。柱状图比较了基线、固定预算阈值（30%上下文）和SELFCOMPACT。在简单分位数上三个策略在采样噪声内，但在两个最难的分位数上SELFCOMPACT在所有三个模型上比阈值基线一致提升5-20百分点。
这张图证明了SELFCOMPACT在最需要长上下文管理的困难问题上优势最大
算法1展示了SELFCOMPACT的完整伪代码。输入包括提示x、模型、探测间隔N、步预算T、规则提示P_R和总结器提示P_S。初始化上下文C为提示x。进入生成循环，t从1到T：从采样得到y_t并追加到C；如果是最终答案则返回；如果t是探测间隔N的倍数，则追加P_R，采样裁决r_t；如果r_t等于COMPRESS则追加P_S，采样压缩轨迹，重置C为摘要；否则弹出r_t和P_R继续。符号说明：C ← C ∘ m表示将消息m追加到上下文C，z ∼ π(· | C)表示从π给定C采样响应z，pop(C, m)表示弹出消息m。
这个算法框图是SELFCOMPACT方法的技术核心，提供了足够细节以支持复现