BEAVER：基于结构感知页面选择的免训练层次化提示压缩方法 BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection

BEAVER 的完整压缩流程包含四个阶段。第一阶段：Segmenter 分页。输入上下文 C 和查询 Q，Segmenter 首先按自然分隔符（如换行符）将 C 切分为逻辑段落 {c_1, ..., c_K}，然后采用贪心分页策略：将连续的短段落打包到一个页面（容量上限 M），超长段落则跨页切分。输出是页面索引张量 P（无效位置用 -1 填充）。第二阶段：PageEncoder 编码。利用目标 LLM 的嵌入层将 token 映射为特征 H，按页面索引重排为三维张量 X。计算上下文内逆词频 w_{itf}(t) = Norm(log(1 + (L_c + L_q) / (1 + tf(t)))) 作为注意力权重。然后通过双路径池化：加权平均池化捕获全局语义 μ_i，最大池化捕获稀有局部激活 m_i，最终融合 p̂_i = γμ_i + (1-γ)m_i，γ=0.7。第三阶段：QueryPlanner 选择。对短查询（L_q < 4）采用 Dense Retrieval，对长查询采用 Late Interaction 计算语义分数 s_{sem}(i)；同时计算词法分数 s_{lex}(i)。混合分数 s_{mix}(i) = λs_{sem}(i) + (1-λ)s_{lex}(i)，λ=0.7。最后整合三层结构先验：(1) Anchor 保留前 k_{anc}=4 页获取全局元信息；(2) Flow 保留查询前的 w_{flow}=4 页连续窗口保持局部连贯；(3) Flash 从剩余页面中选择分数最高的 k_{flash} 页捕获远距离关键证据。第四阶段：句子平滑。将选中页面索引映射回 token 跨度 [a_r, b_r]，向外扩展到最近的句子边界以保持句法完整性，合并重叠跨度，拼接为最终压缩上下文。

BEAVER 的技术新颖性体现在多个层面。首先，“页面级层次化选择”这一范式本身在提示压缩领域是全新的——此前的方法要么在 token 级别操作（Selective-Context、LLMLingua 系列），要么在句子级别操作（CPC），但都未利用文档的自然分页结构。BEAVER 通过 Segmenter 将一维序列转化为二维张量，这不仅带来了篇章完整性的好处，更重要的是使得标准矩阵乘法可以高效并行执行——这是其效率优势的根本来源。其次，In-Context ITF 加权机制是一种新颖的无监督信号，它巧妙地将信息检索中的 IDF 概念适配到上下文压缩场景中：高频 token（如 “the”、“is”）被降权，而低频但信息量大的 token（如专有名词、数字）被提升。这种机制不需要任何外部模型或训练数据，直接从待压缩的上下文中计算得出。第三，三层结构先验（Anchor + Flow + Flash）的设计借鉴了人类认知中的工作记忆理论——Anchor 模拟长期记忆中的全局框架，Flow 模拟短期记忆中的局部上下文，Flash 模拟注意力捕获的远距离关键信息。这种认知启发的设计在之前的提示压缩工作中没有出现过。最后，语义-词法双分支评分体系的设计也是独特的——语义分支捕获查询意图的深层含义，词法分支确保精确匹配关键实体和数字，两者互补避免了纯语义方法容易忽略表面形式的问题。

尽管 BEAVER 在多个基准上表现出色，仍有几个值得关注的弱点。首先，页面大小 M 的选择对性能有显著影响（消融实验显示 M=32 降 1.8 分，M=128 降 2.4 分），但论文中固定为 64 且未提供自适应调整机制。对于结构差异很大的文档（如密集的代码文件 vs 稀疏的自然语言文档），最优页面大小可能截然不同，建议未来工作引入自适应分页策略，根据局部信息密度动态调整页面大小。其次，语义和词法分数的融合权重 λ=0.7 是全局固定的，但不同类型的任务（如语义推理 vs 精确匹配）可能需要不同的平衡点。可以考虑根据查询类型自动调整 λ，例如检测到查询包含数字或代码时降低 λ 以增强词法匹配。第三，BEAVER 的 Flash 页面选择仅基于混合分数排序，没有考虑页面之间的信息互补性——如果两个高分页面包含高度相似的信息，同时选择它们就是浪费。引入多样性感知的选择策略（如 MMR, Maximal Marginal Relevance）可能进一步提升压缩效率。最后，在零样本问答场景下，BEAVER 保留的 Anchor 和 Flow 页面虽然保证了连贯性，但也可能引入与查询无关的噪声，特别是在文档开头部分与查询主题无关时。

论文作者在局限性部分暗示了几个研究方向，基于 BEAVER 的成果还可以延伸更多。第一，自适应压缩比——当前 BEAVER 使用固定的 token 预算，但不同查询的难度和所需证据量差异很大。可以设计一个难度评估模块，根据查询复杂度动态调整压缩比，简单查询使用更激进的压缩，复杂推理使用更宽松的预算。第二，多模态扩展——随着多模态 LLM 的发展，将 BEAVER 的页面级选择思想扩展到图文混合文档中，对图片、表格等非文本元素进行结构感知的筛选，是一个自然且有价值的方向。第三，与 RAG 系统集成——BEAVER 的高效压缩能力可以作为 RAG (Retrieval-Augmented Generation) 管道中的预处理步骤，在检索到相关文档后先进行压缩再送入 LLM，有望显著降低 RAG 的推理成本。第四，结合强化学习——虽然 BEAVER 的免训练设计是其核心优势，但可以探索轻量级的在线学习机制，利用 LLM 的反馈信号微调页面选择策略，在保持低开销的同时提升任务特定的适应性。第五，代码和结构化数据——论文中的 CodeU 实验表明 BEAVER 在代码压缩上已有不错表现，但专门针对代码的语法结构（如抽象语法树 AST）和表格等结构化数据的压缩策略还有很大的优化空间。

BEAVER 的复现条件非常友好。论文已开源代码（https://cslikai.cn/BEAVER/），这大大降低了复现门槛。在算力需求方面，BEAVER 的核心计算依赖于 Qwen3-8B 的嵌入层（而非完整的前向推理），加上页面级矩阵运算，整体算力需求远低于需要运行完整 LLM 进行困惑度计算的 LongLLMLingua。论文报告的所有延迟和吞吐量指标均在 NVIDIA A100 (80GB) GPU 上测量，但理论上在更小的 GPU（如 RTX 3090）上也应该可以运行，因为嵌入层的内存占用相对较小。超参数设置清晰（M=64、γ=0.7、λ=0.7、k_{anc}=w_{flow}=4），且论文提供了详细的基线配置和实现细节（附录 B）。数据集方面，LongBench、ZeroSCROLLS、RULER 和 L-Eval 均为公开基准，无需额外数据收集。唯一的潜在复现障碍是嵌入模型的选择——论文默认使用 Qwen3-8B，但消融实验显示替换为 LLaMA3-8B 仅导致 0.3 分波动，说明框架对嵌入模型不敏感，复现者可以灵活选择。总体而言，BEAVER 的复现难度被评为“低”，适合研究生级别团队在一周内完成。