通过显式信息传输实现上下文压缩：修复LLM压缩器的结构瓶颈 Context Compression via Explicit Information Transmission

ComprExIT的方法分为两个阶段，按计算顺序从深度到宽度依次进行。第一步：冻结LLM编码。将上下文序列 $\mathbf{x} = (x_1, \ldots, x_N)$ 送入冻结的LLM进行前向传播，收集所有 $L$ 层的隐状态 $\{h_t^{(\ell)}\}_{\ell=1}^L$，其中 $t$ 为token位置索引。第二步：深度传输到Token Anchors。对每个token位置 $t$，首先计算层级结构上下文 $c_t = \sum_{\ell=1}^L \pi_\ell h_t^{(\ell)}$（$\pi_\ell$ 为可学习的层先验权重），然后基于此上下文执行门控注意力聚合 $\tilde{h}_t = \sum_{\ell=1}^L \text{softmax}_\ell(\langle W_q c_t, W_k h_t^{(\ell)} + e_\ell \rangle / \tau) \cdot W_v h_t^{(\ell)}$，得到每个token的锚点表示 $\tilde{h}_t$。这里 $e_\ell$ 是可学习的层位置嵌入，$\tau$ 是温度参数。第三步：宽度传输到压缩槽位。首先将 $N$ 个token anchors均匀划分为 $K$ 个局部区域 $F_k$，每个区域内取平均得到接收端表示 $r_k$；然后计算发送端-接收端效用矩阵 $U_{t,k} = \cos(W_u \tilde{h}_t, W_u r_k)$；再通过线性层+softmax预测每个发送端的信息容量 $\rho_t = \text{softmax}_t(W_\rho \tilde{h}_t)$，接收端使用均匀容量 $\rho_k = 1/K$。最后求解熵正则化的最优传输问题 $\min_{\Pi \geq 0} \sum_{t,k} \Pi_{t,k} C_{t,k}$（$C_{t,k} = 1 - U_{t,k}$），通过Sinkhorn算法（30次迭代）得到传输计划 $\Pi$。第四步：生成压缩表示。每个压缩槽位聚合信息 $z_k = \text{MLP}(\sum_t \Pi_{t,k} W_g \tilde{h}_t)$，最终压缩序列为 $Z = (z_1, \ldots, z_K)$。Sinkhorn算法在固定窗口大小（如 $T=128$）的分段上运行，兼顾全局协调和局部语义顺序。

ComprExIT的技术新颖性体现在三个层面。首先，范式层面的突破：这是第一个将LLM完全冻结、仅将其作为特征提取器的软压缩方法，打破了“压缩过程必须嵌入LLM前向传播”的隐含假设。此前所有方法（ICAE、500×、Beacon、UniGist等）都在LLM内部完成压缩，都需要对LLM进行持续训练。其次，深度传输的创新：受Denseformer启发的多层门控聚合机制是首次被引入压缩场景。它不同于简单的特征拼接或残差连接——门控权重是token-wise和task-conditioned的，即不同类型的token（实体词vs功能词）会自动选择不同层的特征，这在实验中（Figure 6右侧热力图）得到了直观验证。第三，宽度传输的创新：将最优传输引入压缩分配是全新的思路。传统自注意力中每个压缩token独立softmax归一化，天然无法实现协调分配；而最优传输通过共享的边际约束，强制所有压缩token联合分配，从数学上保证了互补覆盖。

虽然ComprExIT在多个维度上取得了显著提升，但仍有几个值得关注的弱点。第一，Sinkhorn窗口大小 $T=128$ 是一个硬编码超参数，在处理超长上下文（如32k或128k token）时，固定窗口可能导致全局分配的“碎片化”——不同窗口之间的分配是独立的，跨窗口的长程依赖可能被忽略。改进方向是设计层次化的OT方案，先在局部窗口内分配，再在粗粒度上进行跨窗口协调。第二，深度传输中所有token共享同一组层先验 $\pi_\ell$，虽然门控注意力部分是token-wise的，但结构上下文的计算仍受限于共享权重。可以考虑让不同类型的token（如实体词vs功能词）拥有独立的层先验，进一步提升层选择的自适应性。第三，ComprExIT的压缩比是固定的（4×），但不同内容的信息密度差异很大——一篇简单的新闻和一篇技术论文可能需要不同的压缩比。动态压缩比分配（类似Tang et al., 2026的思路）可以与ComprExIT结合。第四，论文未充分探索ComprExIT在生成式任务（如对话、长文本续写）上的表现，QA任务的评估可能过于乐观地估计了其在开放式生成中的信息保留能力。第五，在极短上下文（如30 token的RelationExtraction）上，ComprExIT的协调分配优势无法体现，因为此时压缩token数量已经足够覆盖所有内容，OT带来的额外计算反而是浪费。

基于ComprExIT的框架，有几个值得探索的方向。首先，将方法扩展到视觉-语言模型是一个自然而重要的方向——VLM的token序列通常更长（图像patch token），且不同模态的信息特征差异更大，深度传输的自适应层选择可能特别有价值。其次，探索自适应压缩比——根据输入内容的复杂度动态决定压缩多少token，而非使用固定的4×压缩比，可以在保持效率的同时更好地保留关键信息。第三，ComprExIT将LLM冻结作为特征提取器的范式打开了新的设计空间——可以尝试用不同的预训练模型（如专门的编码器模型而非生成式LLM）作为特征提取器，甚至用多模型集成来丰富特征来源。第四，最优传输框架本身有很多扩展可能，如使用partial OT（允许部分质量不传输）来实现“选择性压缩”，或使用unbalanced OT来放松边际约束以适应不同信息密度的输入。第五，将ComprExIT应用于LLM Agent的上下文管理——在多轮对话或工具调用场景中，历史上下文的压缩质量直接影响Agent的决策质量。

从复现角度来看，ComprExIT具有较好的可复现性。论文提供了详细的方法描述和超参数配置（Table 9-11），包括学习率（1×10⁻⁴）、batch size（2048）、OT窗口大小（128）、Sinkhorn迭代次数（30）、投影维度（256）等。训练数据使用公开的SlimPajama（1B tokens）和MRQA数据集，所有基线方法也在相同设置下训练。基础设施方面，训练使用4×NVIDIA A100 GPU，BF16精度，延迟测试在NVIDIA L40S 48GB GPU上进行。ComprExIT的可训练参数仅约1%（相对于基础LLM），因此显存需求较低。不过论文提交时代码尚未开源（声明acceptance后发布），这在一定程度上增加了独立复现的难度。此外，论文未提供随机种子和多次运行的标准差，评估协议的随机性未被充分量化。整体而言，方法的数学描述清晰，实现难度中等偏低，主要工作量在于OT模块和多层聚合模块的实现。