LongAttnComp：跨家族上下文压缩用于长上下文推理 LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning

方法步骤的完整描述如下：（1）输入处理：将输入（指令 + 上下文 + 查询）分割为固定大小的令牌块，块大小 S 是任务相关的超参数（Code-Debug 使用 1024，RULER 使用 256，LongBench v2 使用 32）。（2）评分阶段：使用冻结的 Llama-3.1-8B-Instruct 的前 13 层处理输入，生成查询的隐藏状态和上下文的隐藏状态。可训练的交叉注意力层计算注意力权重，然后将每块的注意力权重聚合为标量分数。（3）选择阶段：使用修改的 top-p 算法选择块。输入是指令分数、文档分数、top-p 阈值 p=0.95 和令牌预算 B=16k。输出是压缩的文档集。选择停止条件是累积分数超过 p 或保留的令牌达到 B。预算模式禁用 top-p 终止，仅使用预算条件。（4）位置重排序：选定的块恢复到原始位置顺序，保持话语连贯性。（5）解码：使用 Llama-3.1 的分词器将选定的令牌块解码为自然语言压缩提示。（6）推理：将压缩提示通过 API 发送到目标模型（DeepSeek-R1-0528、MiniMax-M2.5 或 GPT-OSS-120B），获取响应。训练使用类似流程，但使用二值相关性标签计算损失：文档级监督和指令级监督，总损失 L = L_doc + lambda L_ins，lambda=0.8。

技术新颖性分析：本文在三个层面做出了新颖贡献。（1）架构层面：令牌级分块使压缩器能够处理没有自然文档边界的真实世界长上下文输入，这是对原始 AttnComp 文档级评分的重要扩展。令牌预算变体提供了对压缩长度的直接控制，解决了原始 top-p 算法最小分数阈值在长上下文任务中过早终止的问题。位置重排序和格式无关查询解析器是部署所需的实用性创新。（2）训练层面：两阶段微调配方是新颖的，特别是 Stage 2 使用多跳推理数据混合 Stage 1 数据重放的设计。这种设计避免了灾难性遗忘，同时扩展了任务覆盖范围。MuSiQue 数据集的 subq 和 nosubq 变体探索了训练时查询表示如何影响下游任务行为，这是一个未被充分探索的设计杠杆。（3）方法论层面：任务敏感性分析表明性能变化反映训练数据构成而非架构限制，这挑战了对压缩器任务依赖性的传统理解。Stage 2 在 LongBench v2 上恢复 7-12 点同时保持 Code-Debug 性能的结果，支持了这一假设。此外，跨家族泛化实验（在四个来自三个家族的目标模型上实现一致性能）展示了微调压缩器的模块化特性，这是训练无关方法难以实现的。

独立分析的弱点包括：（1）训练数据合成限制：当前训练数据都通过 NIAH 风格合成管道生成，可能无法捕获真实世界长上下文任务中的复杂信息流动模式。改进方向是引入自然策划的长上下文数据，如真实代码库、长对话历史、多文档报告等。可以通过收集和标注真实数据，或开发更复杂的合成数据生成管道来模拟真实世界的复杂性。（2）任务依赖超参数：当前最佳推理设置（chunk size、query length、selection mode）随任务变化，需要任务知识或手动调整。改进方向是开发自适应选择机制，可以根据输入特征（如长度、分布、结构）自动选择最佳设置。可能的实现包括学习预测器或基于规则的方法。（3）查询解析的启发式性质：当前使用任意最后 N 令牌解析，虽然简单但可能不足。改进方向是学习任务无关的查询解析器，可以从输入中自动识别查询跨度。可能的实现包括训练序列标注模型或使用规则和机器学习的混合方法。（4）效率测量不足：当前仅提供粗略估计，缺乏经验测量。改进方向是在控制硬件下测量端到端 TTFT、吞吐量和内存使用，以全面评估实际部署的效率。这需要标准化评估协议和基准。（5）单一主干的限制：当前仅使用 Llama-3.1-8B-Instruct，未探索其他主干。改进方向是系统评估不同主干家族（如 Qwen、Mistral）和规模（更小模型如 3B 用于紧凑部署，更大模型如 70B 用于更高性能）的转移能力，以理解训练配方的泛化性。

未来研究方向：作者提出和可延伸的方向包括：（1）扩展训练数据：超越 Stage 2 的 MuSiQue 和 2WikiMultiHopQA 混合，特别是朝向更自然和推理重的长上下文任务，将进一步部分解决 Stage 2 已解决的 LongBench v2 差距。可能的来源包括真实代码审查、长文档摘要、多步问题解决等。（2）自适应推理设置选择：自适应选择推理设置（分块大小和选择模式）的机制将简化部署到任务类型未知的输入。可能的实现包括学习预测器、基于规则的方法或混合方法。（3）鲁棒的任务无关查询解析器：这将完成部署故事，移除任务依赖查询长度选择和任意最后 N 解析的小精度成本（在 Code-Debug 上约 1 点）。可能的实现包括训练序列标注模型或使用规则和机器学习的混合方法。（4）微调草稿模型本身：这是作者考虑但未追求的自然方向，更好地与目标模型行为对齐。挑战是高质量长上下文训练数据仍然稀缺，此类数据的生成管道并未公开可用。（5）扩展到其他主干家族和规模：系统评估不同主干家族（如 Qwen、Mistral）和规模（3B、70B）的转移能力，以理解训练配方的泛化性。这可能揭示训练效率、压缩质量和跨家族泛化之间的权衡。（6）处理更复杂的推理模式：当前方法在证据分布多个位置的任务上表现不佳（如 RULER multiv、multiq）。未来工作可以探索更复杂的注意力模式、层次化压缩或迭代选择机制来处理这些情况。（7）端到端联合优化：当前压缩器和目标模型是分离的。未来工作可以探索端到端联合优化，其中压缩器针对特定目标模型的偏好进行微调，这可能进一步提升性能但牺牲跨家族泛化。

复现评估：论文声明计划发布代码和数据以促进长上下文压缩的进一步研究，但截至论文撰写时尚未公开。训练数据使用修改的 RULER 管道构建，每个样本包含 100 个候选文档、一个查询和二值相关性标签，25% 为全负样本。Stage 1 训练数据包含 32000 个样本（16000 SQuAD，0-1 个相关文档；16000 HotpotQA，0-2 个相关文档），序列跨越 8k-48k tokens。Stage 2 训练数据包含 20000 个样本：8000 MuSiQue（subq 和 nosubq 变体），4000 2WikiMultiHopQA，4000 SQuAD 重放，4000 HotpotQA 重放。训练使用 AdamW 优化器（权重衰减 0.01），批量大小 8，梯度累积 1，dropout 0.1，梯度裁剪 1.0，15 个 epoch，cosine decay 调度和线性 warmup，在 8 乘以 H200 GPU 上进行。Stage 1 学习率为 2 乘以 10 的负 4 次方，Stage 2 使用更低学习率 5 乘以 10 的负 5 次方。评估使用三个通过 SambaNova Cloud API 访问的无关目标模型：DeepSeek-R1-0528、MiniMax-M2.5 和 GPT-OSS-120B。这些模型的 API 使用、分词和上下文预算可能影响结果复现。基准包括 InfiniteBench Code-Debug（平均约 115k tokens，有些超过 200k）、LongBench v2（多文档推理任务）和 RULER（合成套件测量长上下文利用率）。推理设置随基准变化：Code-Debug 使用 chunk size 1024 和查询长度 128，RULER 使用 chunk size 256 和查询长度 256，LongBench v2 使用 chunk size 32 和查询长度 512。所有实验使用 top-p=0.95 和 16k 输出令牌预算。复现难度中等偏高，主要原因包括：（1）需要访问特定云 API（SambaNova）以复现目标模型评估；（2）训练数据构建需要实现修改的 RULER 管道；（3）训练需要 8 乘以 H200 GPU 的计算资源；（4）推理设置有多个任务依赖超参数，需要仔细调整。如果作者发布代码和数据，复现难度将显著降低。