CAVEWOMAN：大语言模型在语言输入与输出压缩下的行为研究 CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression
揭示LLM压缩的成本不对称性与语义漂移现象
前置知识
输入/输出压缩
输入压缩指缩减给模型的提示词token数量（如LLMLingua删除非关键词）；输出压缩指限制模型回复的长度（如要求简洁回答）。两种压缩方式通过不同技术实现，分别影响模型的阅读和表达自由度。
本文核心对比这两种压缩方式的效果差异，理解其机制是读懂论文的前提。输出压缩直接减少高成本的输出token，而输入压缩虽然节省少量输入token，但可能引发模型补偿性输出扩张，导致总成本反而上升。只有明确区分两种通道的技术路径，才能理解论文发现的不对称性和C2现象的产生背景，以及为何推荐优先压缩输出通道而非输入通道。
双向NLI蕴涵
Natural Language Inference（自然语言推理）判断两个文本的语义关系：蕴涵（A必然推出B）、矛盾、中立。双向NLI同时检查A蕴涵B和B蕴涵A，用于评估文本语义一致性而非字面相似度。
本文用它来检测压缩后回复与原始推理是否在命题层面一致，是发现C2现象的关键技术。准确率评估只看答案是否正确，但NLI能揭示压缩是否改变了推理路径。例如，答案正确但NLI判断不蕴涵，说明表面文本漂移了，这对依赖推理过程的应用很重要。双向检查确保一致性判断严格，避免单向蕴涵的误报。理解NLI原理才能把握论文为何能分离准确率和语义一致性两个维度。
POS标签过滤
Part-of-Speech（词性）标签标注每个token的语法角色（如名词NN、动词VB、介词IN）。通过保留特定词性子集实现确定性压缩，如只保留名词和动词形成关键词语言。
这是CAVEWOMAN协议使用的压缩技术，通过移除功能词（DT、IN、CC等）实现可追溯的层级压缩。相比学习式压缩器，POS过滤可解释且透明，相邻层级的性能差异可直接归因于被移除的词类。例如，从L0到L1移除封闭类词，准确率下降可归因于缺失语法信号；从L2到L3移除动词，可能破坏谓语结构。理解POS标签体系（NN、VB、DT、IN、CC等）才能读懂压缩层级的语言学意义，以及论文如何利用单调嵌套设计控制实验变量。
补偿性输出扩张
当输入被压缩时，模型为了保持理解准确会产生更长的回复，导致输出token增加。这种机制使输入压缩节省的少量输入token被大量输出token成本抵消甚至超出。
这是本文Finding 1的核心机制，解释了为何输入压缩反而增加总成本。输出token价格通常是输入的4-8倍，即使输入减少15个token，输出增加10个token就可能使净成本为正。Table 3量化了此现象：每模型输入都减少，但输出都增加，净成本除GPT-4o外全为正。理解此机制后，才能明白为何论文推荐压缩输出通道而非输入通道，以及为何准确率和成本在输入压缩下双双恶化（图3红格）。这是实践者应用论文结论的关键洞察。
研究动机
现有LLM压缩研究存在三个根本缺陷。首先，几乎所有工作只测量单一通道（输入或输出）在目标token预算下的任务准确率，但未测量实际付费成本C = n_in * p_in + n_out * p_out，其中输出token价格p_out通常是输入的4-8倍。其次，准确率无法捕获语义一致性：压缩后的回复可能答案正确，但其推理过程与模型无约束时的生成完全不同，这对需要推理透明度的应用是致命的。最后，输入和输出压缩从未在同一数据集上被系统对比，导致实践者不知道应该压缩哪个通道。
本文的目标是本文提出CAVEWOMAN双通道评估协议，在每个生成结果上同时测量三个维度：任务准确率、实际单件成本（在计费通道上）、与模型无约束参考文本的语义一致性。通过在5个基准、5个压缩级别、8个模型上全面评估，揭示输入和输出压缩在成本和质量上的不对称性，以及准确率与语义一致性之间的解耦现象。
与已有工作不同的是，本文的独特角度是区分完成任务和用同样方式完成任务。现有工作假设压缩后答案正确就足够了，但CAVEWOMAN发现即使答案正确，51.9%的生成在输出压缩下的表面文本不再蕴涵模型自己的无约束参考。这种C2现象（正确但不蕴涵）之前从未被系统性测量，但对依赖推理过程的应用（如医疗、金融）至关重要。
核心方法
CAVEWOMAN是一个双通道评估框架，在固定模型M和问题x下，应用相同的压缩函数phi_l（l在0到4之间）到不同位置。通道A是输入压缩：模型接收过滤后的问题phi_l(x)，系统提示词中性不变。通道B是输出约束：模型收到原始问题x，但系统提示词要求用phi_l产生的简化风格回答。每个生成结果在三个轴上评分：任务准确率（正则提取答案与ground truth匹配）、实际成本（根据n_in、n_out和真实API定价计算）、参考文本一致性（用双向NLI判断是否蕴涵同通道L0参考）。协议使用确定性POS过滤器实现五级压缩层级，形成单调递进的压缩强度。
核心创新是同时评估输入压缩和输出压缩在相同数据项上的表现，并将语义一致性独立于准确率测量。POS过滤器phi_l定义了五个嵌套层级：L0（无约束）、L1（电报风格，移除DT/IN/CC/RP/TO/MD等封闭类词）、L2（仅保留名词/动词/数字）、L3（仅保留名词短语骨架）、L4（15 token预算）。这种设计使相邻层级的准确率差异可归因于被移除的词类。评估使用2x2解离表交叉分类正确性和语义一致性，识别出C2（正确但不蕴涵）和C3（错误但蕴涵）两种准确率评估无法区分的结局。
方法步骤详情
实验流程分四步。步骤1：对于5个数据集（GSM8K的1319项、BoolQ的3270项、ARC-Easy的2376项、CommonsenseQA的1221项、MMLU-STEM的3279项）共11465项，每项应用5个压缩级别phi_0到phi_4，产生两个条件的提示（条件A：压缩输入；条件B：约束输出）。步骤2：对8个模型（Qwen2.5-VL-7B、Qwen3.5-9B、DeepSeek-R1-Distill-Qwen-7B、Gemma-4-E4B、GPT-4o、GPT-5.4、Claude Haiku 4.5、Claude Sonnet 4.6）进行推理，记录每个生成的输入/输出token数和文本。步骤3：计算任务准确率（用正则提取答案，数值答案允许0.01误差）和实际成本（用2026年5月API定价）。步骤4：用DeBERTa-v3 NLI模型计算双向蕴涵，构建2x2解离表，并补充11个语义指标（余弦相似度、BERTScore、ROUGE等）验证鲁棒性。
技术新颖性
技术新颖性体现在四个方面。首先，首次系统测量压缩的实际付费成本而非token减少量，揭示成本不对称性：输出压缩在GPT-4o上节省1.4-2.4倍成本（最佳达3倍），输入压缩反而增加成本（平均1.15倍，最差2.7倍）。其次，首次量化准确率与语义一致性解耦：输出压缩下51.9%的正确生成其表面文本不再蕴涵L0参考，长度匹配重评估后升至80.4%。再次，引入鲁棒性比率概念（输出约束准确率/输入压缩准确率），发现Gemma-4-E4B为3.70倍，GPT-5.4仅1.59倍，参数量和无约束准确率无法预测此排序。最后，POS过滤器提供可解释的压缩机制，附录D验证LLMLingua-2等学习式压缩器产生类似模式。
实验结果
核心发现有三项。Finding 1：输出与输入压缩存在成本不对称性。输出压缩在GPT-4o、Claude Haiku 4.5、Claude Sonnet 4.6上节省1.4-2.4倍成本（最佳案例在ARC-Easy上约3倍），17/20个API配置单元更便宜。四个开源模型在公有层定价下L1输出压缩也全部节省成本。相反，输入压缩在电报级别（L1）已增加净成本（平均1.15倍，个别数据集达1.8倍），深层压缩（L4）时准确率崩溃时最差惩罚达2.7倍。机制是补偿性输出扩张：每模型输入token平均减少15.3-15.7个，但输出token增加0.1-18.0个，净成本为正（仅GPT-4o接近平衡）。Finding 2：输出压缩下准确率与语义一致性解耦。六个非推理模型在L1输出压缩下，51.9%的生成正确但表面文本不再蕴涵同通道L0参考（C2结局）。DeepSeek-R1和Qwen3.5因无约束生成已简短而C2率较低。长度匹配重评估（将L0截断至L1长度）使每模型C2率上升，验证长度非主因。LLMLingua-2压缩器在tau=0.5时每单元格C2大于0，tau=0.8时恢复，说明现象普遍。Finding 3：输出鲁棒性跨模型差异达1.5-3.7倍且不可预测。Gemma-4-E4B的输出/输入准确率比最高（3.70），Qwen3.5-9B最低（1.50）。最高准确率的API模型（GPT-5.4）在API模型中鲁棒性倒数第二，7B开源模型超越两个API模型。参数量、无约束准确率均无法预测排序，实践者应在部署约束级别下评估候选模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理 | 成本变化 | 输出压缩-29% | 无约束 | 节省29% |
| 数学推理 | 成本变化 | 输入压缩+5% | 无约束 | 增加5% |
| 布尔问答 | 成本变化 | 输出压缩-19% | 无约束 | 节省19% |
| 布尔问答 | 成本变化 | 输入压缩+6% | 无约束 | 增加6% |
| 科学选择 | 成本变化 | 输出压缩-39% | 无约束 | 节省39% |
| 科学选择 | 成本变化 | 输入压缩-3% | 无约束 | 节省3% |
| 常识推理 | 成本变化 | 输出压缩-38% | 无约束 | 节省38% |
| 常识推理 | 成本变化 | 输入压缩+36% | 无约束 | 增加36% |
| STEM多选 | 成本变化 | 输出压缩-39% | 无约束 | 节省39% |
| STEM多选 | 成本变化 | 输入压缩-21% | 无约束 | 节省21% |
| 输出压缩 | C2率 | 51.9% | 0%（无约束） | 语义漂移严重 |
| 输出鲁棒性 | 最佳比率 | 3.70倍 | 1.50倍（最差） | 2.47倍差异 |
局限与改进
作者承认五个局限。第一，双向NLI测量表面文本漂移而非命题漂移，长度控制重评估和11个补充指标验证了鲁棒性，但C2率不是命题内容声明。第二，部分C2可能反映条件B的系统提示词寄存器变化而非压缩本身，L0-A/L0-B噪声底未独立测量。第三，五个基准答案格式短（数值/布尔/选择字母），对长文本任务（摘要/开放问答）不推广。第四，8模型面板仅用贪婪解码，两个API商各两模型，无采样或硬解码L4。第五，LLMLingua-2验证仅限于单一学习式压缩器， generalize有限。个人观察：POS过滤器是确定性简化，可能不反映任务感知压缩器的实际权衡；GPT-5.4成本异常可能来自隐藏推理token计费，需更深分析；C2现象在应用中的实际影响取决于是否消费生成文本，仅提取答案的场景可忽略。
独立分析的弱点
独立分析发现三个弱点。第一，POS过滤器忽略任务语义，算术题移除介词可能破坏数字关系，导致输入压缩性能低估。改进方向：引入任务感知词性权重（数学保留关系词、阅读理解保留连接词）。第二，成本分析假设输出token完全计费，但部分API（如GPT-5.4）隐藏推理token消耗预算，导致成本测量失真。改进方向：区分可见输出和隐藏推理成本，或选计费透明模型。第三，C2率用NLI判断，但对推理任务，命题漂移可能比表面文本更重要。改进方向：补充结构化推理一致性检查（如逐步推导链比对）。第四，无长文本基准，对摘要等应用指导有限。改进方向：扩展至CNN/DM、XSum等摘要基准，测量内容保真度。
未来方向
作者未明确提出未来方向，基于成果可延伸四个方向。第一，扩展到长文本任务：摘要、开放问答、对话，测量内容保真度和事实一致性。第二，研究采样解码和硬解码对C2率的影响，采样可能缓解表面文本僵化但增加不确定性。第三，探索任务自适应压缩：为算术保留数字关系词、为因果推理保留连接词的POS权重版本。第四，端到端学习压缩器：训练压缩函数直接优化成本-准确率-一致性三目标，而非手工设计POS规则。第五，跨模型一致性分析：测量不同模型对同一问题在压缩下的C2模式，理解漂移是否模型固有或任务驱动。
复现评估
复现性评估：代码和数据已开源（https://github.com/danielle34/cavewoman），但论文未提供训练细节和完整提示词模板（仅在附录H片段）。计算需求：11465项乘以5级别乘以2条件乘以8模型约917200次推理，使用贪婪解码。估算成本：GPT-4o类API每项约0.01-0.05美元，总成本约9000-45000美元；开源模型需4-8个GPU（7-9B参数）并行数天。难度中等：数据处理清晰，但NLI评判器和11个补充指标需依赖库实现，L0/L1提取率审计需自定义正则。完整复现需访问付费API（或用开源模型替代）和NLI模型。实验设计细节充分（配置、价格、过滤规则、系统提示词），但超参数（如NLI阈值）未明。
论文图表
