← 返回 2026-04-08

超越准确率：揭示工具集成推理中的低效模式 Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning

Qisheng Su, Shiting Huang, Zhen Fang, Ziyan Chen, Zehui Chen, Feng Zhao 📅 2026-04-07 👍 46 2026-07-13 08:36
KV-Cache 工具集成推理 推理优化 效率评估 硬件感知
arXiv HuggingFace PDF

提出PTE指标，从硬件底层视角量化工具集成推理的真实计算成本，并识别四种低效模式

前置知识

KV-Cache

Key-Value Cache 是 Transformer 推理的关键优化技术。注意力计算中每个 token 的 Key 和 Value 向量会被缓存。在工具集成推理中，工具调用导致 KV-Cache 清除，后续推理需重算历史 token，造成显著开销。

本文的核心问题就是工具调用导致的 KV-Cache 清除和长工具响应导致的缓存膨胀，理解这个机制是理解 PTE 指标设计思路的基础。

Prefill 阶段和 Decode 阶段

Transformer 推理分为两个阶段：Prefill 阶段是计算受限阶段，输入 token 并行处理，主要瓶颈是 GPU 计算吞吐量即 FLOPs；Decode 阶段是内存受限阶段，输出 token 顺序生成，主要瓶颈是 HBM 带宽，因为需要加载模型权重和 KV-Cache。

PTE 指标的核心就是将内存受限的 decode 阶段成本转换为计算受限的 prefill 阶段等效成本，理解这个不对称性是理解 PTE 的关键。

Hardware Operational Intensity (HOI)

硬件操作强度是高性能计算中的一个概念，定义为 Peak FLOPs 除以 Peak Memory Bandwidth，表示硬件达到计算上限所需的最小数据强度。HOI 是硬件 Roofline 模型中的脊点，代表了计算能力和内存带宽的平衡点。

HOI 是 PTE 指标中 gamma 系数的理论基础，理解 HOI 才能理解 PTE 如何实现硬件感知的跨阶段成本统一。

工具集成推理（Tool-Integrated Reasoning, TIR）

TIR 是指大型语言模型在推理过程中交替使用内部推理和外部工具调用的能力。典型的工具包括搜索引擎、代码解释器、网页访问器等。TIR 使 LLM 能够获取实时信息、执行精确计算、访问外部知识库，从而超越纯语言模型的局限性。

本文的研究对象就是 TIR 场景，理解 TIR 的特点才能理解为什么现有的效率指标无法准确反映实际延迟，以及为什么需要专门的 PTE 指标。

研究动机

现有的工具集成推理效率评估存在严重缺陷。研究者主要关注准确率，而效率指标通常采用简单的 token 计数或工具调用计数。但在真实 TIR 场景中，这些指标与实际的 wall-clock latency 相关性很弱，实验显示相关系数仅为 r 等于负0.3750。问题的根源在于 TIR 具有两个独特的物理现实：一是工具调用会在 LLM 请求之间产生暂停，导致 KV-Cache 清除，需要重新计算；二是外部工具返回的未过滤长响应会膨胀上下文长度，使得每个后续解码步骤都需要加载更大的 KV-Cache。这两种现象导致解码阶段的内存受限成本随着上下文累积而呈线性增长，但传统的 token 计数指标无法捕捉这种非线性的硬件瓶颈。

本文的目标是本文的目标是建立一个硬件感知的 TIR 效率评估框架，能够准确反映真实的推理延迟。具体来说，作者希望提出一个新的效率指标，能够统一内部推理和外部工具使用的成本，显式建模 prefill 和 decode 阶段的不对称成本结构，考虑非可重用 KV-Cache 和长工具响应的特殊场景，在多种硬件配置下验证指标的鲁棒性，并利用该指标系统地分析 TIR 中的低效模式，为未来的优化提供方向。

与已有工作不同的是，本文的独特切入角度是从物理硬件的底层视角重新审视 TIR 效率问题，而不是停留在抽象的 token 层面。作者观察到，现有的效率指标包括学术界的 token 计数和工业界的 API 定价模型都忽略了 transformer 推理的物理现实，即 prefill 阶段是计算受限的，而 decode 阶段是内存受限的。在 TIR 场景中，工具调用导致的 KV-Cache 清除和长响应导致的上下文膨胀，使得 decode 阶段的内存成本占主导地位。PTE 指标的核心创新就是通过硬件操作强度 HOI 将内存成本转换为计算等效成本，从而实现跨阶段的成本统一。这种基于物理硬件底层原理的指标设计，使得 PTE 与 wall-clock latency 的相关系数达到 r 等于0.9253，远超传统指标。

核心方法

PTE 即 Prefill Token Equivalents，是一个硬件感知的 TIR 效率指标，其核心思路是将内存受限的 decode 阶段成本转换为计算受限的 prefill 阶段等效成本，从而实现统一度量。对于包含 k 轮交互的推理轨迹，PTE 的总成本为对所有 i 从 1 到 k 求和，每项包含 D_prefill_i 加上 gamma 乘以 L_seq_i 再乘以 D_decode_i。其中 D_prefill_i 是第 i 轮的上下文 token 数代表 prefill 成本，D_decode_i 是该轮生成的 token 数，L_seq_i 是 decode 阶段开始时的累积序列长度，gamma 是一个无量纲系数，表示内存操作相对于计算操作的相对成本。这个公式的直觉是 prefill 成本正比于模型参数数量即计算密集，而 decode 成本正比于累积序列长度，因为需要加载整个 KV-Cache。gamma 系数通过硬件操作强度 HOI 计算，反映了特定硬件架构上内存带宽与计算能力的平衡。

PTE 的核心创新点是显式建模了 prefill 和 decode 阶段的不对称成本结构。在传统推理中，人们倾向于认为每个 token 的成本是均匀的，但在 TIR 场景中，工具调用会导致 KV-Cache 清除和上下文膨胀，使得 decode 阶段的成本随序列长度线性增长。PTE 通过引入 gamma 系数来捕获这种不对称性，其中 gamma 等于 C_decode_eq 除以 C_prefill，公式为 2 乘以 n_layers 乘以 d_model 再乘以 HOI，然后除以 N_params。这个公式的物理意义是 decode 阶段的内存访问量在 FP16 精度下为 2 乘以 n_layers 乘以 d_model 字节，通过 HOI 转换为等效计算量 FLOPs，然后与 prefill 阶段的计算量正比于 N_params 相除得到相对成本。这种设计使得 PTE 既考虑了硬件特性通过 HOI，又考虑了模型架构通过 n_layers、d_model、N_params，实现了真正的硬件感知。

方法步骤详情

PTE 的计算步骤包含以下几个环节。首先是收集推理轨迹数据，记录每轮交互的 prefill tokens 即 D_prefill_i、decode tokens 即 D_decode_i 和累积序列长度即 L_seq_i。其次是计算模型架构参数，从模型配置文件中读取层数 n_layers、隐藏维度 d_model 和活跃参数数量 N_params。第三步是计算硬件操作强度 HOI，对于参考硬件如 NVIDIA H100，HOI 等于 Peak FLOPs 除以 Peak Memory Bandwidth。第四步是计算 gamma 系数，公式为 2 乘以 n_layers 乘以 d_model 再乘以 HOI，然后除以 N_params，对于 GQA 架构需要缩放 H_kv 除以 H_q，对于 MLA 架构使用压缩维度。第五步是计算单轮 PTE，PTE_i 等于 D_prefill_i 加上 gamma 乘以 L_seq_i 再乘以 D_decode_i。第六步是计算总 PTE，对所有轮次求和。第七步是跨硬件归一化，在不同硬件上，gamma 线性缩放，但模型效率排序保持高度一致，Spearman 相关系数大于 0.95。

技术新颖性

PTE 的技术新颖性体现在三个层面。在理论层面，它是第一个基于 transformer 推理物理现实建立的理论框架，统一了计算受限和内存受限两个不同阶段的成本。在建模层面，它引入了 gamma 系数来量化 prefill-decode 不对称性，这个系数既考虑了硬件架构 HOI，又考虑了模型结构 n_layers、d_model、N_params，是真正硬件感知的。在实用层面，PTE 在多种硬件配置下保持鲁棒性，Spearman 相关系数大于 0.95，与 wall-clock latency 的相关系数达到 r 等于0.9253，远超传统 token 计数指标 r 等于负0.3750 和商业 API 定价模型 r 在 0.681 到 0.758 之间。这表明 PTE 能够更准确地反映真实的硬件成本，为 TIR 系统的优化提供了可靠的基础。

实验结果

实验在五个基准测试上评估了 13 个具有工具调用能力的开源模型，发现了三个关键发现。首先是巨大的成本差距，在相同准确率水平下，不同模型的 PTE 成本可以相差一个数量级以上。例如在 MATH500 上，DeepSeek-V3.1-Terminus 和 Qwen2.5-72B 都达到约 80% 准确率，但前者的 PTE 是后者的 18 倍。其次是任务特定的 TIR 能力，TIR 能力不是通用技能，而是高度任务专用的。例如 Qwen2.5-72B 在 SimpleQA 上表现优异，准确率达到 89.2%，但在 MATH500 上表现平平，准确率仅为 63.2%。第三是效率与准确性的负相关，在所有基准测试中，正确的推理轨迹一致地表现出比错误轨迹更低的 PTE 成本。例如在 MATH500 上，错误轨迹的 PTE 比正确轨迹高 43% 到 793%，取决于难度级别。第四是通过 PTE 分析，作者识别出四种普遍存在的低效模式，每种模式都会导致 PTE 增加 1.77 到 2.42 倍。

Gamma Values of Different LLMs. We evaluated a range of state-of-the-art open-source models, all of which were officially declared as having tool-calling capabilities.
Table 1: Gamma Values of Different LLMs. We evaluated a range of state-of-the-art open-source models, all of which were officially declared as having tool-calling capabilities.
Robustness of PTE across Hardware Profiles. High correlations (rho > 0.95) demonstrate that PTE maintains consistent model efficiency rankings despite significant variations in hardware specifications.
Table 2: Robustness of PTE across Hardware Profiles. High correlations (rho > 0.95) demonstrate that PTE maintains consistent model efficiency rankings despite significant variations in hardware specifications.
Accuracy (%), average uncached total tokens (prefill and decode), tooluse times, and average PTE comparison (Part 1: MATH & AIME)
Table 5: Accuracy (%), average uncached total tokens (prefill and decode), tooluse times, and average PTE comparison (Part 1: MATH & AIME)
Accuracy (%), average uncached total tokens (prefill and decode), tooluse times, and average PTE comparison (Part 2: SimpleQA & Webinstrucut)
Table 6: Accuracy (%), average uncached total tokens (prefill and decode), tooluse times, and average PTE comparison (Part 2: SimpleQA & Webinstrucut)
Quantitative breakdown of inefficiency patterns. Frequency and cost multiplier measured within dominant model-task settings where each pattern occurs most distinctly.
Table 7: Quantitative breakdown of inefficiency patterns. Frequency and cost multiplier measured within dominant model-task settings where each pattern occurs most distinctly.
Correlation with wall-clock latency: PTE vs. token-count and commercial pricing baselines.
Table 10: Correlation with wall-clock latency: PTE vs. token-count and commercial pricing baselines.
Correlation analysis between real-world latency, PTE, and output token counts (N = 100). Metrics are normalized for visual comparison.
Figure 3: Correlation analysis between real-world latency, PTE, and output token counts (N = 100). Metrics are normalized for visual comparison.
PTE (Prefill-Token Equivalents) versus Average Score on five benchmarks. The bubble size represents the scale of active parameters. Models in the bottom-right region exhibit better trade-offs between efficiency and accuracy.
Figure 4: PTE (Prefill-Token Equivalents) versus Average Score on five benchmarks. The bubble size represents the scale of active parameters. Models in the bottom-right region exhibit better trade-offs between efficiency and accuracy.
Distribution of average PTE per reasoning step across five benchmarks. The cost per step escalates as the context length grows, contrasting with the token-based front-loading trend.
Figure 5: Distribution of average PTE per reasoning step across five benchmarks. The cost per step escalates as the context length grows, contrasting with the token-based front-loading trend.
Visualization of tool-mixing behavior on WebInstruct-Verified. Point color indicates the ratio of mixed-tool trajectories, with lighter colors (yellow) representing higher mixing frequencies.
Figure 6: Visualization of tool-mixing behavior on WebInstruct-Verified. Point color indicates the ratio of mixed-tool trajectories, with lighter colors (yellow) representing higher mixing frequencies.
Distribution of PTEs for correct and incorrect trajectories across five benchmarks. Incorrect trajectories (right bars) consistently exhibit higher PTE compared to correct ones (left bars). Note the logarithmic scale on the y-axis.
Figure 7: Distribution of PTEs for correct and incorrect trajectories across five benchmarks. Incorrect trajectories (right bars) consistently exhibit higher PTE compared to correct ones (left bars). Note the logarithmic scale on the y-axis.
Distribution of Average Assistant Response Tokens Across Reasoning Steps. The figure illustrates the response length for each step in a reasoning trajectory. The phenomenon is described as first-step effect where models tend to front-load their computational budget.
Figure 8: Distribution of Average Assistant Response Tokens Across Reasoning Steps. The figure illustrates the response length for each step in a reasoning trajectory. The phenomenon is described as first-step effect where models tend to front-load their computational budget.
查看结构化数据
任务指标本文基线提升
数学推理（MATH500） 准确率 vs PTE DeepSeek-V3.1-Terminus 达到 81.4% 准确率，PTE 为 28203；Qwen2.5-72B 达到 63.2% 准确率，PTE 为 1544 传统 token 计数指标无法反映真实延迟 PTE 与 wall-clock latency 相关系数 r 等于0.9253，对比 token 计数 r 等于负0.3750
高难度竞赛数学（AIME24/25） 准确率 vs PTE Qwen3-235B-Thinking 在 AIME24 上达到 83.3% 准确率，PTE 为 34735；在 AIME25 上达到 80.0% 准确率，PTE 为 35829 GPT-OSS-120B 在 AIME24 上达到 24.0% 准确率，PTE 为 87049；在 AIME25 上达到 60.0% 准确率，PTE 为 89627 Thinking 模式在复杂任务上提升准确率 16.7%，仅增加 1.8 倍 PTE 成本
事实问答（SimpleQA） 准确率 vs PTE GLM-4.5 达到 92.9% 准确率，PTE 为 20617；Qwen2.5-72B 达到 89.2% 准确率，PTE 为 6006 Tongyi-Deepresearch 达到 4.8% 准确率，PTE 为 45677，由工具格式崩溃导致 PTE 成本差距达 7.6 倍，准确率差距达 88.1 个百分点
跨硬件鲁棒性 模型效率排序的 Spearman 相关系数 H200 为 0.995；A100 为 0.989；V100 为 0.956；RTX 4090 为 0.989 传统指标在不同硬件上排序不一致 在硬件配置差异达 5.5 倍，即 alpha 从 0.18 倍到 1.00 倍的情况下，模型效率排序保持高度一致

局限与改进

作者承认了三个主要局限性。第一是 PTE 仅测量 transformer 计算成本，忽略了真实世界的 API 延迟、网络传输时间等实际部署成本。第二是 gamma 参数是架构效率的简化抽象，虽然有用，但可能无法完全捕捉特定硬件优化或运行时动态的所有细节。第三是实证验证局限于特定任务和模型，PTE 与高质量推理之间的联系需要在更广泛领域和架构中进一步探索。此外，本文的方法也存在一些其他局限性：PTE 指标需要详细记录推理轨迹的 token 级别统计，这可能增加系统复杂度；gamma 系数的计算需要了解模型架构细节，对于闭源模型可能难以准确估计；PTE 指标主要关注计算效率，没有考虑能源消耗、碳足迹等环境影响。

独立分析的弱点

独立分析的弱点包括以下几个方面。第一是工具响应处理缺乏过滤，当前系统接受工具返回的完整未过滤响应，导致大量无关信息进入上下文。改进方向是实现智能的内容过滤和摘要，只保留与任务相关的信息。第二是 KV-Cache 管理策略简单，工具调用时直接清除 KV-Cache，即使部分历史信息仍然有用。改进方向是开发细粒度的缓存保留策略，根据信息重要性决定是否保留。第三是缺乏实时成本反馈，模型在推理过程中无法感知当前的 PTE 成本累积。改进方向是在系统提示中提供成本反馈，鼓励模型在成本约束下进行推理。第四是工具格式脆弱性，模型对工具格式的细微变化高度敏感，导致格式崩溃。改进方向是在训练时增强格式泛化能力，采用多格式训练数据。

未来方向

未来研究方向包括多个方向。第一是基于 PTE 的优化算法，开发显式优化 PTE 的强化学习算法，训练模型学会在成本约束下高效使用工具。第二是动态 KV-Cache 管理，研究智能的缓存保留策略，在工具调用时选择性保留重要历史信息，减少重计算成本。第三是工具响应压缩，探索基于 LLM 的工具响应摘要和过滤技术，减少上下文膨胀。第四是跨模态 TIR，将 PTE 框架扩展到多模态场景，如图像、音频等工具的集成推理。第五是分布式 TIR 优化，研究在多 GPU、多节点环境下的 TIR 优化，考虑通信开销和负载均衡。第六是预训练效率，在预训练阶段引入工具使用数据，减少后续推理时的工具先验缺失问题。

复现评估

本文的复现性评估如下。第一是开源情况，作者已在 GitHub 上开源了代码框架，网址为 https://github.com/sqs-ustc/tool-reasoning-framework-PTE，包含模块化的工具定义、轨迹记录和评估逻辑。第二是数据集，所有使用的基准测试包括 MATH500、AIME、SimpleQA、WebInstruct-Verified 都是公开可用的标准数据集。第三是模型，评估的 13 个开源模型都可以从官方渠道获取，包括 Qwen2.5 系列、Qwen3 系列、Llama-3.1 系列、GLM-4.5 系列、DeepSeek-V3.1 等。第四是硬件，实验主要在 NVIDIA H100 和 H200 GPU 上进行，但也验证了在 A100、V100、RTX 4090 上的鲁棒性。第五是复现难度，属于中等难度。需要访问 GPU 资源、配置 vLLM 推理引擎、获取 Serper 和 Jina API 密钥、安装 Python 工具执行环境。作者提供了详细的系统提示示例和实现细节，有助于复现。总体而言，本文提供了较为完整的复现支持，但需要一定的计算资源和 API 配置。

论文图表

Illustration of the asymmetric costs in Tool-Integrated Reasoning (TIR). Toolcalls induce KV-Cache eviction, and long tool responses inflate the context length, significantly increasing the cost of subsequent decoding steps.
Figure 1: Illustration of the asymmetric costs in Tool-Integrated Reasoning (TIR). Toolcalls induce KV-Cache eviction, and long tool responses inflate the context length, significantly increasing the cost of subsequent decoding steps.

这张图通过一个具体的问答场景即用户询问 Artemis III 任务直观展示了 TIR 中的非对称成本。图示包含三个关键阶段。第一是 Prefill 阶段即计算受限，用户提问后，模型生成推理计划和工具调用。第二是工具使用阶段，模型调用 search 工具，这里会产生两个关键问题，一是 KV-Cache 在等待工具响应时被清除，标记为 KV-Cache Evicted，二是工具返回了长响应，包含多个搜索结果，每个结果都有详细摘要。第三是 Decode 阶段即内存受限，由于上下文现在变得很长，模型在生成每个输出 token 时都必须加载整个 KV-Cache，导致每步解码成本显著增加。图示使用颜色和位置清晰地区分了计算密集和内存密集的阶段，以及 KV-Cache 清除和上下文膨胀两个关键问题。

这张图对理解论文至关重要，因为它直观地展示了 TIR 的两个核心效率瓶颈：KV-Cache 清除和长工具响应。这为后续引入 PTE 指标提供了直观的动机和物理背景。

Overview of the four inefficiency patterns in Tool-Integrated Reasoning.
Figure 2: Overview of the four inefficiency patterns in Tool-Integrated Reasoning.

这张图通过四个具体例子展示了 TIR 中识别出的四种低效模式。图 a 展示确认性工具使用，模型在推理 12 加 5 等于几这个简单问题时，明明知道答案是 17，却仍然调用 Python 工具来验证计算结果。标签 Think then Verify 指出这是先思考再验证的低效行为。图 b 展示工具混合，模型在回答 ChatGPT 是哪家公司 CEO 的问题时，先调用 search 工具查询 OpenAI CEO，然后又调用 Python 工具处理查询结果。标签 Fragmented Workflow 指出这是碎片化的工作流程。图 c 展示缺乏工具先验，模型在计算 1444 的平方根时，虽然调用了 Python 工具，但在代码中没有使用 print 函数输出结果，导致工具返回空输出。标签 Silent Tool Execution 指出这是静默的工具执行。图 d 展示工具格式崩溃，模型在回答 2025 年东京天气问题时，调用 search 工具时使用了错误的格式，传递数组而不是单个查询字符串。标签 Schema Hallucination 指出这是模式的幻觉。

这张图对理解论文的低效模式分析至关重要，它通过具体例子直观展示了四种普遍存在的 TIR 低效模式，为后续的量化分析和改进建议提供了清晰的目标。