模型自适应的工具必要性揭示 LLM 工具使用中的「知行差距」 Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use
提出模型自适应工具必要性,发现 LLM 工具调用存在知而不行差距
前置知识
工具调用 (Function/Tool Calling)
LLM 通过结构化输出触发外部工具(计算器、搜索引擎、API)的能力,通常用 等特殊 token 标记调用语法。
论文研究的就是 LLM 何时该调用工具的决策机制,必须先理解工具调用的触发形式和语法。
线性探针 (Linear Probing)
在 LLM 隐藏状态 $h$ 上训练线性分类器 $y = \sigma(w^\top h + b)$,用分类器权重方向 $w$ 作为对应概念在表示空间中的方向向量,衡量该概念是否可线性解码。
论文用探针解码「必要性」和「动作」两类信号,需理解权重 $w$ 既可解码也表征几何方向。
元认知 (Metacognition)
模型对自身能力边界的认知,即「我是否知道这道题我能/不能答对」。在 LLM 中通常通过隐藏状态或显式置信度来衡量,论文聚焦隐式内部表征。
论文把工具使用拆成「认知」和「执行」两阶段,元认知信号的可分离性是核心论据之一。
MCC (Matthews 相关系数)
介于 $-1$ 和 $1$ 之间的相关系数,综合 TP/FP/TN/FN,在类别不平衡时比准确率和 F1 更稳健,论文探针评估的关键指标。
论文必要性/工具分布严重不平衡(如 UN-NC 占 67%),MCC 是衡量探针真实区分力的关键。
研究动机
现有工具必要性研究普遍把「是否需要工具」当作查询的静态属性,要么靠人工标注,要么用一个强 LLM 当裁判,本质上是 model-agnostic 的。这类工作大多聚焦在显而易见的例子(查实时天气 vs. 改写文本),但真实部署中,工具必要性受模型能力边界强烈调制:一道 SOTA 模型能直接答对的题,放到小模型上就必须靠工具。论文具体在 4 个模型(Qwen3-8B/4B、Llama-3.1-8B/3.2-3B-Instruct)和两个任务(算术、TruthfulQA)上观察到,端到端必要性-动作错配率高达 26.5%-54.0%(算术)和 30.8%-41.8%(TruthfulQA),且错配方向(过度调用 vs. 该调不调)在不同模型/任务上还会反转,Qwen3-8B 在算术上过度调用 38.2%,在 TruthfulQA 上又变成该调不调 17.9%,说明没有统一偏置可以解释。
本文的目标是论文目标分三层:第一,提出模型自适应(model-adaptive)的工具必要性定义,直接用模型在无工具条件下的经验正确率来标定「它是否真需要工具」;第二,把工具使用拆成「内部认知」和「执行动作」两阶段 $x \to z_f(x) \to a_f(z_f(x))$,定位错配究竟发生在哪个阶段;第三,通过 LLM 隐藏状态上的线性探针,理解两个阶段在表示空间中的几何关系,从而解释为什么模型「知道却做不到」。
与已有工作不同的是，此前对工具调用「何时该做」的研究几乎全部沿用静态必要性标注,且很少把它和模型内部表征联系起来。少数用探针的工作(如 RAGAS、Tool-Call-aware probing)也是建立在 model-agnostic 标签上,得到「几乎线性可分」这种较浅的结论。本文独到之处在于:把必要性标定直接钉到模型自身能力(N=10 次温度 T=0.7 的无工具推理是否全部答对),再在每一(token, layer)位置同时训练「必要性探针 $\mathbf{w}_c$」和「动作探针 $\mathbf{w}_a$」,通过比较二者的余弦相似度发现它们在决定下一个 token 的位置(late layer, last token)几乎正交,从而把端到端错配精确定位到「认知→动作」这一翻译过程。
核心方法
方法分两步。第一步用经验正确率给每个模型打自适应工具必要性标签:对查询 $x$ 在无工具条件下独立采样 $N=10$ 次、$T=0.7$,10 次全对则 $n_f(x)=0$,错一次就 $n_f(x)=1$,由此得到四类行为表(N-C/N-NC/UN-C/UN-NC)和端到端错配率。第二步是机制分析:把工具调用形式化为两阶段 $x \to z_f(x) \to a_f(z_f(x))$,在每一 (token, layer) 位置训两个线性探针——必要性探针 $(\mathbf{w}_c, b_c)$ 用 $n_f(x)$ 监督、动作探针 $(\mathbf{w}_a, b_a)$ 用实际调不调用监督,损失为带 sigmoid 的二分类交叉熵,30% 留出集上以 MCC 评估;再算两方向余弦相似度并对样本做 Factual→Cognition→Action 的 Sankey 归因。
核心创新是用「模型的实证能力」代替「人工/LLM 裁判」定义工具必要性,从而让必要性、动作、错误归因三者都建立在同一个模型的真实能力边界上,而不是外部 oracle 上。和已有 model-agnostic 探针工作的本质区别在于:不止证明「必要性线性可分」,还把可分性扩展到「动作也线性可分」,并通过两个探针方向在 readout 位置的余弦相似度从接近 1 坍缩到接近 0,把「知行差距」几何化为两个内部方向的解耦——这比直接归因于「模型不会做」更精细。
方法步骤详情
流程 6 步: (1) 数据——4 000 条分层算术题 + TruthfulQA 817 题,统一拼成可触发工具调用的 prompt。(2) 自适应标定——对 4 模型各跑 $N=10$、$T=0.7$ 的无工具推理,记全对/至少错一次得 $n_f(x)$。(3) 行为收集——带工具(算术→计算器、QA→搜索)推理,greedy decoding,按是否触发 划入 N-C/N-NC/UN-C/UN-NC。(4) 探针训练——逐 (token, layer) 位置在 $h^{(l)}_t(x)$ 上训 $\mathbf{w}_c$ 和 $\mathbf{w}_a$,学习率 0.01、Adam,扫最后 20 个 query token 与所有层,MCC 评估。(5) 几何分析——算 $\cos(\mathbf{w}_c, \mathbf{w}_a)$,聚焦「late layer, last token」位置。(6) 归因——用 stage-1 probe 读 cognition 标签,做 Sankey,量化橙色(知而不行)对红色(认知错)占比。
技术新颖性
技术新颖性体现在三点:(a) 必要性定义创新——首次用 $N$ 次采样的一致性作为工具必要性的经验标定,直接对接可靠性需求,且 $N, T$ 可调严格度,可在不依赖任何外部 oracle 的情况下重做整张必要性-动作表;(b) 两阶段探针几何分析——把「必要性能不能从隐藏态解出」和「动作能不能从隐藏态解出」放进同一坐标系,通过余弦相似度把它们的关系量化,而之前的工作通常只看其中一个的可分性;(c) 端到端误差分解到具体阶段——用 Factual→Cognition→Action 的逐样本轨迹,首次实证「知行差距」是工具调用端到端错误的主要来源,这为后续修复(改善认知 vs. 改善翻译)指明了方向。
实验结果
四点核心发现: (1) 端到端错配严重——Table 1 显示 4 模型算术错配 26.5%–54.0%、TruthfulQA 30.8%–41.8%,1/4–1/2 工具决策与真实能力不符。(2) 错配方向随模型/任务反转——Qwen3-8B 算术 UN-C 38.2% ≫ N-NC 3.5%,TruthfulQA 反转为 N-NC 17.9% > UN-C 13.2%,Qwen3-4B 同样反转,无单一偏置可解释。(3) 两信号高度可分但 readout 位置正交——必要性探针算术多区域 MCC ≥ 0.4,动作探针更广谱(部分 0.75);Figure 5 显示 $\cos(\mathbf{w}_c, \mathbf{w}_a)$ 在 Qwen 算术中间 token 有对齐,在 late layer + last token 跌回接近 0,即为知行差距的几何来源。(4) 错配主因在 stage-2——Figure 6 橙色流远粗于红色,Figure 7 显示橙色点遍布高置信区,说明错配是高置信认知未被翻译到动作,而非认知没把握。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 必要性-动作错配率 (Arithmetic, Mis. 列) | 百分比错配率 | Qwen3-8B 41.7% / Qwen3-4B 26.5% / Llama-3.1-8B-Instruct 38.5% / Llama-3.2-3B-Instruct 54.0% | 无外部对比基准(首次给出模型自适应错配率) | 提供 model-adaptive 错配率作为新指标基线;同义对比下 Qwen3-4B 最优(26.5%)、Llama-3.2-3B-Instruct 最差(54.0%) |
| 必要性-动作错配率 (TruthfulQA, Mis. 列) | 百分比错配率 | Qwen3-8B 31.1% / Qwen3-4B 41.8% / Llama-3.1-8B-Instruct 30.8% / Llama-3.2-3B-Instruct 32.8% | 无外部对比基准(首次给出模型自适应错配率) | Llama-3.1-8B-Instruct 最优(30.8%)、Qwen3-4B 最差(41.8%);算术上的最优 Qwen3-4B 在 TruthfulQA 上反而最差,说明无统一「最稳」模型 |
| 必要性探针可分性 (MCC, 算术) | Matthews 相关系数(范围 [-1,1]) | 多个 (token, layer) 区域 MCC ≥ 0.4,Qwen/Llama 同族热图结构相似 | 已有静态必要性探针的「几乎线性可分」结论(参考文献 [13, 28]) | 在更严苛的模型自适应标签下,仍支持「必要性可线性解码」,但 TruthfulQA 上 MCC ≥ 0.4 区域明显缩小,显示任务依赖性 |
| 动作探针可分性 (MCC, 算术与 TruthfulQA) | Matthews 相关系数(范围 [-1,1]) | MCC ≥ 0.4 覆盖几乎所有模型的多数 (token, layer) 区域,部分位置达 0.75 | 无直接先例,本文首次给出「动作」维度的探针结果 | 比必要性探针更「广谱」,说明工具调用与否比必要性更容易从隐藏态解码 |
| $\mathbf{w}_c$ 与 $\mathbf{w}_a$ 余弦相似度 (late layer, last token) | Cosine similarity ∈ [-1,1] | Qwen3-8B/4B 在右下角由中等正相关坍缩至接近 0;Llama 模型整体偏低 | 无外部基准;内部对照是中间 token 位置较高的对齐度 | 首次量化 readout 位置两方向的「近正交」现象,给出「知行差距」的几何证据 |
局限与改进
局限: (1) 覆盖面窄——只评测 Qwen3-8B/4B、Llama-3.1-8B/3.2-3B-Instruct 共 4 模型,任务仅算术与 TruthfulQA,未涵盖多步工具链、代码执行、API 组合等更复杂 agent 场景。(2) 必要性定义参数敏感——$N=10$、$T=0.7$ 是人为选定,改变 $N$、$T$ 会移动能力边界并改变错配率,论文没有 $N\in\{5,10,20\}$、$T\in\{0.3,0.7,1.0\}$ 的消融。(3) 动作收集与必要性评估的温度不一致——前者用 greedy,后者用 $T=0.7$ 采样,可能高估或低估「犹豫样本」的工具调用倾向,无法刻画部署中的随机性。(4) 探针只训在 query 端 token,未纳入工具返回后的隐藏态,因此 stage-2 错配仅指「是否触发 」,无法诊断多轮链中的中间决策。(5) 工具实现是 model-specific,格式不合规可能被解析器拒收,论文没有把格式错误与认知-执行错配分开统计。
独立分析的弱点
独立观察的弱点: (1) 经验定义忽略调用成本——一个能 80% 答对的查询在低风险场景或许不需要工具,高风险则应调用,目前定义未给「性价比」留位置,改进方向是引入代价/收益函数 $n_f(x)\in[0,1]$ 取代硬标签。(2) stage-2 翻译失败被整体归为一类,但机制可能不同:token-level 抑制($\mathbf{w}_a$ 方向被无关表征压过)或 routing 失败($\mathbf{w}_a$ 存在但未进入 readout),论文只给全局余弦相似度,缺 token-level 干预;可在 $\mathbf{w}_a$ 上做 activation steering 验证。(3) 探针在单模型隐藏态上训练,没有跨模型对齐 $\mathbf{w}_c$、$\mathbf{w}_a$,「知行差距」是否家族特异未知;应对同一查询做多模型对比。(4) 数据集 4 000+817 偏小且算术题模板化,可能让模型在「算式复杂度」表层特征上过拟合探针,使 Arithmetic 探针 MCC 普遍偏高,改进方向是引入更异构的真实用户查询日志复核。
未来方向
未来方向: (1) 通过在 late layer 显式注入「动作方向」修复 stage-2-only 错配——对 $\mathbf{w}_a$ 做 activation steering,看能否在不重训下提升工具调用忠实度。(2) 把两阶段框架推广到多轮工具链(sequential tool use)与规划型 agent,把「知行差距」推广为「知-行-再知-再行」的递归不匹配,逐跳衡量认知-动作对齐。(3) 在更大模型(包括通过 API 暴露隐藏态/概率的闭源 SOTA)和更广任务(代码生成、浏览器操作、数据库查询)上重复实验,看「知行差距」是否随规模缩小或放大。(4) 显式自省(self-assessment prompt)能否降低 stage-2 错配——论文 Appendix B 已观察到显式提示改变调用分布,但未与隐式认知下的 stage-2 错配率正式对比,这是直接扩展点。(5) 把「模型自适应必要性」作为 RLHF/DPO 奖励信号,直接优化「少过度调用、少漏调用」,把诊断转成可操作的训练目标。
复现评估
复现评估: GitHub 仓库 https://github.com/chengez/Tool-Cognition-Action 公开,含数据生成、推理、探针训练与几何分析代码。算术数据集(4 000 题)按 Appendix A 模板化生成,复现难度低;TruthfulQA 用公开 817 题。需 4 模型权重(Qwen3-8B/4B、Llama-3.1-8B/3.2-3B-Instruct),合计约 23 B 参数,单卡 A100 80G 即可跑 8B,3B/4B 用 24G 级别;完整实验「4 模型 × 2 任务 × N=10 次采样 × 探针扫所有层和最后 20 token」总计算量约 80 次完整推理 + 1 次探针 sweep,单卡需数天到一周。最大复现难点是工具栈差异:Qwen 用 、Llama 用特定 function tag,需按官方指南写 handler,否则格式错误会污染 N-C/UN-C 统计。整体复现难度中等,适合有 LLM agent 经验的实验室。
论文图表
整图分左中右三块。左侧画了「先前的 model-agnostic 工具必要性」——靠人工/强 LLM 裁判给查询贴标签,以及本文「模型自适应工具必要性」——对同一查询在 N=10、T=0.7 下无工具推理,全对才算 unnecessary。中间是 Cognition 阶段:用模型隐藏态 $h$ 训练线性探针 $\mathbf{w}_c$ 区分必要/不必要。右侧是 Action 阶段:用同一隐藏态训练探针 $\mathbf{w}_a$ 预测实际是否触发工具调用,并指出两方向在 late layer, last token 接近正交,且 stage-2(认知→动作)是错配主因。
它是论文的「门面图」,把研究问题(必要性怎么定义)、方法(两阶段探针)、核心结论(知行差距)一次性交代清楚,适合放在方法或 motivation 开篇。
两行(算术、TruthfulQA)× 4 列(4 个模型)的彩条图,每个 0.5% 样本一根竖条,绿色表示 10 次无工具推理全部答对(unnecessary),红色表示至少一次失败(necessary),同一行内样本顺序在 4 个模型间一致。视觉上能看到同一组样本在不同模型上落点不同,直观说明「同一个查询对 Qwen3-8B 不需要工具、对 Llama-3.2-3B 必要」。
它直接用一张可视化图证明「工具必要性是模型相关的」这一论文最核心的前提假设,比 Table 1 的数字更具冲击力。