← 返回 2026-10-09

准确却不谦逊：知识冲突下大模型智能体的认知谦逊评测 Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict

Kaiser Sun, Bernal Jimenez Gutierrez, Hongjun Liu, Jingyu Zhang, Jie Gao, Mark Dredze, Daniel Khashabi 📅 2026-10-08 👍 7 2026-11-11 18:30

LLM智能体不确定性表达知识冲突认知谦逊评测基准轨迹级评估

arXiv HuggingFace PDF

提出识别-求解-上报（ISE）轨迹级指标，发现智能体越准越不愿承认不确定性

前置知识

知识冲突（Knowledge Conflict）

指模型参数记忆中的信念与外部证据相矛盾（上下文-记忆冲突），或两个外部来源之间互相矛盾（上下文间冲突）。研究者通过给同一问题同时提供支持与反驳的证据，构造出有明确真值标签的"冲突/无冲突"配对任务，从而可控地观察模型到底听信哪一方、如何处理矛盾。

本文正是以知识冲突作为受控触发器来诱导并测量认知谦逊，全部实验设计与三个指标的定义都建立在冲突/无冲突配对比较之上。

参数化知识（Parametric Knowledge）

存储在模型权重中、不依赖外部检索就能调用的知识。通常用闭卷（无上下文）提问来探查：若模型在自由作答与选择题两种模式下给出一致答案，就认为它对该事实持有稳定、自信的参数化信念（文中记为 Level 3 / $a_{pk}$）。

论文第一步就是逐骨干探查参数化信念，只保留"自信但答错"的实例来构造冲突，这是整个冲突识别流水线的地基。

认知谦逊（Epistemic Humility, EH）

源自心理学的"智力谦逊"构念，指个体意识到自身知识可能不完整、信念可能有错，并据此识别矛盾、采取行动、向他人沟通不确定性的意愿。它是不可直接观测的理论构念，必须通过可观测行为来操作化测量。

本文的核心贡献就是把 EH 分解为 Identify、Solve、Escalate 三个可观测行为并给出完整的测量方案，读不懂这个构念就无法理解论文动机。

LLM-as-Judge 与评分者一致性

用强模型（如 GPT-5）按固定提示词对行为打分。为验证可靠性需报告多个裁判间的一致性，常用 Cohen's $\kappa$ 与 Gwet's AC1；当正例稀少（本文 ISE 正例仅 11-14%）时 $\kappa$ 会被系统性压低，AC1 更稳健。

本文三个指标全部由 GPT-5 裁判从轨迹中判读，作者用三裁判交叉（AC1 0.82-0.97）和人工标注验证了判读可靠性，理解这些指标才能正确评估结果的可信度。

智能体轨迹（Trajectory）

智能体执行任务时产生的完整记录 $\tau=(s_1,\ldots,s_T)$，每一步 $s_i$ 包含推理链、工具调用及参数、工具观察结果和用户可见文本。轨迹级评估对中间步骤而非仅最终答案打分。

ISE 三个指标全部定义在轨迹之上：识别发生在第几轮、识别后有没有新的工具调用、最终答复是否上报，都是轨迹级分析。

研究动机

现有智能体评测几乎只看最终答案对错（GAIA、SWE-Bench 等 outcome-only 打分），一条标记了冲突的轨迹与一条自信答错的轨迹得分完全相同，这等于在训练与榜单层面系统性惩罚"说出来"的不确定性；而人类监督者通常只抽查最终答案（Cai et al., 2025），从未浮出表面的不确定性无法被利用。更糟的是，即使骨干模型在推理中察觉了矛盾，智能体 harness 也可能在多步执行中把这个信号稀释、覆盖甚至丢弃。具体场景如图1所示：智能体检索到 RetroNet-B 在 ImageNet-1k 上的 top-1 准确率为 71.2%，而其参数记忆（2023年快照）是 78.4%，它既不指出分歧也不复核，最终自信断言 71.2% 却附上错误出处 arXiv:2000.01234。作者在受控冲突基准 TMD 上实测，所有报告结果的配置准确率相对无冲突对照暴跌超过 30 个百分点，说明冲突真实地改变行为，但现有评测对此完全不可见。

本文的目标是本文要把"认知谦逊"从抽象构念变成智能体系统层面可测量、可比较的指标。具体有三件事：其一，把 EH 操作化为三个轨迹级可观测行为——Identify（在执行中识别证据分歧、信息缺口）、Solve（用有界工具使用尝试解决而非瞎猜）、Escalate（缺口未闭合时在最终答复中向用户上报残余不确定性）；其二，构建带匹配无冲突对照的评测集：受控冲突从 ConflictQA 与 WikiContradict 改造出 TMD 基准，自然发生冲突则在 GAIA、MoNaCo、BrowseComp 三个多步智能体基准中筛选骨干模型"自信但答错"的实例；其三，在 4 个智能体框架、5 个 harness-骨干配置上测量任务准确率与 EH 的关系，分析"识别-跟进-上报"链条在哪里断裂，并公开全部轨迹与逐步 ISE 判读标签供后续研究。

与已有工作不同的是，已有知识冲突研究（ConflictQA、WikiContradict、ConflictBank 等）几乎都停留在单轮裸模型设定；HumbleBench 等谦逊评测也只覆盖单轮选择题；另一条轨迹级评测路线（TRAIL、RAFFLES 等）则把轨迹当作错误归因的底料，衡量失败定位而非与正确性正交的行为。本文的独特切入有三点：第一，首次在多步智能体执行中做轨迹级 EH 测量，关注不确定性信号如何被 harness 处理；第二，采用测量建模（measurement modeling）思路——通过受控知识冲突这一"期望行为无歧义"的触发场景保证构念效度，避免在开放式生成里把含糊其辞主观判为谦逊或谄媚；第三，把 EH 分解为三个可独立失败的维度而非一次整体打分，从而能定位"识别了但没跟进""跟进了但没上报"等具体断点。

核心方法

直觉上，想知道智能体是否"知道自己不知道"，最干净的办法是人为制造一个它必然应该注意到的矛盾，然后全程观察其行为。论文据此搭建两层框架：第一层是冲突识别流水线——先逐个探查骨干模型的参数化信念，再构造把该信念置于矛盾中的任务，并为每个冲突实例配上匹配的无冲突对照（受控设置同题同证据数；自然冲突设置从同池选"自信正确"与"无强信念"实例）；第二层是 ISE 评测协议——记录完整轨迹 $\tau=(s_1,\ldots,s_T)$，由 GPT-5 裁判分别读中间步骤判 Identify（保留 think 块）、检查识别后是否有新的非重复工具调用且干净终止判 Solve、只读最终回复判 Escalate（剥离 think 块）。任务正确率用规则匹配加"看不到原问题"的 GPT-5 裁判单独计算，与 EH 指标完全解耦。

核心创新是把 EH 从"整体印象"拆成三个逐级递进、可各自失败的轨迹级行为，并用测量模型保证每个指标语义清晰。与已有工作的本质区别有四点：第一，评分对象是轨迹而非最终答案——Identify 裁判只读最终回复之前的中间轮次（式1 的 F1 同时惩罚"从不示弱"和"处处示弱"），防止用最后一句话的含糊措辞借分；第二，Solve 衡量尝试而非结果（式2）：要求识别后至少一次新工具调用、无完全重复调用、干净终止，把"努力解决"与"最终答对"分开计分；第三，Escalate 故意不以 Identify 为条件（式3），只在答案错误的冲突实例（$c_i=0$）上计算，从而认可"跳过中途标记、直接在最终答复中上报"的合法路径；第四，每个冲突实例都有匹配无冲突对照，使行为差异可归因于冲突本身而非题目差异。

方法步骤详情

第一步，参数信念探查：受控冲突设置下用自由作答与选择题两种模式零样本提问，仅保留两模式一致且答案在候选集内的 Level 3 实例（表3显示 GPT-5 的 100 个闭卷实例中仅 50 个达标）；GAIA/MoNaCo/BrowseComp 用两遍法——先闭卷作答得 $a_{pk}$，再自我核实是否坚持——并施加 HAS_PK（非拒答）、SELF_AGREES、DISAGREES_GT 三个谓词。第二步，任务构造：每个实例扩写成"问题+两段互相矛盾的证据"（$a_1 \neq a_2$）的 TMD 场景，并配同题同段数的无冲突对照。第三步，执行：五个配置（Nemotron-ToolOrchestra+Nemotron-Orch-8B、Claude Code+Sonnet 4.6、OpenHands+GPT-5、Qwen-Agent+Qwen3.5-9B/27B）带全套工具跑任务，上限 50 轮，记录完整轨迹。第四步，评分：规则与裁判双通道算正确率；按式(1)-(3)算 Identify F1、Solve 有界解决率、Escalate 上报率。第五步，验证与干预：三裁判一致性（AC1 0.82-0.92）加人工标注校验（50+50条），再在系统提示末尾追加一段"考虑替代解读、如实上报冲突"的谦逊提示重跑自然冲突设置。

技术新颖性

技术新颖性体现在测量设计而非新模型。首先，它把认知谦逊评测从单轮 LLM 推广到"骨干+harness+环境"的完整智能体系统，填补轨迹级行为测量的空白；其次，分维度判读揭示了整体打分看不到的断裂——例如 Claude Code 在 BrowseComp 上识别 F1 高达 90.0% 而上报率恰为 0.0%，若只做一次整体裁判或只看最终答案都会漏掉；第三，think 块双政策（判 Identify 保留、判 Escalate 剥离）兼顾推理模型的内部识别与用户可见输出，避免系统性漏计或虚增；第四，对稀有正例（11-14%）采用 Gwet's AC1 而非 Cohen's $\kappa$ 评估裁判一致性，方法学上更严谨，并用"裁判看不到原问题"阻断 LLM-as-judge 自己重答题的捷径；第五，公开逐步 ISE 判读标签，相当于提供了过程监督信号的雏形，可直接用于训练诚实弃答行为。

**Figure 2**: Conflict Construction, Agent Execution, and Epistemic Humility Evaluation pipeline

实验结果

论文有四个主要发现。其一，知识冲突显著损害任务表现：受控基准 TMD 上所有配置较无冲突对照跌超 30 个百分点，如 OpenHands(GPT-5) 3.2% vs 58.4%、Qwen3.5-9B 4.0% vs 65.0%、Qwen3.5-27B 6.5% vs 60.0%、Nemotron-Orch-8B 3.0% vs 39.0%；但在 BrowseComp 与部分 GAIA 上出现反向现象，如 Claude Code 在 BrowseComp 冲突集 55.2% 反而高于对照 44.0%。其二，准确率与谦逊负相关（图3）：拟合曲线显示 Solve 率从低准确率格的约 45% 降到高准确率格的 10% 以下，Escalate 率从约 38% 降到 10% 以下，Identify 无明显单调关系；典型如 Claude Code 在 BrowseComp 上 Identify F1 达 90.0% 而 Escalate 为 0.0%，OpenHands 在 GAIA 冲突集准确率 51.0% 但三项 EH 指标全为 0.0。其三，冲突相关提及集中在轨迹前 10%（图4），早期暴露并未转化为跟进或上报。其四，一句系统提示干预使 MoNaCo 上 GPT-5 的 Escalate 从 1.6% 升至 60.7%、Claude Code 从 13.9% 升至 60.8%、Qwen3.5-9B 从 16.7% 升至 44.9%，但 GPT-5 准确率从 30.1% 跌至 23.2%，BrowseComp 上 +28 分 Escalate 换来 -6 分准确率，呈现"谦逊-准确"权衡。可靠性方面：三裁判在正确性上 AC1 0.93-0.97、在 Identify/Escalate 上 0.82-0.92，且另外两个裁判比 GPT-5 更严格，意味着低上报率结论是下界而非偶然。

**Table 1**: Aggregate accuracy (%) by dataset and split

**Table 2**: Five harness and backbone configurations evaluated across four harnesses

**Table 3**: Controlled conflict (TMD) data statistics

**Table 5**: Epistemic-humility metrics (%) on the conflict split, by agent and dataset

**Table 7**: Human validation of the two EH judges

**Table 8**: Aggregate accuracy (%) under the uncertainty-prompt intervention

**Figure 3**: Task accuracy on the conflict split against each Epistemic Humility dimension

**Figure 4**: Position of the first mention of the conflicting entity within the trajectory

**Figure 5**: Per agent-dataset behavior under the specialized prompt

查看结构化数据

任务	指标	本文	基线	提升
受控知识冲突问答（TMD）	规则正确率(%)	OpenHands(GPT-5) 冲突集 3.2	无冲突对照 58.4	-55.2pp，冲突导致准确率崩塌
受控知识冲突问答（TMD）	规则正确率(%)	Qwen-Agent(Qwen3.5-9B) 冲突集 4.0	无冲突对照 65.0	-61.0pp，全部配置跌幅均超30pp
BrowseComp 浏览智能体	模型裁判准确率(%)	Claude Code 冲突集 55.2	无冲突对照 44.0	+11.2pp，对持有错误先验的题反而答得更好
BrowseComp 冲突识别	Identify F1(%)	Claude Code 90.0	OpenHands(GPT-5) 0.0	识别能力差距悬殊，但 Claude Code 的 Escalate 为 0.0
MoNaCo 冲突上报	Escalate 率(%)	GPT-5 加谦逊提示 60.7	默认提示 1.6	+59.1pp，但准确率 30.1→23.2
GAIA 多步任务	Exact Match(%)	Nemotron-Orch-8B 冲突集 16.1	无冲突对照 26.5	-10.4pp

局限与改进

作者承认的局限：一是骨干与 harness 耦合，只测了 5 个配置，未做骨干×harness×基准的全因子实验，无法分离模型、框架、环境三者的因果贡献；二是干预仅是一句系统提示，未尝试 harness 级弃答动作或训练级过程监督；三是 ISE 只是 EH 的一个切面，不覆盖抵抗用户施压、拒绝缺乏工具的任务、连续量校准置信等维度；四是资源受限——整个项目花费超过 3000 美元与 1000+ GPU 小时，被迫取舍配置。我自己的观察：自然冲突与对照集是不同题目，差异可能混入任务难度因素（作者也注明这是观察性比较）；EH 指标完全依赖 LLM 裁判，GPT-5 裁判与人工多数标签一致率仅 70.0%/72.0%，人人间一致也只有 76.0%/85.3%，裁判噪声不可忽略；部分单元格 Escalate 分母极小（如 BrowseComp 某些配置仅几十条错误实例），比率方差很大；谦逊提示实验只在自然冲突设置上做，未回测 TMD 受控冲突。

独立分析的弱点

第一，论文只测量了问题而没有改变激励结构——基准打分仍然惩罚弃答，指标再好也不会被榜单采用；改进方向是把 ISE 纳入官方评测指标或设计不确定性感知的打分函数，让诚实弃答不亏分。第二，现有 harness 缺少一等公民的"弃答/上报"动作，冲突信号只能靠自然语言最终答复携带，容易被下一轮工具调用覆盖；改进是在智能体协议中增加显式 escalate 工具与终止状态，让信号结构化地传递到用户。第三，裁判判读有噪声：判读标准对"实质性识别"门槛很高，可能漏判含蓄表达，且人工一致率仅约七成；可引入多裁判集成加人工抽检校准。第四，只测知识冲突一种触发通道，"工具根本拿不到答案""用户指令含糊"等同样需要谦逊的场景完全未覆盖；应扩充触发通道家族并检验 ISE 的跨通道泛化。第五，提示干预导致准确率下降，说明纯提示层面存在权衡，可能需要在训练层面用过程奖励（例如直接利用其发布的逐步 ISE 标签做过程监督微调）才能同时保住准确与谦逊。

未来方向

作者明确提出四个方向：骨干×harness×基准的全因子实验以分离三方贡献；harness 级干预，把弃答做成一等动作；训练级干预，用过程监督微调诚实弃答（公开的 per-turn ISE 标签正是为此准备的信号）；以及轨迹级分析冲突在哪一步被丢弃、哪些 harness 机制与打分方式能保留并奖励不确定性表达。基于本文成果还可延伸：把 ISE 框架扩展到其他谦逊维度，如抵抗用户施压的谄媚测试、拒绝缺乏工具的任务、连续数值的校准置信；在 AutoGen、LangGraph 等更多框架和更多骨干上复测"越准越不谦逊"是否普适规律，并探究其与 RLHF 奖励结构的因果关系；设计不确定性感知的打分函数与 RL 奖励，直接优化"准确×谦逊"联合目标；以及学习"何时上报"的策略——结合冲突发生位置（前 10% 达峰）与解决成功率，训练一个动态决定重检索还是上报的元认知模块。

复现评估

复现条件较好：代码、全部智能体轨迹与逐步 ISE 判读标签已在 GitHub 开源，评测数据全部来自公开基准（ConflictQA、WikiContradict、GAIA、MoNaCo、BrowseComp），四个裁判提示词在附录逐字给出（图6-10），谦逊提示全文见附录 E.1，判读配置明确（GPT-5、无 max_tokens 上限、temperature=1）。主要门槛是算力与费用：作者报告整个项目花费超过 3000 美元、1000+ GPU 小时，完整复现 5 配置×4 数据集×冲突/对照×默认/提示需要 GPT-5、Claude Sonnet 4.6、Qwen3.5 等 API 及搜索 API。若只复现单配置或只做 TMD 受控冲突部分，成本可大幅降低；Claude Code 用官方 CLI，OpenHands 与 Qwen-Agent 为开源框架，工程难度中等。注意冲突实例按骨干逐个探查（同一题对某骨干是 Level 3、对另一个可能是 Level 0），换骨干必须重跑信念探查流水线，各单元格样本量也会随之变化。

论文图表

**Figure 1**: Epistemic humility behavior under knowledge conflict
以"RetroNet-B 在 ImageNet-1k 上的 top-1 准确率是多少？请引用论文"为例展示三个维度的期望与观察：检索证据为 71.2%，与参数记忆 78.4%（2023 快照）冲突。Identify 期望"指出 71.2 与我记忆的 78.4 不符"，观察到静默无承认；Solve 期望"换源或交叉验证后再作答"，观察到引用数字悄悄回退为先验；Escalate 期望"两个来源冲突，我无法确信地解决"，观察到自信断言加错误引用（arXiv:2000.01234）。

一张图看懂 ISE 三个维度各自衡量什么、以及真实智能体如何三步全败，是全文的问题陈述与动机示例。

Table 4: Naturally occurring conflict (GAIA, MoNaCo, BrowseComp) data statistics

自然冲突设置的筛选漏斗：从原始题量出发，依次经过 Has PK → Self Agrees → Disagrees GT 三个谓词后得到的冲突实例数，以及由"自信正确"与"无强信念"两类构成的对照集。例如 GPT-5 在 BrowseComp 的 1266 题中仅 51 题入选冲突集。

展示"自信但答错"实例的稀缺性和各配置样本量差异巨大的原因，是正确解读后续表格小样本单元格的前提。

Table 6: Agreement between the three judge models on the three LLM-judged labels

GPT-5、Claude Sonnet 5、GLM-5.2 三个裁判在正确性/Identify/Escalate 标签上的原始一致率、Cohen's $\kappa$ 与 Gwet's AC1，分全量、受控冲突、自然冲突三种范围。正确性 AC1 为 0.93-0.97，Identify/Escalate 为 0.82-0.92；且另两个裁判比 GPT-5 更严格（如 GPT-5 漏判 1369 个 Escalate 而 GLM-5.2 只漏 540）。

证明评测结论不依赖单一裁判模型家族，且低 Solve/Escalate 率在换用更严格裁判时只会更低，是结论稳健性的关键证据。

Table 9: Epistemic-humility metrics (%) under the uncertainty-prompt intervention, on the conflict split

干预后各配置的 Identify/Solve/Escalate 指标。例如 MoNaCo 上 GPT-5 的 Escalate 升至 60.7、Claude Code 升至 60.8，Nemotron-Orch-8B 在 GAIA 上 Identify 66.7、Solve 39.3；部分配置如 Claude Code 在 GAIA 上 Solve/Escalate 反而降为 0。

与表5对照量化"一句提示能否修复谦逊"：多数配置 Escalate 大幅上升，但效果不一致，说明问题不止在骨干。

相似论文推荐

测试时下注式思考减少 LLM 智能体的谄媚性改稿 🎯 62.8%

CAR-bench：评估LLM智能体在真实世界不确定性下的一致性与能力边界感知 🎯 62.5%

当智能体过早承诺时：诊断LLM智能体的过早承诺问题 🎯 61.6%

Agent-ValueBench：面向智能体价值观的综合性评测基准 🎯 60.7%

STALE:大语言模型智能体能识别其记忆何时不再有效吗? 🎯 60.2%