τ-Knowledge：评估基于非结构化知识的对话智能体 τ-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge
评估智能体在700篇非结构化知识中检索推理执行客服任务的能力
前置知识
τ-Bench
τ-Bench 是由 Yao 等人（2025）提出的对话智能体基准，模拟目标导向、部分可观测的对话环境，要求智能体与模拟用户进行长时域交互来完成任务。与传统工具使用基准不同，τ-Bench 显式建模了交互式用户行为和对话动态，工具和流程并非完全预设给智能体，而是需要在交互中逐步发现和使用。τ-Knowledge 直接建立在 τ-Bench 基础之上，进一步引入了从非结构化知识库中检索程序性知识的要求。
τ-Knowledge 是 τ-Bench 的扩展，理解 τ-Bench 的设计哲学（对话式交互、部分可观测、工具发现）是理解本文贡献的前提。
Dec-POMDP（分散式部分可观测马尔可夫决策过程）
Dec-POMDP 是一种多智能体序贯决策框架，其中每个智能体只能观测到环境状态的部分信息，且智能体之间无法直接共享内部状态。在 τ-Banking 中，智能体和用户拥有不对称且不完整的世界观：智能体无法直接观测或修改底层银行数据库状态 $S_{db}$，只能通过工具输出和用户消息来推断状态。这种部分可观测性使得任务成功必须基于对知识库的正确检索和解释。
论文将每个 τ-Banking 任务形式化为 Dec-POMDP，理解这一框架有助于把握任务设计的理论基础和评估的严格性。
可发现工具（Discoverable Tools）
可发现工具是 τ-Banking 引入的核心概念：这些工具并非智能体一开始就可用，而是仅在知识库文档中以函数签名的形式被隐式引用。智能体必须先在知识库中找到相关文档，然后通过 unlock_discoverable_agent_tool 解锁工具，最后才能调用它。形式上，这对应于智能体动作空间 $A_{agent}$ 的状态依赖扩展，使得对特定环境操作的访问依赖于智能体的知识获取能力。如果智能体无法定位相关文档，就无法执行所需操作。
可发现工具机制将知识检索与工具使用紧密耦合，是 τ-Knowledge 区别于其他基准的关键设计，直接决定了任务的难度和现实性。
pass^k 指标
pass^k 是本文采用的核心评估指标，定义为一个任务在 $k$ 次独立试验中全部成功完成的概率。与简单的 pass@1 不同，pass^k 能够衡量智能体的可靠性和一致性——即使智能体偶尔能完成任务，如果它在重复试验中表现不稳定，pass^k 值也会迅速下降。本文评估 $k \leq 4$ 的情况，实验发现即使最强的模型配置在 $k=4$ 时性能也会大幅下降（如 GPT-5.2 从 pass^1 的 25.52% 降至 pass^4 的 13.40%）。
pass^k 指标揭示了现有智能体系统在可靠性方面的严重不足，这是单一 pass@1 指标无法捕捉的。
检索增强生成（RAG）
RAG 是一种将外部知识检索与语言模型生成相结合的技术范式。在企业应用中，RAG 系统通常使用嵌入模型（如 text-embedding-3-large）进行密集语义检索，或使用 BM25 进行稀疏词法检索，将相关文档片段注入模型上下文以辅助生成。本文评估了多种检索配置（密集检索、稀疏检索、终端搜索、黄金文档），发现检索质量并非仅由底层检索器决定，还受到智能体如何制定和迭代搜索查询的显著影响。
RAG 是本文评估的核心场景之一，理解其工作原理有助于把握不同检索配置之间的差异和实验设计的合理性。
研究动机
在现实世界的知识密集型部署中，对话智能体必须在与用户的实时交互中，从大型、私有、非结构化的知识库中检索和应用领域特定知识。然而，现有的智能体评估基准几乎都无法捕捉这种复杂性：大多数先前工作要么孤立地评估检索能力（如问答或网络搜索场景中的查询-文档匹配），要么孤立地评估工具使用能力（如结构化任务分解和工具调用），而不要求智能体在包含分布外产品术语、详细政策和可发现能力的私有知识库上进行推理。这种分离式评估造成了一道鸿沟——在需要长时域交互、协调外部自然语言知识与工具输出才能产生可验证、符合政策的状态变化的真实场景中，现有基准无法评估智能体的端到端表现。此外，现有基准中的用户模拟器常常无意中通过提示泄露未来对话状态或结果，充当了不自觉的预言机，这进一步降低了评估的真实性。
本文的目标是本文的具体目标是创建一个能够评估智能体在知识密集型环境中端到端表现的基准，填补检索评估与工具使用评估之间的鸿沟。具体而言，τ-Knowledge 旨在衡量智能体在以下方面的能力：（1）从约 700 篇非结构化知识文档中有效检索相关信息；（2）正确解读和应用跨文档的复杂政策和约束；（3）在多轮对话中协调知识获取与工具调用；（4）在重复试验中保持可靠的一致性表现。同时，该基准还关注解决方案效率——不仅衡量任务是否成功，还衡量达到正确结果所需的时间、工具调用次数和对话回溯程度，因为这些因素在面向人类的部署中至关重要。
与已有工作不同的是，本文的独特切入角度在于将知识访问抽象为与自然语言语料库的交互，并通过其对任务完成和可靠性的影响来评估知识使用，从而在单一框架内统一了基于检索的、长上下文的和工具增强的方法。与先前工作相比，τ-Knowledge 抓住了三个被忽视的关键点：第一，知识获取与能力发现的耦合——智能体不仅需要检索信息，还需要在文档中发现可用工具的引用才能执行操作；第二，长时域交互中的部分可观测性——智能体和用户拥有不对称、不完整的世界观，任务成功需要基于正确推理来推断状态；第三，解决方案效率的重要性——在面向人类的部署中，额外的交互轮次意味着更长的解决时间、更高的认知负荷和更低的信任度，这些成本与最终任务成功同样重要。
核心方法
τ-Knowledge 的方法可以类比为一个「金融科技客服模拟考场」：想象一个新入职的银行客服代表，面前有一摞约 700 份的产品手册、政策文档和操作指南，但没有任何快捷索引——他必须在与客户实时对话的过程中，通过搜索找到正确的文档，理解其中的规则和约束，然后执行相应的操作来满足客户需求。τ-Knowledge 的技术路线分为三个层面：在环境层面，构建了一个名为 τ-Banking 的金融科技客服领域，包含约 700 篇跨 21 个产品类别、71 个主题的知识文档，涵盖个人和企业支票账户、分层储蓄账户（从 Bronze 到 Diamond Elite）、奖励信用卡、先买后付计划等；在任务层面，每个任务模拟一个真实的客服交互，要求智能体在多轮对话中协调知识获取与工具调用来修改底层银行数据库；在评估层面，采用 pass^k 指标衡量可靠性，同时追踪文档召回率、工具调用效率、任务持续时间等细粒度指标。
本文最核心的创新在于「可发现工具」机制的设计。与现有基准中工具接口完全预设给智能体不同，τ-Knowledge 引入了一种状态依赖的动作空间扩展：工具的文档描述嵌入在知识库中，智能体必须先检索到这些文档才能发现可用工具，然后通过 unlock_discoverable_agent_tool 解锁工具，最后才能调用它。形式上，这对应于智能体动作空间 $A_{agent}$ 基于其在交互历史 $S_{history}$ 中的知识状态进行条件扩展。这一设计的本质区别在于：它使得对特定环境操作的访问依赖于正确的知识获取，从而将知识访问失败直接映射为系统状态的持久差异。例如，如果智能体无法在知识库中找到关于「信用卡保留协议」的文档，它就无法发现 apply_credit_card_account_flag_6147 这个工具来为客户免除年费。这种设计确保了智能体不能仅仅依赖通用推理能力来完成任务，而必须真正理解并应用特定领域的知识。
方法步骤详情
τ-Knowledge 的完整方法包含五个阶段。Stage 1 结构化数据库生成：使用 LLM 生成业务类别（如信用卡、储蓄账户）、各类别下的特性（如卡片等级、账户协议）以及每个特性关联的变量（如年费、返现率、余额转账 APR），形成一个结构化数据库，每个特性由一组带类型的变量和具体值表示。Stage 2 结构化到非结构化的文档转换：为每个特性生成一组合理的文档标题（如「Bronze 奖励卡概述」「如何查看我的月度返现？」），然后由 LLM 将变量子集分配到相应文档标题中，最后生成自然语言文章来释义和情境化底层变量。Stage 3 任务和数据库协同构建：人工与 LLM 协助围绕特定工作流（如订购补发卡片、处理交易争议、推荐账户）构建任务，同时更新知识文章和工具以支持任务。Stage 4 人在环中的迭代优化：在任务创建过程中迭代地添加、删除或修改变量以满足新任务需求，然后选择性地重新运行结构化到非结构化的生成流水线。Stage 5 独立审计：所有任务和关联的黄金文档集由未参与任务创建的两名审查员独立审核，验证预期最终数据库状态是否正确、黄金文档集是否完整且最小化、任务是否仅使用黄金文档和已文档化的工具即可成功完成。
技术新颖性
τ-Knowledge 在技术新颖性方面有三个显著特点。第一，「可发现工具」机制是全新的设计，与先前基准中工具接口完全预设不同，它将工具发现与知识检索耦合，使得智能体的能力扩展依赖于其知识获取能力——这直接映射了现实世界中智能体通过文档发现功能的场景。第二，结构化到非结构化的知识库构建流水线，先生成结构化约束系统（每个变量对应可行产品空间中的一个维度），再将其转换为自然语言文档，这种方法既保证了内部一致性（变量间的交互仅在下游任务需要时才引入），又实现了大规模可扩展性（LLM 自动化了大部分创建阶段）。第三，基于流的用户模拟设计，每个任务定义一组条件规则来规定用户基于可观察的智能体动作和/或环境结果的下一步行为，这给予了任务作者对评估关键节点的精细控制权，同时通过引入用户可发现工具（智能体可以将操作委托给模拟用户）实现了指令跟随而不泄露未来状态。
实验结果
实验结果揭示了当前知识增强智能体系统的几个核心发现。首先，τ-Knowledge 具有显著难度：在所有测试的前沿模型和检索配置中，最佳观测结果仅为 25.52% 的 pass^1（GPT-5.2 高推理 + 终端搜索），而 Claude-4.5-Opus 和 Claude-4.5-Sonnet 使用终端搜索分别达到 24.74% 和 22.42% 的 pass^1。随着 $k$ 增加，可靠性急剧下降，最佳 pass^4 仅为 13.40%（GPT-5.2 高推理 + Qwen3-emb-8b）。值得注意的是，即使在「黄金检索」配置中（智能体直接在上下文中获得完成任务所需的所有文档），最高分模型（Claude-4.5-Opus）也仅达到 39.69% 的 pass^1，降至 26.80% 的 pass^4。这一差距表明 τ-Knowledge 不能仅靠检索解决，还需要智能体对动态和丰富的文档信息进行仔细推理。 其次，不同模型和检索配置之间存在系统性的可靠性和效率差异。GPT-5.2（高推理）维持了最强的 pass^4 整体表现（13.4），而 Gemini-3-Flash 等模型尽管 pass^1 分数具有竞争力，但表现出更急剧的下降。Claude 模型在达到与 GPT 模型相当性能的同时，完成任务的时间显著更短（持续时间更短），这源于 Claude 的总 token 生成量更少（0.7M vs 1.2M）以及更少的工具调用（Claude-4.5-Opus 平均每任务 8.7 次 KB 搜索调用，而 GPT-5.2 高推理为 18.5 次）。 第三，终端搜索配置在跨模型平均表现上优于密集和稀疏检索，但这种优势并非均匀分布。GPT-5.2 无推理模式不从终端搜索中获益，早期 GPT 模型（GPT-4o 和 GPT-4.1）也是如此。收益集中在最新的、高推理模型上，表明有效利用自由形式搜索（特别是超越结构化语义检索）的能力仅存在于最新一代推理优化模型中。第四，检索配置显著影响任务解决时间：密集检索平均每任务 9.9-10.1 次搜索，BM25 为 11.4 次，终端搜索中的 grep 为 14.5 次（终端搜索配置跨所有 shell 调用平均每任务 28.8 次调用）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| τ-Banking 客服任务（pass^1） | pass^1 (%) | GPT-5.2 (high) + Terminal: 25.52% | Claude-4.5-Opus (high) + Gold: 39.69% | 最佳非黄金配置 vs 黄金配置差距 14.17 个百分点 |
| τ-Banking 客服任务（pass^4） | pass^4 (%) | GPT-5.2 (high) + Qwen3-emb-8b: 13.40% | Claude-4.5-Opus (high) + Gold: 26.80% | 可靠性随 k 增加急剧下降 |
| 文档召回率 | Doc. Recall (%) | Claude-4.5-Opus + Terminal: 62.38% | GPT-5.2 (high) + text-emb-3-large: 43.42% | Claude 系列模型文档召回率显著高于 GPT |
| 任务效率 | 平均持续时间 (秒) | Claude-4.5-Opus + Terminal: 177.1s | GPT-5.2 (high) + Terminal: 1567.8s | Claude 比 GPT 快约 8.9 倍 |
| 无知识基线 | pass^1 (%) | 所有模型平均: ~2% | 有知识访问: ~19% | 确认任务真正需要检索到的信息 |
| 长上下文基线 | pass^1 (%) | GPT-5.2 (high): 11.86% | 定向检索: 23.45% | 定向检索优于全量上下文，额外文档创造了现实噪声 |
局限与改进
作者承认的局限性包括四个方面。第一，用户模拟被简化，未能捕捉真实人类交互的许多特征，如用户专业水平的差异、口语化或本地化语言、语法不完美或模糊的输入。第二，持续时间和效率指标与当前 API 提供商的服务特性绑定，绝对延迟在替代部署设置中可以优化。第三，智能体在完全智能体搜索体制下进行评估，拥有对知识查询的无限制访问，而许多现实世界系统在一次或少数几次搜索约束下运行。第四，终端使用设置需要更深入的调查，特别是写入工具的角色，因为更审慎的智能体设计可能更好地利用笔记、状态跟踪和知识重组来改善长时域推理。 从独立观察来看，论文还存在以下局限：（1）知识库规模约 700 篇文档（约 195K token）仍然相对较小，现实企业知识库可能包含数万篇文档，这可能低估了大规模知识库中的检索挑战；（2）任务设计虽然复杂但仍局限于金融科技客服领域，不同行业（如医疗、法律）的知识结构和推理需求可能有本质差异；（3）用户模拟器统一使用 GPT-5.2 低推理模式，这可能无法充分测试智能体在面对不同水平用户时的适应能力；（4）论文未探讨多语言场景下的知识检索和推理能力。
独立分析的弱点
基于对论文的独立分析，识别出以下几个需要改进的弱点。首先，智能体在处理金融产品间的复杂相互依赖关系时表现不佳（约 14.5% 的失败源于此），例如在推荐最优储蓄账户时错误地将促销提升置于基础利率之上。改进方向可以引入结构化推理模块，强制智能体在推荐前对所有可行产品进行系统性比较和约束检查，而非仅凭表面信息做决策。其次，智能体经常在用户请求未明确指定时做出无根据的假设（约 23% 的失败源于此），例如用户询问最高推荐奖金但未指定账户类型时，智能体立即假设为信用卡。改进方向可以引入主动澄清机制，当检测到查询模糊时自动触发澄清对话，而非盲目搜索。第三，智能体在需要隐式子任务排序的任务上表现不佳（约 5%），例如未能意识到必须先解决争议才能提交信用额度提升请求。改进方向可以引入任务依赖图推理，显式建模操作之间的前置条件和互斥关系。第四，GPT-5.2 与终端搜索的组合虽然达到最高 pass^1，但其每任务 29.38 次 grep 命令和 1567.8 秒的持续时间表明搜索效率极低。改进方向可以探索分层搜索策略，先用语义检索缩小范围再用终端命令精细探索。
未来方向
作者提出了几个未来研究方向，包括探索更复杂的上下文管理策略（如选择性摘要或检索感知压缩）、深入研究终端使用设置中写入工具的角色（利用笔记、状态跟踪和知识重组来改善长时域推理）、以及在有限搜索约束下的评估。基于本文成果，建议以下延伸方向：第一，将 τ-Knowledge 扩展到更多领域（如医疗、法律、技术支持），测试知识结构差异对智能体表现的影响；第二，引入自适应检索策略，让智能体根据任务类型和检索结果质量动态选择检索方法（密集、稀疏、终端或混合）；第三，探索检索与推理的协同优化，例如在检索阶段引入推理指导的查询重写，或在推理阶段引入检索感知的注意力机制；第四，研究用户建模对智能体策略的影响，测试智能体能否根据用户专业水平调整其沟通风格和检索策略；第五，将评估扩展到多语言场景，测试跨语言知识检索和推理能力。
复现评估
论文在可复现性方面做得相对完善。代码已开源（论文标题下方标注「§ Code」），知识库构建流水线的四个阶段都有详细描述，包括 LLM 提示和人工审核流程。数据集包含 97 个任务，每个任务都有黄金文档集和预期数据库状态，支持单元测试式的验证。评估框架支持多种检索配置（密集检索使用 OpenAI text-embedding-3-large 和 Qwen3-embedding-8B，稀疏检索使用 BM25，终端搜索使用 Unix 命令），并提供了完整的系统提示词。然而，复现存在一定挑战：（1）任务创建涉及人工审核和迭代优化，完全自动化复现有难度；（2）模拟用户使用 GPT-5.2 低推理模式，需要 OpenAI API 访问权限；（3）论文评估了 6 个前沿模型（GPT-5.2、Claude-4.5-Opus、Claude-4.5-Sonnet、Gemini-3-Pro、Gemini-3-Flash），全部需要商业 API，算力成本显著（GPT-5.2 高推理 + 终端搜索每任务约 2.15 美元）；（4）终端搜索配置需要 Anthropic 的 sandbox-runtime 环境。总体而言，对于拥有商业 API 访问权限的研究者，复现难度为中等。
论文图表
该图展示了四类代表性失败案例：（1）金融产品间复杂相互依赖导致错误推荐；（2）因规划不足违反必需的任务排序；（3）过度信任用户声明导致缺少验证；（4）检索驱动决策中的搜索效率低下和无根据假设。
这张图对理解论文至关重要，因为它深入分析了智能体失败的根本原因，为未来改进提供了具体方向。