CAR-bench：评估LLM智能体在真实世界不确定性下的一致性与能力边界感知 CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty
首个系统评估LLM智能体一致性、不确定性和能力边界感知的车载助手基准测试
前置知识
LLM Agent
基于大语言模型的智能体，能够通过多轮对话与用户交互，并自主调用外部工具来完成复杂任务。与简单的问答系统不同，LLM Agent需要维护对话状态、理解用户意图、规划执行步骤、处理错误和异常情况。在本文中，Agent需要在汽车助手场景下处理导航、充电、车辆控制等多个领域的任务。
CAR-bench的核心评估对象就是LLM Agent在真实复杂场景下的表现
Pass^k 与 Pass@k 指标
Pass^k（一致性）衡量智能体在k次独立运行中全部成功的任务比例，反映可靠性和可重复性；Pass@k（潜力）衡量智能体在k次中至少成功一次的任务比例，反映最佳性能上限。例如，GPT-5在Disambiguation任务上Pass@3=68%但Pass^3=36%，说明它有时能成功但不够稳定。两者的差距越大，说明模型一致性越差。
这两个指标是本文的核心评估方法，直接衡量模型的可靠性
Hallucination任务
CAR-bench创新设计的任务类型，通过移除必需的工具、工具参数或工具结果，使用户请求变得不可满足。成功标准是智能体能够明确承认缺失的能力或信息，而不是编造虚假信息。例如，如果移除了get_routes工具，智能体应该告诉用户我无法查询路线，而不是假装查询成功。
测试智能体是否能诚实地承认自己的局限性，而非编造信息
Disambiguation任务
另一种创新任务类型，通过引入可控的歧义来测试智能体的元推理能力。智能体需要检测歧义的存在，并选择最有效的行动来解决歧义，可以通过向用户询问澄清，或者利用内部信息来消解。例如，用户说把温度调高一些，智能体需要询问具体调到多少度。
测试智能体处理不完整或模糊请求的能力，这对实际部署至关重要
完成-合规困境
本文发现的一个关键行为模式：LLM智能体系统性地优先完成用户请求，而非遵循系统指令和策略。这导致智能体在信息不完整时就执行操作，或者在缺少能力时编造信息。例如，用户要求更改目的地，策略要求必须先展示多个路线选项供选择，但智能体直接选择了最快路线跳过了这一步。
揭示了当前LLM训练范式的一个根本性问题
研究动机
现有LLM代理基准测试在理想化设置下评估任务完成情况，但忽略了真实世界应用中的可靠性问题。工具使用基准如BFCLv3和ToolSandbox只考虑了工具缺失的情况，但忽略了更细微的限制如参数缺失或输出不完整。多轮对话基准如TravelPlanner和ToolLLM评估单轮交互或预先收集的理想化交互历史。t-bench虽然引入了动态交互和策略遵循，但仍面临两个未解决的关键部署挑战：第一，许多用户请求是不可满足的，如所需工具缺失、工具参数粒度不足、环境查询返回不完整数据，现有模型倾向于编造合理但错误的信息而非承认不确定性；第二，智能体面临来自用户请求不完整或观察不完整导致的歧义，需要元推理来决定哪些行动或澄清能最大化信息增益。
本文的目标是本文旨在提出CAR-bench，一个系统评估LLM智能体在多轮对话、工具使用、策略约束场景下的一致性、不确定性和能力边界感知的基准测试。具体目标包括：提供一个包含58个互连工具和19个领域策略的综合评估框架；引入Hallucination和Disambiguation两种新任务类型，系统评估能力边界感知和不确定性解决；提供跨任务类型的错误分类体系和推理与非推理模型的比较分析。
与已有工作不同的是，本文的独特切入角度是从可靠性而非能力出发评估LLM智能体。传统基准只问智能体能否完成任务，CAR-bench进一步问智能体能否一致地完成任务和智能体能否诚实地承认自己无法完成任务。这通过两个创新实现：引入Pass^k指标衡量一致性，以及设计不可满足任务测试能力边界感知。汽车领域作为测试平台特别有价值，因为语音交互的模糊性、车辆API的安全关键约束、驾驶员注意力限制使得幻觉避免和正确消歧成为安全关键。
核心方法
CAR-bench建立了一个动态的汽车领域基准，模拟车载助手环境。整体思路是让一个LLM模拟的用户根据任务指令与一个受领域策略约束的LLM代理进行多轮交互，代理通过调用工具来观察或修改环境状态，直到产生一个知情的响应。该环境包含58个互连工具跨越导航、生产力、充电、车辆控制、天气、跨域6个领域，31个可变状态变量，12个上下文变量，以及包含48个城市、13万个兴趣点、170万条路线的数据库。评估不仅检查最终结果是否正确，还检查中间状态、工具调用、策略遵循等多个维度。
CAR-bench的核心创新在于引入两种新的任务类型来评估传统基准忽略的能力维度。Hallucination任务通过移除必需组件使请求不可满足，测试智能体是否能诚实承认局限性而非编造信息。Disambiguation任务通过引入可控歧义测试智能体的元推理能力，能否检测歧义并选择最有效的解决方式。另一个关键创新是Pass^k指标，它衡量一致性而非只是能力上限，这对安全关键应用尤为重要。
方法步骤详情
方法分为环境构建、任务构建、评估三个阶段。环境构建阶段，手动设计工具、状态和上下文变量，数据库主要通过代码生成确保结构一致性，表面属性通过LLM生成增强真实感。任务构建阶段，首先定义API图包括工具间的参数链接、状态访问和状态变更，从中采样多步轨迹，然后独立生成初始状态和上下文配置，再由LLM创建自然的用户指令，最后手动验证和编辑确保措辞明确、指令完整、动作正确。评估阶段，每个任务运行k=3次，对Base任务使用6个二进制指标包括最终状态、中间状态、工具子集、执行错误、策略错误、用户结束对话，对Hallucination任务只检查执行错误、策略错误和是否承认局限性，对Disambiguation任务包含所有Base指标加上消歧错误检查。最终通过Pass^k和Pass@k聚合。
技术新颖性
CAR-bench的技术新颖性体现在多个层面。首先它首次系统评估了能力边界感知即智能体是否能诚实地承认自己无法完成任务而非编造信息，这是对传统任务完成率评估范式的重要补充。其次它首次在多轮工具使用场景中评估一致性，Pass^k指标比Pass@k更能反映实际部署的可靠性。第三环境设计具有高保真度和可扩展性，19条领域策略涵盖真实的安全约束如天窗只能在遮阳板完全打开时才能打开，48个真实欧洲城市提供地理真实性，跨域工具支持复杂的多步骤工作流。
实验结果
实验评估了11个LLM包括GPT-5、Claude-Opus-4.5、Gemini-2.5-Pro等前沿模型，得出三个关键发现。F1一致性差距普遍存在：所有模型在Pass@3和Pass^3之间存在显著差距，Disambiguation任务上差距最大，GPT-5从68% Pass@3降到36% Pass^3。F2推理模型表现更优：启用思考的模型在所有任务类型上都表现更好，Claude-Opus-4.5在Base任务77% Pass@1和Disambiguation任务56% Pass@1上最高，GPT-5在Hallucination任务上最高74% Pass@1。F3任务类型难度递增：Base任务最高32%的任务所有模型都能解决，Hallucination任务更难尤其暴露非推理模型的弱点，Disambiguation任务最难没有模型超过50% Pass^3。错误分析揭示了系统性的完成-合规困境：模型优先满足用户请求而非遵循策略，导致过早行动、随机策略违反和能力缺失时的编造。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Base任务 | Pass^3 | GPT-5: 0.66 | GPT-4.1: 0.57 | 推理模型比非推理模型高约16% |
| Hallucination任务 | Pass^3 | Claude-Opus-4.5: 0.52 | GPT-4.1: 0.31 | 推理模型比非推理模型高约68% |
| Disambiguation任务 | Pass^3 | GPT-5: 0.36 | GPT-4.1: 0.22 | 推理模型比非推理模型高约64% |
| Base任务 | Pass@1 | Claude-Opus-4.5: 0.77 | GPT-4.1: 0.64 | 推理模型潜力上限高约20% |
| Hallucination任务 | Pass@1 | GPT-5: 0.74 | GPT-4.1: 0.39 | 推理模型潜力上限高约90% |
局限与改进
论文承认的局限性包括：依赖LLM模拟的用户继承模型特定错误如幻觉和不一致的意图揭示，可能引入噪声；环境虽包含丰富工具和策略但无法完全捕获真实世界多样性如多用户交互、长期规划、多模态线索；将策略合规和安全检查分配给智能体本身而生产系统通常有冗余的规则安全层；数据集由手动验证的数据点组成规模不足以支持大规模微调。用户模拟错误分析显示Base任务中用户错误导致2.4%的失败其中6%是唯一错误源，Hallucination任务中6.1%其中8%唯一，Disambiguation任务中2.8%其中8%唯一。
独立分析的弱点
尽管CAR-bench是一个高质量基准但仍存在几个可改进的弱点。首先Disambiguation任务的评估可能过于严格，内部消歧策略在某些情况下可能不实际导致智能体因正确行为向用户询问而被扣分，建议调整评估逻辑区分不必要的询问和合理的确认。其次Pass^k指标在k=3时可能过于惩罚不稳定的策略遵循，智能体有时遵循策略有时不遵循可能是温度设置或采样随机性导致的而非能力缺陷，建议在温度等于0的严格设置下单独报告一致性结果。第三错误分类E1-E5缺乏自动化检测依赖人工分析限制了可扩展性，建议开发基于规则和LLM的自动错误分类器。
未来方向
论文提出的未来研究方向包括：探索高级架构如将信息收集与执行分离防止在完成效率压力下跳过上下文；使用合成数据增强方法扩展数据集支持大规模微调；评估开源和更小的模型CAR-bench的结构化评估框架特别适合监督微调和偏好优化以及动态环境中的强化学习；领域专门化训练可能在受限操作范围内超越前沿LLM为资源受限的汽车系统部署高效的领域适应智能体开辟机会。基于本文成果可延伸的方向包括将评估扩展到多模态场景如车内场景理解和GUI交互，引入多用户交互和长期规划任务，探索不同领域的政策约束如医疗和金融。
复现评估
CAR-bench的复现性较好代码已在GitHub开源基于t-bench的MIT许可证构建。数据集包含240个手动验证的任务包括100个Base、90个Hallucination、50个Disambiguation，环境数据库通过代码生成确保结构一致性。复现所需算力中等单次完整运行100个Base任务用户模拟器约0.08美元GPT-5代理约11美元。主要挑战在于手动验证数据点的扩展成本高且需要领域专业知识，部分模型的推理预算控制如Qwen3无推理预算控制和温度设置可能影响结果一致性，LLM API的版本更新可能影响结果的可重复性论文已列出所有模型的具体版本和日期。
论文图表