CCTU：复杂约束条件下工具使用的评估基准 CCTU: A Benchmark for Tool Use under Complex Constraints
首个系统评估LLM在复杂约束下工具使用能力的基准测试
前置知识
函数调用
大语言模型通过生成结构化输出（如JSON）来调用外部工具或API的过程。模型需要理解工具的功能描述、参数要求，并根据任务需求选择合适的工具进行调用，这是实现智能体的核心技术之一。
本文的核心就是评估模型在复杂约束条件下进行函数调用的能力，理解函数调用是理解本文评估目标的基础。
指令遵循
模型严格遵守用户指令要求的能力，包括格式约束、长度限制、内容要求等。这需要模型在理解任务的同时，能够将指令的约束条件内化到生成过程中，确保输出符合预期规范。
本文评估的约束条件本质上都是不同维度的指令遵循要求，包括资源约束、行为约束、工具集约束和响应约束。
自我修正
模型在收到错误反馈后能够识别自身错误并调整输出策略的能力。这通常需要模型理解反馈信息、分析错误原因、重新规划行动，并生成符合要求的新响应。
本文特别关注模型在违反约束后的自我修正能力，这是实际部署中保持系统稳定性的关键能力。
研究动机
现有研究存在明显的评估缺陷：工具使用评估主要关注任务最终是否完成（如BFCL、FTRL等基准），缺乏对中间过程的系统控制；指令遵循评估主要针对静态文本约束（如IFEval、IFBench），无法捕捉多轮动态交互中的约束违反情况；虽然已有工作探索自我修正策略，但这些研究大多独立评估，无法反映模型在真实场景中整合这些能力时的表现。在实际部署中，LLM必须同时满足延迟限制（如延迟不超过5秒）、工具访问频率限制（如单工具每分钟最多调用10次）、响应格式规范（如必须返回JSON格式）等多种约束，但现有基准无法系统评估这种综合能力。
本文的目标是本文的目标是构建一个系统评估LLM在复杂约束条件下工具使用能力的基准测试CCTU，该基准需要满足三个核心要求：覆盖多样化的约束类型和工具使用场景、提供精确的步骤级评估机制、能够量化模型的指令遵循和自我修正能力。具体而言，CCTU基于四维度12类约束的分类法构建200个精心设计的测试用例，每个用例平均包含7种约束类型、平均长度超过4700个token，并开发了可执行的约束验证模块在多轮交互中进行步骤级合规检查，从而全面评估模型函数调用、指令遵循和自我修正的综合能力。
与已有工作不同的是，本文的独特切入点在于将约束验证从静态指令检查扩展到多轮动态交互场景。与现有工作的本质区别在于：CCTU不是评估模型最终能否完成任务，而是评估模型能否在遵守所有约束的前提下完成任务；不是在单次生成后检查输出，而是在每个交互步骤后实时验证合规性并提供详细反馈；不是孤立地评估函数调用或指令遵循能力，而是构建一个要求模型同时规划工具调用轨迹、遵守约束规范、并根据反馈自我修正的集成评估框架。这种设计能够捕捉现有基准无法评估的关键能力：模型能否在违反约束后基于反馈进行有效修正？不同类型的约束对模型性能的影响有何差异？思维模式是否会改变模型的约束遵循行为？
核心方法
CCTU的整体思路是先构建一个系统的约束分类框架，然后基于现有工具使用数据集（FTRL）自动注入多样化的约束条件，最后通过可执行的验证模块实现步骤级评估。从直觉上看，CCTU模拟了一个智能体实际部署的场景：用户给出带有复杂约束的任务指令，模型需要规划行动序列、选择和调用工具、遵守各种限制规范，并在收到违反约束的反馈后进行修正。技术路线上，CCTU包含四个核心组件：约束分类法定义了评估维度，数据构建流程负责生成高质量测试用例，约束验证模块实现步骤级合规检查，评估指标量化模型的整体性能。这种设计确保了评估的系统性、精确性和可扩展性。
核心创新点是设计了可执行的约束验证模块，它在模型和环境的每次交互后执行代码级别的合规检查。与现有工作依赖LLM-as-a-judge进行事后评估不同，CCTU为每个约束预生成可执行的验证代码，该代码通过分析累积的交互历史来判断模型当前输出是否满足约束条件。如果检测到违反，模块会返回详细的反馈信息描述违反原因，并将反馈作为工具或用户消息注入到交互中，保持模型的原始推理配置。这种设计的本质区别在于实现了精确的步骤级评估：每个交互步骤都有明确的合规性判定，违反约束会立即收到精确反馈而不是模糊的判断结果，评估过程可重复且不依赖外部LLM的判断质量。这使得CCTU能够准确追踪模型在多轮交互中的约束遵循轨迹，并量化其自我修正能力。
方法步骤详情
数据构建流程包含四个步骤。第一步是提示源选择，采用FTRL作为初始数据集，它包含200个实例，覆盖四种查询结构关系（单跳、并行单跳、多跳、并行多跳），每个实例平均涉及9.26个可本地执行的工具且具有明确的子查询-工具-答案对应关系。第二步是约束整合，采用自动化流程对现有实例进行重写：首先使用Qwen3-32B采样正确的参考轨迹，然后对每种约束类型（除工具集维度）以50%的概率注入约束，确保约束与参考轨迹一致且符合场景结构（如单跳场景不添加顺序依赖），接着使用LLM过滤检查约束一致性和可行性，最后使用LLM生成场景级任务上下文与约束规范整合成完整用例。第三步是约束验证，使用LLM为每个约束预生成可执行验证代码，代码通过分析累积交互日志判断模型当前响应是否满足约束。第四步是质量控制，每个数据实例及其验证代码都经过两名计算机科学研究生独立验证，只有两人连续确认无问题才通过验证。
技术新颖性
CCTU的技术新颖性体现在三个层面。约束分类法的系统性：首次提出了四维度12类约束的完整分类框架，覆盖资源（交互轮次、工具调用次数、特定工具调用次数）、行为（顺序依赖、并行依赖、并行调用次数）、工具集（可用工具和参数、必填参数、参数类型）、响应（长度、格式、内容）四个维度，为约束工具使用研究提供了结构化基础。评估机制的精确性：首次实现了步骤级代码验证，每步交互都有明确的合规判定和精确反馈，克服了LLM-as-a-judge方法的不确定性和不可重复性问题。能力评估的综合性：首次同时评估函数调用、指令遵循、自我修正三种能力，通过SR（允许软满足的解决率）和PSR（完美解决率）两个指标区分不同策略（如GPT-5.2倾向于严格遵循约束但自我修正弱，Claude Opus 4.6倾向于自我修正但约束违反多），这种细粒度分析是现有基准无法提供的。
实验结果
实验对9个最先进LLM（Claude Opus 4.6、DeepSeek-V3.2、Gemini 3 Pro、GPT-5.1、GPT-5.2、Kimi K2.5、OpenAI o3、Qwen3.5-Plus、Seed-2.0-Pro）在思维和非思维模式下进行了三轮独立评估。核心发现包括：CCTU对所有模型都构成重大挑战，整体PSR均低于20%，大多数模型低于15%，表明当前LLM在约束条件下工具使用能力严重不足。任务复杂度显著影响性能，如GPT-5.2在并行多跳任务的PSR比单跳任务低14.67%。思维模式对性能影响不一致，大多数模型在思维模式下表现更好（如Seed-2.0-Pro的PSR提高4.83%），但Claude Opus 4.6和Kimi K2.5反而表现更差，原因是模型在思维模式下出现过度思考现象，会重写原本正确的参数值并在修正过程中引入新错误。高SR不一定对应高PSR，如Claude Opus 4.6的SR最高但PSR不是最高，GPT-5.2的PSR最高但SR不是最高，分析表明GPT-5.2采用严格遵循约束的策略但自我修正弱，Claude Opus 4.6采用多约束违反但强自我修正的策略。约束违反分析显示所有模型在超过50%的实例中违反约束，DeepSeek-V3.2高达86.83%，资源维度和响应维度的违反率最高，工具调用次数约束和响应内容约束是主要错误来源。思维模式会改变错误模式分布但不一致改善整体性能，如GPT-5.1在特定工具调用次数约束上违反率降低但在整体工具调用次数约束上违反率反而提高。自我修正分析显示即使有详细反馈，模型在某些约束下自我修正能力仍有限，Claude Opus 4.6整体修正率最高达65.36%但其他模型均低于60%，OpenAI o3仅18.57%。思维模式对不同模型的自我修正能力影响不一致，Claude Opus 4.6、DeepSeek-V3.2、GPT-5.2、Qwen3.5-Plus在思维模式下修正率更高，但其他模型无改善甚至更差，原因是某些模型在扩展推理中会坚持错误路径。DeepSeek-V3.2虽然修正率达52.77%但整体性能仍低，表明有效自我修正需要强函数调用能力作为基础。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 约束工具使用（单跳场景，思维模式） | PSR（完美解决率） | GPT-5.2: 20.67% | Kimi K2.5: 4.67% | GPT-5.2比Kimi K2.5高16个百分点 |
| 约束工具使用（整体，思维模式） | PSR（完美解决率） | GPT-5.2: 18.17% | Kimi K2.5: 7.67% | GPT-5.2比Kimi K2.5高10.5个百分点 |
| 约束工具使用（整体，非思维模式） | PSR（完美解决率） | Claude Opus 4.6: 15.50% | DeepSeek-V3.2: 6.50% | Claude Opus 4.6比DeepSeek-V3.2高9个百分点 |
| 约束工具使用（整体，思维模式） | SR（解决率，允许软满足） | Claude Opus 4.6: 34.17% | Kimi K2.5: 21.33% | Claude Opus 4.6比Kimi K2.5高12.84个百分点 |
局限与改进
作者承认的局限性包括：CCTU基于FTRL数据集构建，虽然覆盖28个领域但可能无法代表所有工具使用场景；约束验证代码由LLM预生成，虽然经过人工验证但仍可能存在边界情况未覆盖；评估仅考虑约束遵循和自我修正能力，未评估模型在无约束场景下的工具选择和规划能力；测试用例平均长度4754 token，超长上下文可能影响某些模型性能；思维模式和非思维模式仅使用默认超参数，未探索不同推理设置对性能的影响。此外，本文未分析不同约束组合之间的交互效应，也未探索约束强度（如调用次数限制从5次变为10次）对模型性能的敏感度。
独立分析的弱点
CCTU在以下方面存在独立分析的弱点。约束注入依赖LLM生成可能引入偏差：自动化流程使用LLM注入约束和生成验证代码，虽然经过双重人工验证但仍可能受到LLM生成模式的影响，某些约束组合可能被系统性地过度或不足采样，改进方向可以探索人类标注的约束分布或基于真实应用场景的约束挖掘。工具执行环境过于理想化：FTRL工具均为本地可执行且响应确定性，这与现实中的API延迟、网络不稳定、服务限流等复杂情况不符，改进方向可以引入工具失败重试、超时处理、部分失败等真实场景。自我修正反馈机制单一：约束验证模块仅返回违反约束的反馈，缺少成功遵循的正向强化，改进方向可以探索混合反馈机制（正向加负向）或基于人类反馈的对话式引导。评估指标未区分约束重要性：所有约束违反同等对待，但实际应用中某些约束（如安全相关）比其他约束更重要，改进方向可以引入约束权重或分级惩罚机制。
未来方向
作者提出的未来研究方向包括：扩展CCTU到更多约束类型和更复杂的约束组合，探索不同约束强度对模型性能的影响；开发更好的思维机制以同时降低所有维度的约束违反率，而不仅仅是转移错误分布；研究如何提高模型的自我修正能力，特别是基于违反约束反馈的修正能力。基于本文成果可以延伸的方向包括：将CCTU用于训练数据构建，通过在约束违反反馈上进行强化学习提升模型的约束遵循能力；探索约束感知的工具规划算法，在规划阶段就考虑约束条件而非事后验证；研究多智能体协作场景下的约束工具使用，多个智能体之间如何协调以满足共享约束；分析模型在不同训练策略（如监督学习、RLHF、RLAIF）下的约束遵循能力差异，为模型训练提供指导。
复现评估
CCTU的复现性良好，作者已公开数据集和代码。数据集包含200个测试用例、完整的约束标注和预生成的验证代码，可在HuggingFace获取（https://huggingface.co/datasets/Junjie-Ye/CCTU）。代码库包含数据构建流程、约束验证模块、评估脚本和实验结果，可在GitHub获取（https://github.com/Junjie-Ye/CCTU）。实验使用9个模型的官方API接口，所有超参数保持默认值，进行三轮独立运行报告均值和标准差。算力需求主要来自模型推理费用，具体成本取决于模型选择，但由于测试用例数量有限（200个）且实验可并行，总体算力需求可控。复现难度中等，主要挑战是获取各模型的API访问权限和支付推理费用，但数据集和代码的完整性确保了技术复现的可行性。
论文图表
