BizBench：揭示长程智能体在真实业务部署中的隐性挑战基准 BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
基于真实支付业务的可执行基准，用确定性检查同时评估任务完成与全程执行合规。
前置知识
长程智能体（Long-horizon Agent）
能够跨越数十轮对话与上百次工具调用、持续追踪业务状态并完成多步任务的 LLM 智能体。它需要把信息检索、规划与行动交织进行：先查文档和记录确定适用规则与客户现状，再通过工具改变业务状态，而后续决策还受此前行动后果（资金占用、已做承诺）的约束。
BizBench 的 50 个任务平均需要约 111.8 步参考执行才能完成，评估对象正是这类智能体在长时程中保持合规执行的能力，不理解长程性就无法理解任务设计动机。
执行轨迹（Execution Trajectory）
智能体一次运行的完整记录，形式化为 $\tau=(s_0,e_1,s_1,\ldots,e_T,s_T)$，其中 $e_t$ 是一次工具执行或环境事件，$s_t$ 是相应业务状态。它不仅包含最终状态，还包含每一步是否获批、储备金是否被动用等历史事实。
本文核心公式 $\text{Success}_i(\tau)=G_i(\tau)\wedge P_i(\tau)\wedge F_i(\tau)$ 就是在轨迹上做检查——中途违规即使最终补救也会被判失败，这是全文评估哲学的基础。
Golden Trace（黄金参考轨迹）
基准构造者按标准作业程序（SOP）编写的可执行参考解：真实调用工具与客户侧操作跑通整个任务，记录动作与后果，并从初始状态回放以验证共享资源、状态前置与时序约束的相互作用。每个任务必须有至少一条通过的轨迹，证明任务可行；其调用次数 $R_i$ 还被用作预算实验的锚点。
没有它无法排除『任务本身不可解』的干扰；Table 3 的调用预算实验 $1.2R_i/1.5R_i/2R_i$ 以及 1.71 倍执行开销的结论全部以它为基准。
确定性评估器 vs LLM 裁判
确定性评估器用可执行代码对业务状态、账本、回执与事件历史做布尔判定，同一输入永远得到同一结果；LLM 裁判则让另一个大模型阅读轨迹打分，存在主观性与不可复现性。BizBench 的主分数完全由确定性检查计算，并区分『已执行的动作』与『提议、审批、无副作用的被拒调用』。
这是本文结论可信的方法论支柱：所有成功率都来自确定性检查，且评估器本身经过了合法替代解、定向违规与条件变化的三重验证。
用户模拟器（User Simulator）
由 LLM 扮演的客户：按预置场景持有私密事实与偏好，开场提出请求，被问到时才披露信息，并执行客户侧操作（提交文件、审批交易）。审批绑定具体请求及其当前条款，条款变更需重新批准；一次只做一个写入或等待，报告结果后交还控制权。BizBench 默认用 DeepSeek-V4.1-Flash 扮演客户。
任务是多轮对话式的，能否问出关键约束并拿到逐笔审批直接影响成败；信息消融实验（全量披露带来 +26.7 个百分点）与模拟器稳健性实验都围绕它展开。
pass$^k$ 可靠性指标
对每个任务独立运行 $k$ 次，在所有 $k$ 次运行的子集组合中，统计『被选中的每一次运行都成功』的任务比例。它比单次平均成功率更严格地度量稳定性，$k$ 越大对跨次一致性要求越高。
论文用它揭示前沿模型并不稳定：GPT-6 Sol 的 pass$^3$ 只有 40.0%，远低于其 61.3% 的单次严格成功率，这直接关系真实部署的可靠性承诺。
研究动机
真实业务运营对智能体的要求远不止『把事办成』。以支付场景为例：一笔未获授权的付款即使事后把钱退回，也仍然是合规违规；账户里有 $60 且全程必须保持至少 $20，若直接支付 $60 定金，余额瞬间归零即构成违规，后续退款与调整只能恢复期末余额、无法修复中途的违约。然而现有长程智能体基准——从 WebShop、WebArena 这类网络任务，到 SWE-bench、Terminal-Bench 这类以最终状态判定成败的技术任务，再到 τ-bench 系列的业务交互——大多以最终任务成功为核心指标，无法捕捉中间步骤对关键约束的违反，也发现不了业务规则的错误套用。更麻烦的是，真实企业的规则散落在政策手册、FAQ、运营通知等异构来源中，由不同团队在不同时间维护，过期指导与现行政策并存，表面冲突的规则可能只是在适用范围（司法辖区、产品线、生效期）上不同。作者指出，这造成了基准表现与可靠部署所需保障之间的重要鸿沟。
本文的目标是本文的目标是构建一个能量化『结果达成 + 过程合规』的多轮智能体基准 BizBench。任务源自某全球领先支付与金融科技公司（蚂蚁国际）的真实工作流，经脱敏重构后得到 50 个长程任务；可执行环境包含 789 份知识文档（共 598,827 tokens）和 601 个可发现的业务能力（通过 9 个常驻工具发现并调用），另有 10 个用户模拟器工具。任务混合工具调用与多轮客户对话：智能体要向用户模拟器索取私密信息、获取逐笔审批，还要在当前与历史规则（带明确适用范围、版本与生效期）中判断哪条规则管辖当前请求。评估上用确定性、可执行的检查同时衡量目标达成 $G$、过程要求 $P$ 与保护要求 $F$，三个条件须同时满足；每个任务都有通过回放验证的参考执行（Golden trace）保证可行，且接受不同的合法解题路径。
与已有工作不同的是，本文的独特切入在于把『执行有效性』当作与『结果』平级的一等评估对象，并在『后果性步骤』上做检查而非匹配单一路径。具体有三点不同。第一，不规定解法：允许探索与不同合法策略，但在转账是否先获批、储备金是否全程达标等关键节点上做确定性判定；评估器读取业务状态、账本、回执和事件历史，并区分已执行动作与提议、审批、无副作用的被拒调用。第二，任务由『后果依赖』连接：工作流共享资金、审批额度与时限，一个工作流中被允许的操作可能耗尽另一项义务所需的资源，且信息延迟到达、等待可能让执行窗口关闭，这与既有基准里独立子任务的假设根本不同。第三，评估器本身被系统性验证：用参考回放证明目标与约束可同时满足，用替代合法执行与定向违规测试评估器『该接受的接受、该拒绝的拒绝』，并通过改变事实条件复检判定逻辑——这在既有基准中很少做到。
核心方法
直觉上，这是把企业的标准作业程序（SOP）翻译成『可执行的环境 + 可验证的任务』。每个任务给出客户目标、初始业务状态、客户场景和验收标准；智能体在与用户模拟器的多轮交互中，通过文档查询规则、通过记录查询状态、通过工具执行操作。判定公式为 $\text{Success}_i(\tau)=G_i(\tau)\wedge P_i(\tau)\wedge F_i(\tau)$，其中 $\tau=(s_0,e_1,s_1,\ldots,e_T,s_T)$ 是执行历史，$G$ 检查请求的结果与允许的终止条件，$P$ 检查过程要求（审批先于执行、储备金持续达标等），$F$ 检查保护对象与禁止的副作用。技术路线分五步：（1）用 Algorithm 1 把业务文档整理成结构化 SOP，保留适用条件与来源证据、重写敏感内容；（2）构建文档—记录—工具三方对齐的可执行环境；（3）配置 LLM 用户模拟器负责披露信息与客户侧操作；（4）构造并回放 Golden trace 确保任务可行；（5）用替代路径、定向违规、条件变化与专家评审验证任务与检查逻辑。主分数完全由确定性检查计算，不使用 LLM 裁判。
核心创新是把业务要求变成对『结果 + 执行历史』的双重可测条件。与 AutomationBench 这类只看最终应用状态、τ-bench 系列聚焦策略治理交互的工作不同，BizBench 的验收标准天然分三类——$G$（客户要的结果）、$P$（执行过程要求）、$F$（保护对象与禁副作用）——且每一类都锚定到具体业务规则与证据（记录、账本、回执、事件历史）。授权规则被精确建模：通用同意不能替代对具体操作的批准，审批必须覆盖实际执行条款、来自有权审批人、且先于执行；持续约束（最低储备、持续担保覆盖）在每个相关状态变化处逐一检查。由于评估器比对的是业务状态与执行历史而非调用序列，幂等重试等操作变体不影响评分，不同的合法路线都能通过。任务层面则用『后果依赖』——共享的 $60 储备、审批额度、10 分钟机构审查窗口、先前承诺——把多个工作流耦合成真正长程的问题：早先的行动约束后续决策，等待和行动都有代价。
方法步骤详情
第一步（SOP 提取，Algorithm 1）：输入业务文档 $\mathcal{D}$，抽取候选工作流并保留来源证据链接，归组为分层工作流计划后生成 SOP，明确步骤、决策与返回路径；对照证据评审、剔除含义或适用性存疑的内容，附上适用条件，再一致地重写敏感细节。第二步（可执行环境）：文档规定业务规则与工具接口，合成记录实例化实体、账户、义务、授权与交易历史，工具与计划事件实现状态变化；对每个操作对齐『文档条件—记录—实现效果』，并纳入带范围、版本、生效期的现行与历史规则。第三步（用户模拟器）：按任务场景配置 LLM 客户，开场提出请求，其余信息被问到时才披露；客户侧操作一次只做一个写入或等待，报告结果后交还控制权；审批绑定具体请求及当前条款，条款变更需重新批准。第四步（Golden trace）：从 SOP 与任务条件构造参考策略并真实执行，再从初始状态回放完整任务，检查共享资源、状态前置与时序约束的相互作用，50 个任务全部有通过轨迹（平均 111.8 次助手调用）。第五步（验证与评审）：测试合法替代路线与定向违规（如临时跌破储备必须判 $P$ 失败）、改变决定操作有效性的事实并复检判定，最后由 5 名研究者与业务专家对照请求、文档、记录与轨迹审查修正。
技术新颖性
技术新颖性有四点。其一，评估对象从『最终状态』扩展到『带约束的执行历史』：公式 $\text{Success}=G\wedge P\wedge F$ 让结果导向的评测暴露出被掩盖的无效执行——实验显示 GPT-6 Sol 的 $G$ 达 64.7% 而 strict 只有 61.3%，这一差异只有历史检查才能发现。其二，规则适用性成为任务本体：789 份文档中并存过期与现行指导，必须依据范围、版本、生效期判断权威来源，这把 TimelyRAG 一类时敏检索研究拉进了交互式执行场景。其三，评估器是确定性可执行代码而非 LLM 裁判，保证可复现，且通过合法替代解、定向违规、事实条件变化三重测试系统性验证了评估器本身，这在基准方法论上是扎实的贡献。其四，环境保真度来自真实支付业务：601 个可发现工具、计划事件（如 t=8 到 t=18 的机构审查、t=19 截止期）造成『等待也付代价』的决策结构，加上工作流间共享 $60 储备等资源耦合，是纯合成基准难以复刻的。
实验结果
Table 1：Claude Opus 5 严格成功率最高 64.0%（$G$ 64.0、$P$ 96.0、$F$ 98.0，中间失败仅 4.0%）；GPT-6 Sol 的 $G$ 更高（64.7%）但 strict 仅 61.3%，直观证明只看结果会高估。开源最佳 GLM-5.3-Flash 与 DS-V4.1-Flash 各 43.3%；Qwen3.8-27B 的 $G$ 达 42.0% 而 strict 仅 32.7%；Qwen3.5-9B 的 150 次运行无一达成全部目标。全部模型都有中间失败（4.0%–83.3%），且 $P$ 通过率（18.7%–96.0%）全面低于 $F$（87.3%–100%）。可靠性：pass$^3$ 下 GPT-6 Sol 40.0%、DS-V4.1-Flash 26.0%、GLM 22.0%、Qwen3.8-27B 10.0%，其余三模型为 0%。信息消融：DS-V4.1-Flash 由 43.3% 升至 Gold-doc 50.0%、全量客户披露 70.0%，问出并记住客户条款比找文档更难，且信息全给仍有 30% 未解。预算：调用上限 $1.2R_i$ 时 0.7%、$2R_i$ 时 26.7%、无上限 43.3%。轨迹：DS-V4.1-Flash 平均 191.3 次调用（参考 111.8 的 1.71 倍），超额集中在信息获取（数据库查询 111.1 vs 59.2、文档/知识搜索 43.3 vs 11.5），业务调用反而相近（26.9 vs 28.7）；GLM 用 118.3 次即打平 43.3%，Qwen3.5-9B 每跑 101.6 次工具错误（71% 查非公开资源）。中间违规：DS-V4.1-Flash 有 5/150 达标却失败（4 次击穿储备底线、1 次未批先执行），Qwen3.8-27B 有 14/150；Golden 只读 5.4 份文档 vs 模型 20.1 份。模拟器稳健：更换模型最大偏差 3.3 pp（30.7%–36.0%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 50 个长程业务任务端到端求解 | 严格成功率 Strict $=G\wedge P\wedge F$ (%) | 最佳 Claude Opus 5 达 64.0% | 最强开源 Qwen3.8-27B 32.7%（闭源 GPT-6 Sol 61.3%） | 闭源最佳领先开源最佳 31.3 个百分点 |
| 过程合规 vs 结果达成的差距 | Goal 通过率与 Strict 之差 (%) | Qwen3.8-27B：$G$ 42.0% → Strict 32.7%；GPT-6 Sol：$G$ 64.7% → 61.3% | 仅以最终目标达成为指标的评估 | 结果导向评估会高估 3.4–9.3 个百分点的有效执行 |
| 跨次运行可靠性（每任务 3 次运行的模型） | pass$^3$ (%) | GPT-6 Sol 40.0% | DS-V4.1-Flash 26.0%、GLM-5.3-Flash 22.0%、Qwen3.8-27B 10.0% | +14.0 pp；DS-V4-Flash 与两个 Qwen3.5 模型为 0% |
| 客户信息全量披露消融（DS-V4.1-Flash） | strict 成功率 (%) | 70.0% | 默认条件 43.3% | +26.7 pp，且仍有 30% 任务未解 |
| Gold-doc 文档检索消融（DS-V4.1-Flash） | strict 成功率 (%) | 50.0% | 默认条件 43.3% | +6.7 pp，远小于客户披露的收益 |
| 工具调用预算上限实验（DS-V4.1-Flash，150 次运行） | strict 成功率 (%)，上限为 $\lceil \alpha R_i \rceil$ | $2.0R_i$ 时 26.7%（40/150） | 无上限 43.3%（65/150） | 收紧到 $1.2R_i$ 时仅 0.7%，量化信息搜索开销 |
| 执行开销（信息获取效率） | 平均助手工具调用次数 | DS-V4.1-Flash 191.3 次（1.71 倍参考） | Golden trace 111.8 次 | 约 +70% 开销，集中在数据库查询与文档阅读 |
| 用户模拟器更换稳健性（agent 固定为 Qwen3.8-27B） | 平均 strict 成功率 (%) | 四种模拟器下 30.7%–36.0% | 默认 DeepSeek-V4.1-Flash 模拟器 32.7% | 最大偏差仅 3.3 pp，评估结论对模拟器选择稳健 |
局限与改进
作者承认的局限：任务只有 50 个且全部来自一家支付公司，冻结版本不易扩展；业务规则经脱敏重写后与真实条款有差距；Golden trace 是可行解而非最短解，因此回溯性的调用预算 $R_i$ 只是上界参考；用户模拟器是 LLM，原始提示下 4/50 任务出现协议违规（批量审批、未交还控制权），修订后虽降为 0、换模拟器模型最多带来 3.3 个百分点偏移，残余偏差仍不可忽略。我的补充观察：（1）strict 成功是二值判定，无法区分差一步与全盘失败的运行，GPT-6 Sol $G$ 64.7%/strict 61.3% 这类细粒度信息要靠四列分项拼出来，缺乏统一的部分得分设计；（2）稳健性实验中出现被评估模型与模拟器同源的组合（DeepSeek 配 DeepSeek、Qwen 配 Qwen），可能引入同源偏差；（3）论文只做评测、未探索任何缓解手段（如过程监督、检索增强、运行时护栏），诊断价值有余而改进指导不足；（4）规则冲突消解与任务设计依赖 5 名研究者加业务专家的人工流程，任务多样性和扩展速度受团队能力约束。
独立分析的弱点
独立分析的弱点：（1）规模与统计功效——50 个任务上 43.3% 与 39.3% 只差 2 次成功，3 次重复难以支撑模型排名的显著性推断，改进方向是按 Algorithm 1 半自动生成新工作流组合以扩样并报告置信区间；（2）二值评分的信息损失——一个 191 次调用达标但中途击穿储备的运行，与彻底跑偏的运行同得 0 分，改进方向是把 $G/P/F$ 三分量加权成部分得分或引入违规严重度分级；（3）预算分析是回顾性的——$\lceil \alpha R_i \rceil$ 以 Golden trace 为锚，而 Golden 并非最短解，若以最短可行解为锚，模型的开销结论可能更严峻；（4）用户模拟器单点依赖——全部主实验用同一个 DeepSeek-V4.1-Flash 模拟器，其措辞与披露节奏会影响智能体行为，改进方向是多模拟器集成评分或脚本化确定性客户；（5）领域较窄——支付/财资的规则结构（授权、储备、时效窗口）有限，结论向医疗、法律等高风险域外推需重新验证；（6）缺乏自动错误归因——论文靠人工统计轨迹（如 88 次未批先执行），基准若能随评分自动输出违规类型标签会更有用。
未来方向
作者明确提出的方向是让智能体更紧密地协调信息获取与行动选择——学会判断何时证据已足够、哪些义务必须持续满足。基于本文成果还可延伸：（1）把 $G\wedge P\wedge F$ 的确定性检查信号用作训练奖励，做过程监督或强化学习，直接优化合规的成功而非最终状态；（2）针对规则适用性（范围/版本/生效期推理）构建专门的检索与推理模块，并与 TimelyRAG 一类时敏检索研究对接；（3）运行时护栏：把审批前置、持续约束检查做成智能体框架的通用中间件，在违规发生前拦截而非事后判定；（4）调用预算与停止时机：Table 3 表明 2 倍参考预算就会砍掉 16.6 个百分点，值得研究自适应的何时停止查询、何时行动的策略；（5）把任务家族推广到其他高风险行业并研究跨域迁移；（6）扩展到多客户并发、资源竞争更复杂的场景，研究承诺管理与重规划。
复现评估
开源情况：论文首页标注 GitHub 与 Hugging Face 徽标，冻结版本包含全部 50 个任务、789 份知识文档、601 个业务工具与初始数据库（398 个可查询集合、2,994 条记录）；验收检查为确定性代码，无需 LLM 裁判，环境到手后评分完全可复现。算力与成本：评测不涉及训练，主要开销是前沿模型 API（Claude Opus 5、GPT-6 Sol、DeepSeek 系列、Qwen 系列）——多数模型每任务跑 3 次共 150 次运行，单次运行平均 90–200 次工具调用、75–204 轮对话，每次请求携带累积对话与工具历史，上下文溢出时还要按策略裁剪旧文档响应，token 消耗可观；另需一个 LLM 用户模拟器（默认 DeepSeek-V4.1-Flash）。难度评估：跑通评测为中等——数据库独立副本、超时与工具错误阈值、断点恢复等工程细节需要照论文实现；而从零复刻类似基准为高——SOP 提取、Golden trace 构造与专家评审流程（5 名研究者加业务领域专家）依赖领域专家与大量人工，但 Algorithm 1 提供了可借鉴的方法论。
论文图表
输入业务文档集合 $\mathcal{D}$：先抽取带来源证据链接的候选工作流，把相关候选归组为分层工作流计划，再生成 SOP；对每个 SOP 明确步骤、决策、跳转与返回链路，对照证据评审并剔除无法解决冲突的内容，附上适用条件与来源证据，最后一致地重写敏感业务内容用于仿真。
这是整个数据构造的起点：SOP 质量决定后续文档—记录—工具对齐、任务可行性与验收检查的可靠性，也想做类似基准的团队最该参考的流程。
知识库文档平均 759 tokens（中位 452，范围 44–10,755），总计 598,827 tokens；Golden trace 每任务平均 111.8 次助手工具调用（51–282）、28.6 次模拟器调用、读 5.4 份不同文档、29.9 条不同记录、执行 14.2 个业务请求。
标定任务长度与信息密度：既是『长程』的量化证据，也是调用预算实验中 $R_i$ 的来源，以及衡量模型执行开销（如 191.3 vs 111.8）的基准线。