FDE-Gym：AI 交付的最后一公里 FDE-Gym: The Last Mile of AI Delivery
95个真实客户交付任务实测：最强模型仅解决14个，隐含约束发现是瓶颈
前置知识
前置部署工程师（FDE）
指派驻客户组织的供应商工程师，职责远超『按需求开发』：需要判断什么改动才能真正改善客户业务、与客户系统和人员协作交付可落地的方案。论文以钻井客户为例：副总裁只要日报邮件和聊天框，真正的瓶颈却在被明确排除在项目范围外的停机编码系统。
理解 FDE 角色才能明白该基准为何强调需求澄清、隐含约束与客户业务指标，而非让代码通过隐藏测试。
LLM 智能体
以大语言模型为核心、通过工具循环自主完成任务的系统。本文为所有模型统一使用极简框架，仅提供执行命令、读文件、写文件、编辑文件、列目录五个工具，智能体通过在工作区执行命令与客户利益相关者通信，交付的 system/ 目录被原样部署到生产。
评测对象就是智能体，需了解其工具循环与交付流程，才能理解任务设置和 200 轮、150 分钟、8 美元用量的停止条件。
归一化业务提升（U）
衡量交付系统相对专家参考解改善客户业务指标的程度：$U=\frac{KPI_{delivered}-KPI_{baseline}}{KPI_{reference}-KPI_{baseline}}$。什么都不做得 0，参考解得 1，比原系统更差则为负。KPI 在留出的生产数据上评估，例如售后净收益、钻井停机索赔工时。
它是 FDE-Gym 分数的核心组成部分，论文所有主结果（0.56、0.70 的择优上限等）都以该量表报告。
隐含约束
决定方案成败但未写在任务说明中的事实：哪条合同规则适用、谁掌握关键信息、赞助人的要求是否指向真问题。线索藏在员工通讯录、文档与历史数据中，而文档可能过时、遗留代码可能反映错误假设，必须靠主动提问或调查才能发现。
论文发现从 L0 到 L1 隐藏约束使领先模型掉分 0.28，是最大的性能瓶颈，理解它才能读懂核心结论。
防作弊评分锚点
任务准入的四条预定义锚点：参考解须 $\geq 0.95$、不作为基线须为 0、照字面执行赞助人要求的字面解须 $\leq 0.2$、捷径策略（过拟合历史数据、拍整数阈值、把不确定决策全推给人）须 $\leq 0.8$。评分器经 270 多种捷径与绕过策略测试。
它保证分数无法靠投机取巧刷高，是本基准可信度的方法论基石。
研究动机
现有智能体基准几乎都假设问题已被良好定义：SWE-bench、Terminal-Bench 等软件工程基准给出 issue 和隐藏测试，部署基准提供规格说明，企业基准给出预定义任务，澄清类基准只是在规格本来正确的任务上扣留信息。真实客户交付截然不同：前置部署工程师面对的是可能指错方向的原始需求，要在活的系统里发现没人明说的约束。论文开篇的钻井场景极具代表性：副总裁要在 11 月董事会前拿到 AI 成果，只要求日报邮件和『问你的井』聊天框，并把停机编码系统明确排除在范围外；但严格照做的方案即使按时交付、通过全部功能检查，对客户业务指标的改善也是零——真正的瓶颈是按月停机积分索赔因关键词脚本错误归责给承包商而月月中断，解决它需要重开被排除的范围、找成本工程师确认合同规则、再约到那周不在的审批人。
本文的目标是论文的目标是构造一个度量『AI 交付最后一公里』的基准：让智能体像 FDE 一样，从赞助人的原始请求出发，在仿真客户环境中澄清问题、发现隐含约束、与利益相关者沟通，并在生产级系统上交付能真实改善客户业务的方案。具体做三件事：其一，把 2024 年以来中、新、美三地的真实交付项目改编成 20 个场景、18 个行业、共 95 个端到端任务，全部由行业专家完成，累计投入超过 10000 小时；其二，设计可复现且抗作弊的评分体系——按客户自己的业务指标衡量交付，扣除利益相关者沟通成本，并用四条评分锚点封死字面合规与捷径策略；其三，在 L0–L3 四个信息层级上用同一把尺子评测 7 家厂商的 13 个模型配置，并通过 fde-gym.com 在线平台让人类与智能体在相同规则下同台比较。
与已有工作不同的是，本文的独特切入是把交付的完整因果链——问题界定、约束发现、方案设计、实现、部署到业务结果——装进同一个基准：一个误读会让好代码一文不值，且损失直接体现在客户业务指标上。此前没有工作做到这一点：τ²-bench 只做客服智能体构建，Trains but Doesn't Learn 只管模型后训练，XYEval 只测误导性请求，TheAgentCompany 里打交道的是『同事』而非『客户』，LHAW 只覆盖信息缺失而不覆盖需求本身被误导的情形。FDE-Gym 的差异化设计包括：任务说明从完整规则一路退化到可能指错方向的原始请求（L0–L3），提问要付费，交付物按客户业务指标相对『不作为=0』评分且可以为负，每个场景配 2–7 个改换关键事实的变体抑制记忆化解题，并用 270 多种捷径策略验证评分器。
核心方法
先说直觉：真实交付的失败往往不是代码写不出来，而是没找对问题、没发现没人明说的约束，所以评测必须同时覆盖『找对事』与『做成事』。技术路线上，行业专家把真实交付项目改编为 20 个客户场景，每个场景包含客户组织、赞助人、生产系统与 130 多个有脚本的利益相关者；每个场景除原始任务外另设 2–7 个变体，改换关键事实（哪条规则过时、谁掌握信息、请求是否指对方向），共 95 个任务。工作区提供任务说明、生产系统副本、文档、历史数据与员工通讯录，运行环境只有 Python 和 SQLite，禁止安装包与访问外网，交付系统只能调用按用量计费的公司 LLM 网关；交付后 system/ 目录原样部署，生产端继续调用原有入口。评测时每个模型在 L0–L3 四个层级上跑任务，L3 覆盖全部 95 个任务，每个组合重复 3 次，限 200 轮、150 分钟或 8 美元模型用量，到期以当时状态部署评估。
核心创新是评分公式与成本设计。归一化业务提升 $U=\frac{KPI_{delivered}-KPI_{baseline}}{KPI_{reference}-KPI_{baseline}}$，在留出生产数据上评估，0 为不作为、1 为专家参考解。若发生预定义运营事故（如越权操作），则 $U_{adj}=\min(U,0)$，正提升清零、负提升保留。利益相关者沟通成本 $C=\sum_{k \in K} c_k$ 与提升同量纲：每位利益相关者有隐藏的单条消息费率，超出耐心或违反接触限制要加价，试运行与日历等待日也计费，未回复的消息不收费。单次任务得分 $S=U_{adj}-C$，得分 $\geq 0.8$ 且无事故记为解决；跨任务平均分 $\bar{S}$ 在聚合时把 $U_{adj}$ 下限截到 $-1$ 再减去 $C$，防止单次极端亏损主导排名。关键在于智能体并不被告知提问有成本、有些人不该找、请求可能被误导——发现这些坑本身就是评测目标。
方法步骤详情
构建与评测分五步。第一步，场景改编：专家把真实项目（中、新、美，2024 年起）改造成 20 个场景，含客户环境、文档、历史数据与员工通讯录，并注明相关法规与公开来源。第二步，制造变体：每场景在共享客户环境上改换关键事实生成 2–7 个变体，任何问题模式不出现超过全集的三分之一，共 95 个任务。第三步，利益相关者仿真：小模型把提问映射到话题，每位利益相关者的知识、误解、披露条件、耐心、证据要求、对前序对话的依赖、临时不可用与接触限制均预先脚本化。第四步，锚点验证：参考解 $\geq 0.95$、不作为 $=0$、字面解 $\leq 0.2$、捷径 $\leq 0.8$，经 270 多种捷径与绕过策略测试通过后才准入。第五步，评测协议：13 个配置各跑 152 个『任务×层级』组合（20 任务×L0、20×L1、17×L2、95×L3），每组合 3 次取平均，共 1976 个组合，限 200 轮、150 分钟或 8 美元。
技术新颖性
新颖性有四点。一是把『字面合规』制度化为锚点：严格照赞助人要求做最多得 0.2 分，即使请求方向正确也不例外（遗漏的约束仍决定结果）；唯一例外是请求既正确又完整时字面解即参考解，从而杜绝『凡怀疑赞助人就有奖』的万能策略。二是给提问定价：这是首个对利益相关者接触收取与业务指标同量纲费用的工程基准，使『信息发现』与『信息价值』可分开度量——例如 Claude Opus 5.5 的 0.70 提升中有 0.14 被沟通成本吃掉。三是变体设计对抗记忆：改换关键事实使同一场景内领先模型分数的中位极差达 0.34–0.44。四是脚本化利益相关者保证可复现，避免用 LLM 扮演用户导致的数个百分点漂移，同时保住 18 个行业、130 多个角色的多样性。相比 SWE-bench 只测实现、τ²-bench 只测客服交付，本基准把交付全程连成一条因果链。
实验结果
L3 主榜上 Claude Opus 5.5 以 0.56（95% 区间 0.50–0.62）居首、解决 14/95 任务，Sonnet 5.5 得 0.49、GPT-6 Astra 得 0.38，五个配置一题未解；即使逐任务择优也只有 0.70、解决 30 个，且仅 bank_scam_hold 一个场景有模型超过 0.8。第二，隐含约束发现是最大瓶颈：给全规则时（L0）领先三模型得 0.73–0.82，要求自己找约束（L1）骤降至 0.39–0.62，配对平均降 0.28（区间 0.17–0.39）；而请求变含糊再到被误导只再降 0.04（−0.03–0.14）。第三，拿到信息不等于做好交付：领先模型获取 72–85% 关键事实，业务提升仅 0.60–0.70；Opus 5.5 在 23 个任务上拿全事实、只有 10 个达到 0.8 提升；沟通成本再扣 0.14–0.22，Astra 有 36 个任务提升达 0.8、扣费后仅剩 9 个解决。第四，弱模型帮倒忙：Claude Haiku 4.5 在 79/95 任务低于不作为基线，GPT-6 Luna 63 个，Mistral Small 4 扣费前就有 51 个为负、其中 23 个的损害超过参考解全部收益，加思维链反而更差（−0.33 到 −0.35）。第五，场景方差巨大：5/20 场景无模型过 0.5，最难的 news_incident 与 revenue_dispute 最好成绩仅 0.18 与 0.27，后者上三家领先模型分别得 0.12、0.27、−0.44。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 95 个交付任务（L3，主设置） | 平均 FDE-Gym 分数与解决任务数 | Claude Opus 5.5：0.56（CI 0.50–0.62），解决 14/95（约 15%） | 专家参考解=1.0，不作为基线=0 | 最强模型仅达参考解的 56%，最弱配置（Claude Haiku 4.5 thinking）为 −0.35 |
| 20 个原始任务（L0，规则全给） | 平均 FDE-Gym 分数 | 领先三模型 0.73–0.82 | 参考解 $\geq 0.95$ | 信息齐全也无模型超过 0.82，说明工程实现本身仍是瓶颈 |
| 信息层级对比（L0→L1 vs L1→L3） | 配对任务平均降幅 | L0→L1 降 0.28（95% 区间 0.17–0.39） | L1→L3 仅再降 0.04（−0.03–0.14） | 隐含约束发现造成的损失约为需求误导的 7 倍 |
| 与外部基准横向对比 | 组件基准任务解决率 vs FDE-Gym 分数 | 同一批模型在 FDE-Gym 上仅 0.19–0.56，解决率最高 15% | Terminal-Bench 2.1 最高 88%、Vibe Code Bench 90%、Finance Agent 61% | 组件基准强不等于交付好，最多七分之一的参与真正改善客户业务 |
局限与改进
作者承认的局限包括：利益相关者是脚本化的，真实人会改变主意、答非所问、受既往交互影响；接触成本由场景作者设定，是沟通时间成本的模型而非测量；L0–L2 只在 20 个原始任务上报告，其中 3 个场景 L2 与 L3 指令相同，L0→L1 的下降相对该样本量偏大，而 L1/L2/L3 间的差异置信区间上限达 0.14（个别模型 0.25）；人类基线尚未完成；所有模型共用同一个五工具极简框架，结论不能外推到商业产品；多主机运行、容器隔离强度不一；20 个场景偏重受监管行业的智能体与工作流，且无法完全排除训练数据污染。我的补充观察是：业务指标与评分锚点都由同批专家定义，存在一定循环性；场景深植中国行业语境（法规、工单、日报文化），对其他市场的外推性存疑；『解决』阈值取 0.8 也会影响各模型解决数的排名。
独立分析的弱点
第一，脚本化利益相关者虽保证可复现，但只能按预设条件披露信息，无法测试智能体应对情绪化、隐瞒或互相矛盾的真人能力，且隐藏费率与耐心参数缺乏外部校准——可用真人项目回放日志校准定价。第二，每场景 2–7 个变体仍共享环境骨架，模型可能学到该类场景的浅层套路，长期应滚动扩充场景并做新旧题时间对照。第三，统一极简框架（五工具、无子代理、无检索增强）可能系统性低估依赖强脚手架的模型，分数也无法指导企业产品选型——应增补两三个代表性脚手架做敏感性分析。第四，一次性交付加 200 轮、8 美元封顶截断了长周期项目的迭代空间，真实 FDE 交付常以周为单位、多轮返工。第五，评分依赖作者预设的 KPI 公式，若某场景 KPI 设计不当（鼓励迎合指标而非真实价值），分数会失真，可用专家盲评做交叉验证。
未来方向
论文自身的后续计划包括：在 fde-gym.com 上完成 L3 任务的人类专家基线，实现人与智能体同规同尺的直接对比，以及扩充场景与行业覆盖。基于本文成果可延伸的方向有：其一，把 L0–L1 之间 0.28 的约束发现鸿沟转化为训练信号，用带脚本利益相关者的环境做强化学习或过程奖励，专攻『问对问题』的能力；其二，研究沟通成本最优化的提问策略，例如主动学习式的信息获取与证据预算分配；其三，把变体机制推广为自动改写关键事实的生成器，低成本扩题并做污染检测；其四，在同一评分下比较跨脚手架与多智能体分工（如需求分析师与工程师协作）；其五，引入交付后的持续运维阶段（事故响应、指标漂移），考察长期可靠性；其六，基于领先模型与未来人类数据的误差归因，刻画信息获取、方案设计、工程实现三段损失的具体分布。
复现评估
复现友好度较高。评测框架（任务工作区生成、利益相关者仿真、评分器）与实验运行器均已开源，版本 1.1.0；20 个原始任务及其评分器可申请获取，另有 3 个示例任务公开在 Hugging Face（DeepLethe/FDE-Gym），75 个变体与全部参考解按设计留出以防污染。算力上无需训练、只有推理：每模型 152 个组合、各跑 3 次，单次上限 8 美元用量与 150 分钟，复现单一模型的 L3 全量约 285 次运行，成本可控，但需要 7 家厂商 12 个模型的 API 访问权限；评分器为确定性脚本，无需人工评审。难点在于变体与参考解不公开，第三方无法完整复现 95 任务主榜，只能先复现 20 个原始任务与公开样例；脚本化利益相关者随框架分发，可复现性显著优于用 LLM 扮演用户的方案。估计单人一至两周可跑通公开部分，完整复现需与作者协作。
论文图表