CODS 2025 ASSETOPSBENCH 挑战赛结果与回顾性分析：一份关于智能体评测基础设施的诚实体检报告 Results and Retrospective Analysis of the CODS 2025 AssetOpsBench Challenge
剖析工业智能体竞赛的评测设计，揭示排行榜饱和、公私榜失配与评分公式脆弱性
前置知识
LLM-based Agent（基于大语言模型的智能体）
以大语言模型为推理核心，能够调用外部工具、与环境交互、按多步骤完成复杂任务的系统。本文中智能体需通过 Sensing→Reasoning→Actuation 全流程，处理工业 4.0 场景中的设备数据并生成工作单。
理解 ASSETOPSBENCH 的评测对象是工业多智能体系统，而非单纯的语言模型问答，准确把握被评估能力的边界是读懂后续所有方法学结论的前提。
Codabench 与隐藏集评测
Codabench 是一个开源评测竞赛平台，支持 Docker 化的盲测提交，参赛者只能看到 Development 阶段的公开场景得分，Evaluation 阶段则用未公开的工业场景来检验泛化能力。本文中所有 'hidden/private score' 都来自此阶段。
论文的核心论点之一就是公开榜单与隐藏榜单的相关性极低，掌握这一评测协议才能理解为何作者反复强调 'public signal does not predict hidden robustness'。
Spearman 秩相关 $\rho$ 与 Kendall $\tau$
Spearman $\rho$ 衡量两组排名/分数之间的单调关系强度，取值 $[-1, 1]$；Kendall $\tau$ 衡量两列配对数据中一致对与不一致对之差的比例，对排序一致性更敏感。本文中 $\rho=-0.13$ 用于反驳执行赛道公开-隐藏榜的预测性，$\bar{\tau}=0.61$ 用于量化官方排名对参数选择的敏感度。
没有这两个统计量的直觉，就无法判断作者声称 'public scores carry no signal' 是强证据还是噪声。
HDBSCAN 密度聚类
一种层次化密度聚类算法，无需预先指定簇数，能自动将稀疏区域标记为噪声（noise）。本文用其在 331 份源代码的句子向量嵌入空间中分簇，区分赛道一的高度分散（7 簇、32% 噪声）与赛道二的紧密结构（3 簇、<2% 噪声）。
理解聚类结果中 '噪声率' 的含义，才能体会作者如何从代码层证据反推 '规划已商品化、执行仍结构化' 的关键结论。
Directed Acyclic Graph (DAG) over agents
智能体之间的有向无环图调用结构，节点是 IoT、FMSR、TSFM、WO 等领域智能体，边表示数据或控制流依赖。赛道一固定 executor，仅让参赛者优化规划 LLM 生成的 DAG 拓扑与提示词。
DAG 是规划赛道的核心被优化对象，其质量直接决定下游执行得分，明白这一点才能理解 Track 1 的可编辑区域为何局限于 prompt-construction。
研究动机
现有 LLM 智能体评测普遍存在静态基准脱离部署现实的问题——它们奖励 '狭窄定义且易优化的任务'，却很难衡量工具调用鲁棒性、隐私保留执行、多步骤编排等部署关键能力。竞争型基准虽被寄予厚望，但排行榜往往只回答 '谁得了第一'，而不回答 '这次评测究竟测了什么、有哪些激励扭曲'。在 ASSETOPSBENCH 这一工业 4.0 场景下，挑战赛的工程门槛极高：149 支队伍中只有 11 支完成双赛道排名，300 次提交中 53 次（17.7%）因打包或工作流格式违规失败，234 次才达 Finished 状态。公开规划榜单在 8 个不同分数上就饱和于 72.73%，执行赛道 13 支队伍的公开分仅 5 个不同值，说明粗粒度评分在奖励 '提示工程' 而非真正的智能体能力。
本文的目标是作者把这次挑战赛当作一份 '评测仪器校准报告'，而非战绩公报。具体目标包括：(1) 沿参与度、提交行为、排名鲁棒性、计算成本、策略归因五条互补维度剖析 149 支队伍、300 次提交、11 支上榜队伍的完整数据集；(2) 用公开-隐藏分相关性 $n=13,\rho=-0.13,p=0.71$ 这类定量证据，揭示公开榜单对隐藏泛化能力的零预测力；(3) 通过 $(\alpha,s)$ 参数扫描下的 80 种评分配置（仅 44% 维持官方冠军）和均值 $\bar{\tau}=0.19$ 的 Kendall 波动，量化评分公式本身的脆弱性。
与已有工作不同的是，以往的竞赛回顾（如 kNN 搜索、定理证明、电力系统）多停留在描述榜单与轶事，缺乏把公开-隐藏一致性、t-match 标度敏感性、计算成本指纹、源代码聚类四种证据联合起来的系统化诊断。本文独特切入点是 '把竞赛当作评测仪器做逆向工程'：用 Spearman 秩相关、80 种参数配置的扫描结果、HDBSCAN 聚类的噪声率差异，以及六维 LLM-as-judge 评分轨迹，把 '基础设施贡献' 与 '评分公式缺陷' 两条线首次在同一篇论文中拼齐，并对照发布于赛后但独立验证了作者多数设计选择的 Agent-Eval Checklist 形成闭环。
核心方法
本文的方法学直觉是 '竞赛即实验'：把 149 支队伍、300 次提交、234 个完成轨迹视作一份可挖掘的多源数据集，沿五个互补维度分别下钻。第一条线参与漏斗用注册-提交-上榜三道门槛定位真实工程摩擦；第二条线排名动态用 Spearman $\rho$、Kendall $\tau$ 以及 $(\alpha,s)$ 80 格扫描量化评分公式的脆弱性；第三条线成本指纹对四个领域智能体（IoT、FMSR、TSFM、WO）和端到端 E2E 类构建五维画像（API 调用深度、墙钟时长、token 负载、策略变异系数 CV、相位稳定性）；第四条线场景复杂度沿 22 个场景分解六维评分相关性；第五条线策略归因用 sentence-transformer 嵌入加 HDBSCAN 聚类把 331 份可访问源码（210 Track 1、121 Track 2）映射到 K=5 的原型档案。整个技术路线不发明新算法，而是把现有的统计、聚类、敏感性分析工具组合成一套面向智能体竞赛的诊断流水线。
核心创新不是某一种新模型，而是 '评测逆向工程' 视角本身：把排行榜当作被研究对象而非被报道对象，并用四组独立证据（公开-隐藏相关性、评分公式扫描、成本指纹、源代码聚类）互相印证。已有的智能体评测论文通常只给单一基准的得分，本文则以 '评测量的是什么、没测什么、激励了什么策略' 三个元问题作为分析框架，并用 $\rho=-0.13$、$\bar{\tau}=0.61(\sigma=0.19)$ 等具体数字让结论可证伪。
方法步骤详情
方法分为六步：(1) 数据清洗，对 149 份注册表做去重（保留最新一份、合并重复规划条目），把 300 行服务器日志中的 Infinity/infinity 等大小写变体归一化，把 78/149 多账户团队通过手工映射对齐到队伍身份。(2) 五维度下钻，分别产出表 1 漏斗、表 3 评分动态、表 4 排名敏感性、表 15 成本指纹以及附录 J 的源代码聚类。(3) 公开-隐藏相关分析，按队伍最佳公开提交挑选 20 条 Track 1 与 13 条 Track 2 隐藏评估，计算 Spearman $\rho$ 与均值差 $\Delta = S_{priv}-S_{pub}$。(4) $(\alpha,s)$ 参数扫描，将执行权重 $\alpha\in[0,1]$ 与 t-match 重缩放因子 $s\in[1,100]$ 在 80 个网格上重算冠军与 Kendall $\tau$。(5) 成本指纹，从每个轨迹文件抽取 tokens、API 调用数、墙钟秒数、相位标签，按五个域生成 (API depth, wall-clock, token load, CV, stability) 五元组。(6) 策略聚类，将 331 份源码用 sentence-transformer 嵌入，UMAP 降维后 HDBSCAN 自动定簇，分别按 K=2…10 考察轮廓系数，最终在 K=5 处用 TF-IDF 类中心词给出可解释原型标签（P1–P5、E1–E5）。
技术新颖性
技术新颖性主要体现在跨维度交叉验证的设计而非新算法：在智能体评测领域首次系统披露 't-match 标度错配导致最大 0.05 复合分' 这种工程级 bug 的影响面；首次在工业多智能体竞赛中报告 '执行赛道公开-隐藏 $\rho=-0.13$、$p=0.71$' 这种零相关证据；首次对四领域智能体给出 (CV, stability) 联合指纹并发现 '最便宜的 TSFM CV=1.68 反而最易受提示词扰动，而最贵的 WO CV=0.76 最稳健' 的反向关系；源代码聚类层面，使用 encoder-stable medoid 检验聚类稳健性，从而区分出 '执行三簇是真实结构、规划两簇是编码伪影' 这一关键判断——这些做法合在一起构成了对智能体竞赛 '元评测' 方法学的可复用模板。
实验结果
核心发现按维度归纳如下。(1) 参与漏斗：从注册到上榜经历了 149→24→11 的三段衰减，17.7% 提交因打包/工作流违规被拒，78/149 (52.3%) 队伍使用多账户，4/11 上榜队伍在两赛道使用不同账号。(2) 公开-隐藏一致性：规划赛道 $\rho=0.69$、$\Delta=-11.30$（隐藏分系统性低于公开分）；执行赛道 $\rho=-0.13$、$n=13$、$p=0.71$——公开执行分对隐藏泛化零预测力；公开榜单规划饱和在 72.73%、执行仅 5 个不同分值。(3) 评分公式脆弱性：t-match 项贡献最多 0.05 复合分（标度错配两个数量级），执行权重 $\alpha=0.6$ 与 t-match 缩放 $s$ 同时调整会让冠军换人；80 种 $(\alpha,s)$ 配置下官方冠军仅在 44% 中保持首位，$\bar{\tau}=0.61(\sigma=0.19)$。(4) 成本指纹反向关系：WO 域 token 244K、墙钟 145s、CV=0.76、stability=0.96（贵但稳），TSFM 域 token 35K、墙钟 68s、CV=1.68（便宜但脆弱），E2E stability=0.98 揭示编排层是固定延迟成本。(5) 策略聚类：Track 1 HDBSCAN 7 簇、32% 噪声、轮廓 <0.12（规划已商品化），Track 2 HDBSCAN 3 簇、<2% 噪声（执行仍结构化）；K=5 原型中 P1 知识库规划占 32.4%，E1 软校验兜底占 28.9%。(6) 群体差异：上榜 11 支队伍中产业队伍占 54.5%（注册池 27.8%），硕士/博士占注册池 22.3% 但上榜 0%。(7) 场景复杂度：六维评分中 hallucination 与总体质量在 22 个场景上 $r\approx-0.93$，最强难度瓶颈集中在 work-order 任务。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ASSETOPSBENCH 智能体工业多步任务（Track 1 规划 + Track 2 执行） | 复合分 F = 0.4 Cplan + 0.6 Cexec（Ct = 0.6 Spub + 0.3 Spriv + 0.1 τ） | 冠军 Smart Maintenance Crew F=57.002（Cplan=56.528, Cexec=57.318），亚军 WaterLevel F=56.775（Cplan=60.049, Cexec=54.593），季军 LostSouls F=51.864（Cplan=51.857, Cexec=51.869） | 官方公布排行榜共 11 支队伍，F 范围从 39.315（EXL Health）到 57.002（Smart M. Crew）；公开规划分饱和上限 72.73%、公开执行分最高 72.7% | 冠军与亚军 F 差仅 0.227 分；Track 2 公开分与隐藏分相关系数 ρ=−0.13（n=13，p=0.71）说明公开榜对隐藏泛化几无预测力，官方冠军在 80 种 (α, s) 评分配置中仅 44% 仍居首位 |
| 公开-隐藏分 Spearman 秩相关性分析 | Spearman ρ 与均值差 Δ = Spriv − Spub | Track 1 ρ=0.69、Δ=−11.30（20 队）；Track 2 ρ=−0.13、Δ=−1.40（n=13，p=0.71） | 理想鲁棒的隐藏泛化评测应满足 ρ→1 且 Δ→0；本次 Track 2 ρ 显著小于零假设零相关的临界值 | 相比无信号基线（ρ=0），Track 1 提供中等单调信号但伴随 11.30 分系统性乐观，Track 2 则完全无法用公开分预测隐藏分，需替换或加权评分公式 |
| 评分公式参数敏感性扫描 | 官方冠军保持率与平均 Kendall τ | (α, s) 80 格扫描下官方冠军仅 44% 仍居首位，τ̄=0.61（σ=0.19）；等权重下 Team A 反超 Team C，t-match 重缩放后 Team A 与 Team C 位次互换 | 官方发布排名：Top-1 Team C、Top-2 Team A、margin=0.227；去 t-match 时 margin=0.230；等轨道权重时 Team A 居首 margin=0.398 | 与官方设置相比，'去掉 t-match' 仅微调 margin，而 '等轨道权重' 或 't-match 重缩放' 会让 Top-1 改写，说明官方排名同时依赖两个独立方法学选择，单点改动即重排 |
| 源代码策略聚类与原型稳定性 | HDBSCAN 簇数、噪声率、轮廓系数、encoder-stable medoid 数 | Track 1 HDBSCAN 7 簇、噪声率 32%、K∈[2,10] 轮廓 <0.12；Track 2 HDBSCAN 3 簇、噪声率 <2%；K=5 时 P1 知识库规划 32.4%（稳定）、E1 软校验兜底 28.9%（稳定） | 完美区分的聚类应噪声近 0、轮廓 >0.5；K=2 时 Track 1 簇仅 2 个、Track 2 簇 4 个 | Track 2 encoder-stable medoid 在五个原型中全部保留（E1–E5 稳定），Track 2 仅 E2、E5 稳定、P4 与 P5 不稳定，意味着执行结构真实、规划两簇是编码伪影 |
| 四领域智能体计算成本指纹 | API 调用深度、墙钟秒数、token 负载、策略变异系数 CV、相位稳定性 | WO 域 API=13.5、145s、244K tok、CV=0.76、stability=0.96；TSFM 域 API=6.1、68s、35K tok、CV=1.68；E2E 端到端 203s、63K tok、stability=0.98；FMSR 域 API=12.5、184s、65K tok、CV=1.09；IoT 域 API=11.7、134s、85K tok、CV=1.49 | 理想高效域应是低 token + 低 CV 的组合；TSFM 同时是 token 最低和 CV 最高的反常点 | 首次报告 'token 负载与稳定性反向' 现象——若按 token 权重分配评分会放大对 TSFM 提示词敏感性的测量而非智能体能力测量，提示词应按 CV 加权 |
局限与改进
作者明确承认的局限：分析仅基于已发布的工件（注册表、服务器日志、最佳提交电子表、源代码），隐藏阶段结论依赖手工归一化的电子表；匿名 +1 队伍在公开分分析中被排除，导致部分相关计算样本量受限；LLM 评判输入的对抗测试未做、只读文件系统未文档化；微基准测试是否能迁移到智能体竞赛仍是开放问题。作者自己补充的观察：(1) 群体差异分析显示上榜 11 队中硕士/博士占比 0%，可能反映评分激励偏向工程实践而非方法学创新，未来应分层报告；(2) t-match 错配是发布前可避免的工程 bug，但论文未给出修复后的对照实验；(3) HDBSCAN 在 Track 1 上的高噪声率暗示规划方法多样性已被评分公式压平，可能需要更细颗粒度的子分数暴露差异化贡献；(4) 五维度分析各自独立，缺少把它们联合起来的多变量因果模型，例如成本指纹与策略聚类的交互效应未被显式建模。
独立分析的弱点
独立审视后仍有四点可改进的弱点。(1) 评分公式诊断止步于相关性与扫描，缺少对 t-match 重缩放或去掉后重训模型的对照实验，读者无法判断 '重新打分' 是否会推翻方法学结论。(2) 群体异质性仅报告 11 队的离散比例，没有用逻辑回归或卡方检验给显著性区间，'产业队过代表 54.5%' 的论断基于小样本脆弱。(3) 源代码聚类只跑了两种 sentence-transformer 编码器就宣称 encoder-stable，未做更广泛的稳健性测试，且 K=5 是手工选定而非轮廓系数峰值。(4) 公开-隐藏零相关结论的样本量仅 n=13，统计功效不足，若未来竞赛能扩到 n=30 以上才能稳健拒绝零假设。改进方向分别是：补充重评分对照、把群体分析升级为分层因果推断、把聚类扫描延展到 5 种以上编码器并报告共识矩阵、在更大样本的复赛上验证零相关结论。
未来方向
作者明确提出的方向：在未来竞赛中隔离能力维度（已在 Track 1/2 部分实现）、暴露技能感知的子分数、确保评分分量在数值上同尺度、把团队元数据、容器摘要与版本化代码作为核心交付物。基于成果自然延伸的方向有三。(1) 把本文五维度诊断流水线封装为开源 'AgentEval Diagnostics' 工具，使后续竞赛可以一键产出 (Δ, ρ, τ, CV, stability, noise rate) 看板。(2) 探索 micro-benchmarking 在智能体竞赛中的可行性，即在 22 场景全集的子集上稳定预测完整排序，以缓解 n=13 的统计功效问题。(3) 把 '公开-隐藏零相关' 现象推广为通用评测准则 'Public Signal Ratio'，任何宣称榜单可预测隐藏泛化的评测都应报告此比率并设定阈值。这些方向都可基于本工作已发布的工件进一步验证。
复现评估
复现评估：作者在摘要与第 5 节明确 'release the scenarios and scoring traces'，并把分析凝练为 'portable diagnostics' 工具；源代码策略聚类使用的 HDBSCAN+UMAP+sentence-transformer 流水线是标准开源栈，赛道一/二的最佳提交电子表也已随论文公开。复现成本主要集中在：(a) 下载并运行 141 个公开 ASSETOPSBENCH 场景（托管在 Hugging Face）以重放公开分数；(b) 跑通 Docker 化的 LLaMA-3-70B 工作流，需要至少一块能装载 70B 模型的 A100/H100 GPU，普通研究组难以独立承担；(c) 重新实现 80 种 (α, s) 评分配置扫描与 22 场景 hallucination 相关分析，这部分是纯统计重算，不需要 GPU。整体复现难度中等偏高：算法逻辑清晰、数据全部公开，但隐藏阶段工件依赖平台导出、且最关键的 '执行赛道 13 队隐藏分' 是手动归一化的结果，再分析时需谨慎对待潜在的录入错误。
论文图表
十项要求的勾叉表：六项绿勾（agent-evaluator 隔离、答案保密、测试实例轮换、防篡改等）、两项琥珀色（LLM judge 输入净化、只读文件系统）、两项红叉（评分鲁棒性，正是 t-match 错配与公开-隐藏不一致问题）。
把赛后独立发布的可信评测清单与本次竞赛基础设施逐项对照，闭环论证 '本文诊断有效'，是 Discussion 章节的核心可视化。