CLASHarness：面向计算机使用的可控可验证多智能体冲突基准生成流水线 CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
可控生成600轮可验证多智能体冲突任务，揭示模型发现冲突易、修复冲突难
前置知识
Computer Use（计算机使用代理）
指基于视觉语言模型（VLM）的代理，直接在操作系统/浏览器图形界面上执行点击、输入、配置文件修改等操作，而不是只调用结构化 API。典型工作循环是：截图观察界面 → 推理下一步 → 执行动作 → 环境状态改变 → 再观察，每轮的执行痕迹（文件改动、命令输出）会被记录用于验收。
本文所有任务都定义在计算机操作环境里，冲突证据（仪表盘截图、终端输出）和修复动作（回滚配置、改权限）都以真实工作区状态呈现，不懂这个载体就看不懂任务形态。
多智能体冲突与协调协议
多个代理协作时，同伴或子代理可能报告过期状态（如基于旧缓存的'部署成功'）、发出矛盾指令、争抢共享文件与权限锁。协调协议指任务收尾时的约定动作：释放共享锁、向子代理移交任务、同步时间窗。这类冲突要求代理核查他方输出、以环境真值为准，而非盲信对话内容。
CLASHarness 整个基准就是把这类冲突系统化、可控地注入任务中，论文三大结论全部围绕'视觉接地/修复能力/协议执行'三种冲突子能力展开。
LLM-as-Judge 与混合评分器
用 LLM 充当裁判对代理输出打分。确定性检查（代码断言，如某文件是否包含特定值）与语义检查（LLM 判断文件改动是否符合要求）组合成混合评分套件。为降低判分方差，常用多采样投票（本文用3样本自一致投票）和多个独立裁判交叉验证排序一致性（Spearman ρ、Cohen's κ）。
本文 3,284 项必需检查中 65.1% 是语义标准，评分器稳定性直接决定基准可信度，作者为此做了大量验证实验（97.5% 判分一致、裁判间 ρ≥0.98）。
测试时计算
指推理阶段给模型分配更多计算（如开放更长思考链、提高 reasoning effort 档位），期望换取更强性能。在数学等封闭域通常有效，但在开放式代理环境中，过长思考可能挤占动作步数预算、导致重复循环（overthinking）。
论文发现推理 token 占比与任务成功率负相关（ρ=−0.697），Gemini 3.5 Flash 从低档到高档通过率反从 13.5% 跌到 3.0%，是'算力倒挂'的关键证据。
基准泄漏与任务可解性
自动生成评测任务时，答案可能泄漏到任务文本或对话中，使模型走捷径；评分标准也可能包含无法满足的要求，使任务根本无解。'按构造可解'指通过先确定真值、再渲染场景、从实际执行的参考轨迹编译检查器，从流程上保证存在至少一条可完成路径。
这是 CLASHarness 区别于无约束 LLM 生成基准的核心卖点，理解它才能理解为什么真值 $v^\star$ 要在渲染前预提交、为什么检查器要从沙箱轨迹编译。
研究动机
现有 computer-use 基准几乎都假设环境内部一致、单代理协作友好的理想场景，而真实多智能体部署中信息并不一致：子代理可能基于过期缓存报告'部署成功'并催促路由生产流量，而实时仪表盘的健康检查早已失败；同伴代理会发出矛盾指令、争抢共享文件与权限锁。要在这种环境下工作，代理必须核查他方输出、检查视觉证据确认真值、再执行回滚等修复动作。评估这类冲突解决能力存在两难：人工编写任务无法在复杂操作系统环境中规模化；而用无约束 LLM 提示生成任务，会出现叙事漂移、答案泄漏到文本、视觉素材与剧情无关、评分标准不可满足导致任务根本无解等问题。此前多智能体评估又大多停留在纯文本对话层面，缺少带真实操作环境、且冲突可验证的基准。
本文的目标是本文要构建一个可控且可验证的多智能体冲突任务生成框架 CLASHarness（Conflict-Loaded Agent Scenario Harness），并据此合成一个 600 轮多轮任务的基准，把'冲突解决'变成可自动化、可规模化评测的能力。具体目标有三：一是生成过程可控——通过分层场景规划和结构化种子精确控制冲突类型、角色、工具与证据模态；二是任务按构造可解——决定性真值在渲染前预提交，评分器直接从沙箱中实际执行的参考轨迹编译，杜绝不可满足的评分标准；三是保证真正多模态——决定性事实只出现在渲染图像中，迫使模型真的检查视觉证据而非走文本捷径。最终用 15 个前沿模型的评测，定位多智能体协调的系统性瓶颈。
与已有工作不同的是，独特切入角度在于把'知识冲突'从纯文本问答搬进完整计算机操作环境。此前的知识冲突研究只考察模型记忆与检索文本之间的矛盾，多模态基准只强调图形界面导航而不含冲突信号，现有 computer-use 基准假设内部一致环境。CLASHarness 将冲突轮形式化为五元组 $R=(W_0, I, \mathcal{T}, v^\star, \Phi)$：初始工作区 $W_0$、框架对抗性声明的指令 $I$、类型化动作空间 $\mathcal{T}$、决定性真值 $v^\star$、混合评分套件 $\Phi$，把冲突解决定义成'主动调查 + 操作决策'而非被动文本分类。三项设计原则——分层分阶段合成、渲染前多模态预承诺、执行编译验证——分别对应无约束生成的三大失败模式：叙事漂移、视觉装饰化、评分不可满足。
核心方法
直觉上，让一个 LLM 在单次提示里同时编写复杂运维剧情、维护多代理人设、改动多文件工作区并发明评分器，必然顾此失彼。CLASHarness 的解法是'宏观规划 + 经验证的微观执行'：三层八阶段流水线，每层职责单一、错误被限制在窄作用域内。Tier 1（阶段 S1–S3，共 8 次 LLM 调用）从结构化种子和插件效果声明建立一致的多智能体世界：全局剧情大纲与共享资源分配、子代理角色与权限边界、含代码仓库/配置/日志/UI 状态的初始工作区 $W_0$。Tier 2（阶段 S4–S5）先每 3–4 轮做一次里程碑扩展保持剧情连贯，再对每轮跑八个验证子步骤合成冲突。Tier 3（阶段 S6–S8）做跨阶段一致性审计、把 $v^\star$ 嵌入 HTML/Canvas 视觉资产规范、headless 渲染高分辨率截图并扫描文本泄漏，输出最终 scenario.json。工作区状态在轮间持久传递（10 轮为一个包），错误通过确定性归一化（零模型调用）和限定子步骤的有界重试修复，使 API 调用随轮数线性增长。
核心创新是三条'按构造保证有效性'的机制。第一，分层分阶段合成：轮次按 $P_s\in[3,4]$ 划分成阶段，每阶段只做一次高层规划并用滚动历史窗口，避免把全部工作区与对话史塞进单条提示导致的上下文溢出与剧情漂移。第二，渲染前预提交决定性真值 $v^\star$：先确定事实、再生成叙事和图像，并用自动泄漏扫描保证 $v^\star$ 只出现在渲染图像中（600 轮中 346 轮要求视觉证据），使视觉证据成为解题的必要条件而非装饰。第三，执行编译验证：参考轨迹在真实沙箱 CLI 中执行，精确代码检查直接从记录的状态变化编译（零模型调用），语义标准限定在具体文件修改范围内，从构造上消灭'不可达检查'。这与无约束提示生成的本质区别在于：真值先于故事确定、评分器来自可执行证据、错误修复限定在单个子步骤而非丢弃整个包。
方法步骤详情
给定声明冲突类型、协议、工具族、证据模态的结构化种子：Tier 1 依次执行 S1 全局场景大纲（时间线与共享资源）、S2 子代理角色与权限规则、S3 工作区初始化（仓库、配置、日志、UI），共 8 次调用，产出第 1 轮 $W_0$。Tier 2 中 S4 把 $R=10$ 轮按 $P_s\in[3,4]$ 划分阶段并用滚动历史做里程碑扩展；S5 每轮跑八个验证子步骤：S5.1 编写任务指令（框架同伴对抗性声明、附泄漏扫描）→ S5.2 生成同伴对话并同步状态 → S5.3 文件差异与路径同步 → S5.4 注入视觉素材并去重 → S5.5 预提交 $v^\star$ 并查泄漏 → S5.6 起草执行计划 → S5.7 沙箱 CLI 执行参考轨迹 → S5.8 从状态变化零调用编译 $\Phi$；工作区修改持久带入下一轮。Tier 3 的 S6 审计任务-评分器一致性与可达性，S7 把 $v^\star$ 嵌入 HTML/Canvas 视觉规范，S8 headless 渲染并做排他泄漏扫描。插件 $P$ 与命令 $c$ 声明效果 $\mathcal{E}$，合法动作 $\mathcal{T}_{valid}=\{c\mid \mathcal{E}(c)\cap\mathcal{E}(P)\neq\emptyset\}$。总调用 $8+\lceil R/P_s\rceil+K\cdot R+A$（$K\approx 7$–8），每 10 轮包约 95 次。
技术新颖性
技术新颖性体现在三点。其一，执行编译评分器：无约束生成中自然语言评分标准常含不可能要求，而 CLASHarness 从沙箱实际执行过的参考轨迹编译检查（平均 10.28 步），全部 600 轮 100% 可解，这是'可验证合成'的关键。其二，多模态排他门：视觉资产以独立图像文件提供（模拟工单附件、事故快照等 DOM 不可及场景），配合文本泄漏扫描强制文本-视觉排他，盲测消融证明视觉证据决定性而非装饰性。其三，声明式可控性：23 个模块化插件（16 冲突机制 + 7 挑战插件）加结构化种子，用户无需过程模拟即可注册新冲突类型与自定义 API。消融证实设计选择合理：换用不同生成器家族（Gemini 3.6 Flash vs Claude Sonnet 5）得到的平行基准轨迹相关性低（Pearson $r=0.186$，说明执行复杂度由生成器塑造、任务语义由种子决定），但模型排序高度一致（Spearman $\rho=0.96$），语义标准全局重复率仅 1.6%（2,137 项中 2,086 项全局唯一），排除了任务同质化质疑。
实验结果
600 轮评测 15 个前沿模型：最强 GPT-6 Astra 高档通过率 28.7%±1.9、检查分 66.8%，Claude Opus 5 次之（25.2%）；各模型单项检查通过 55%–67% 却难全链路通过。三大瓶颈：一、视觉接地 vs 盲信——弱模型盲信误导文本，强模型查视觉仪表盘验真值，强弱差 31–65 pp，顶级模型间证据引用（F4）也差 15.2 pp。二、解决 vs 侦测——要求主动修复使通过率 28.1%→11.0%（−17.1 pp），对照 +1.1 pp，差中差 −18.2 pp（95% CI [−29.1, −7.2]，$p=.052$），检查分仅差 −7.9 pp（$p=.252$）：能发现矛盾，动手修复则骤降。三、协议普遍失败——结束动作 F5 失败率 58%–72%，时间窗 F6 达 83%–97%，GPT-6 Astra 与 Opus 5 也有超 58% 结束动作失败；GPT-6 Astra 仅 1.0% 触及 20 步上限，多为自行提前终止。算力倒挂：推理 token 占比 8.8%（Opus 5）至 90.5%（Gemini 3.5 Flash），与通过率负相关（$\rho=-0.697$）；3.5 Flash 由 Low 到 High 通过率 13.5%→3.0%，89.2% 轮次耗尽步数。误差动力学：易任务（≤9 步）11/15 模型共失败提升>1（最高 2.10，链式崩塌），难任务≈1.0（渐进累积）。成本：高档共 $11,737/87,493 次调用，每解一题 $0.72（Luna）至 $39.54（3.5 Flash），相差 55 倍。消融：步数 20→40，3.8 Flash 12.8%→29.2%（60 步 30.7%，$p=.0098$）；盲测仅保留 11.1%–13.1% 通过率（$p<10^{-11}$）。评分：3 样本投票 97.5% 一致（19,419 次判定），独立裁判 $\rho\ge 0.98$、$\kappa\ge 0.90$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 600 轮多智能体冲突解决全量评测（High effort） | Pass Rate（满足全部必需检查的任务比例） | GPT-6 Astra 28.7%±1.9（全场最佳），平均检查分 66.8% | Claude Opus 5 25.2%±1.8（第二），最弱 Gemini 3.5 Flash 3.0% | +3.5 pp 相对最强基线；前沿模型平均分 55–67% 但全链路通过率≤28.7% |
| 冲突解决门控实验（12 处理种子 vs 8 对照种子，9,000 轮） | Pass Rate 差中差 | 解决 11.0% vs 调查 28.1%，差中差 −18.2 pp | 对照轮 20.4% vs 19.3%（+1.1 pp，无操作负担差异） | 证明'主动修复状态'本身贡献 −18.2 pp（95% CI [−29.1, −7.2]） |
| 视觉必要性消融（无图像输入盲评测，N=600 及 N=254 子集） | 相对有视觉通过率的保留率 | 全部模型仅保留 11.1%–13.1%（$p<10^{-11}$） | 有视觉输入：Opus 5 25.2%、Sonnet 5 20.8%、3.7-flash 20.3% | 盲测后分别跌至 4.2%、2.8%、2.0%，视觉证据是决定性而非装饰性 |
| 结束协调动作（F5：释放共享锁/任务移交）与时间窗同步（F6） | 失败率 | 最佳模型（GPT-6 Astra、Claude Opus 5）F5 失败率仍 >58% | 全部 15 个模型 F5 失败率 58%–72% | F6 时间窗同步失败率更高达 83%–97%，为全模型族普遍瓶颈 |
| 评分器稳定性与跨能力解耦 | 判分一致率 / 排序相关系数 | 3 样本投票 97.5% 一致；独立裁判 $\rho\ge0.98$、$\kappa\ge0.90$ | 单次 LLM 判分（无投票、无交叉裁判） | 代码与语义检查排序 $\rho=+0.90$；视觉定位与语义冲突解决仅 $\rho=+0.02$，证明是独立能力 |
局限与改进
作者承认三点局限：(1) 语义判分依赖 LLM 裁判且未做人类研究，仅用 3 样本投票和多裁判复评（$\rho\ge0.98$、$\kappa\ge0.90$）缓解；(2) 冲突通过日志和工作区痕迹评估，而非实时聊天，虽保证可复现并贴近工单/评审工作流，但测不到实时异步通信；(3) 场景只含冲突轮、缺少无冲突基线，只能靠消融门（差中差）隔离冲突处理本身的影响。我的补充观察：65.1%（2,137 项）的检查是语义标准，虽经多重验证仍是评分大头，裁判系统性偏差无法完全排除；差中差 $p=.052$ 恰在显著边缘，'解决比侦测难'的统计证据并不算强；纯文本模型用 OCR 转写评测会引入识别噪声、且部分图像信息已被转成文本，跨模态比较不完全公平；15 个模型中开放权重仅 3 个且均为文本+OCR 设置；环境是合成 UI 截图而非真实操作系统，向真实桌面/浏览器的迁移性未知。
独立分析的弱点
独立分析几点弱点：第一，语义裁判占评分大头（65.1%），且生成器、裁判与被评模型可能同源，存在偏好风险——虽然跨生成器排序稳定（$\rho=0.96$）缓解了生成侧担忧，裁判侧仍应引入人类专家标注子集做定期校准并报告裁判-人类共识率。第二，结束动作与时间窗同步的高失败率可能部分源于激励结构：代理完成核心任务后缺乏执行收尾协议的奖励，可用协议感知的过程奖励或 RL 显式优化收尾行为。第三，测试时算力倒挂（Gemini 3.5 Flash 推理占比 90.5% 反而垫底、89.2% 轮次耗尽步数）暴露弱模型缺乏'何时停止思考'的元认知，可训练自适应算力分配或重复动作循环检测。第四，提前终止问题（GPT-6 Astra 仅 1.0% 撞上限却频繁自行收工、不做锁释放和移交）说明模型对'任务完成'的内部表征有偏差，可在指令中提供显式验收清单对照。第五，单张静态截图无法测连续 GUI 交互中的部分可观测性（滚动、多视图切换），扩展到可滚动环境会更贴近真实计算机使用。
未来方向
作者提出的方向：把 CLASHarness 的模块化插件架构与自动验证流水线作为'可扩展数据引擎'，为下一代 VLM 的后训练合成冲突数据，让模型在训练中就学会核查视觉证据、修复系统状态、执行移交协议。基于成果可延伸的研究：(1) 把 F5/F6 协议执行做成显式训练目标，检验'收尾能力'可否被教会；(2) 开发实时异步通信版冲突（live chat）补充日志式评估，覆盖论文承认的盲区；(3) 人类对照研究标定语义裁判的偏差；(4) 自适应测试时算力调度——数据显示 Medium 档对 flash 模型常是峰值（Gemini 3.7 Flash Medium 21.5% vs High 20.3%），按任务难度分配 effort 既省钱又提分；(5) 针对 GPT-6 Astra、Gemini 3.8 Flash 这类'视界敏感'模型研究长视界探索与循环检测（3.8 Flash 从 20 步 12.8% 到 40 步 29.2% 说明步数预算本身是被低估的杠杆）；(6) 把侦测/修复/收尾三层冲突指标作为多智能体系统上线前的标准诊断面板。
复现评估
复现条件较好：代码与数据集开源（github.com/google-research/CLASHarness），提供 20 个结构化种子、60 个包变体、600 轮任务、7,970 张渲染视觉资产与 3,760 个检查器，附带声明式种子 schema 和 23 个插件的文档（附录 B.4/C1），用户可自定义新域。生成侧成本低：平均每个 10 轮包约 95 次 LLM 调用，用中档生成器（如 Gemini 3.6 Flash，消融显示其成本约 $563–731 档）即可合成平行基准。评测侧成本高：论文全量 15 模型高推理档花费 $11,737、87,493 次调用，个人复现主表不现实，但可跑小子集（如 3 模型×低档，参考表 1 的 Tok/Cost 列估算）。工程上需要 headless 浏览器渲染截图、沙箱 CLI 执行参考轨迹、以及 LLM 裁判服务三类基础设施。总体难度中等：数据与代码齐全、协议清晰，主要门槛是 API 预算和多组件基础设施搭建。
论文图表
