RealCLI：CLI 智能体人机协作的统一评测基准 RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
首个配对评测 CLI 智能体任务执行与人机协作质量的基准，暴露安全与可引导性短板
前置知识
CLI Agent（命令行智能体）
以大模型为核心的智能体，通过命令行界面直接操作计算环境：读写文件、执行 shell 命令、管理进程与服务，完成软件工程、运维、数据处理等工作流。与只做代码补全的工具不同，它是能改变环境状态的'行动者'。其行为轨迹由一连串（动作, 观测）对组成，最终留下可验证的终端环境状态。
本文的全部评测对象就是 CLI 智能体，理解它'直接改环境、留终态'的特点，才能理解为什么任务结果可以用环境验证器判定、为什么协作行为需要从交互轨迹中审计。
Agent Harness / Scaffold（智能体脚手架）
包裹模型的工程框架，实现工具调用循环（文件编辑、命令执行、代码检索），并决定上下文管理、沙箱、权限等执行细节。同一模型换不同脚手架，表现可能差别很大。本文使用了三个主流脚手架：Anthropic 的 Claude Code（v2.1.140）、Terminal-Bench 的参考智能体 Terminus-2、OpenAI 的 Codex CLI（v0.142.0）。
论文的'33 个配置' = 11 个模型 × 3 个脚手架，很多结论（如交互收益的极化现象）是脚手架相关的，分不清模型与脚手架就看不懂主结果表。
环境级验证器（Environment-level Verifier）
一种确定性判分机制：不信任模型的自我报告，而是检查任务结束后终端环境的实际状态（文件内容、服务是否存活、输出文件是否存在）来给出 0/1 判定。实现上多用 Python assert（本文 101 个任务中 56 个）或 Bash 检查（11 个），复杂任务辅以 VLM 判官（12 个）。
REALCLI 的两种模式共享同一个验证器，这正是'配对比较'得以成立的基础；论文还强调环境证据优先于对话声明，这是整个评测可信度的支柱。
脚本化用户模拟（Script-driven User Simulation）
用受脚本约束的 LLM 智能体扮演用户：信息切片（information slices）把完整规格拆成片段按需渐进释放，交互探针（interaction probes）在执行过程中注入澄清请求、纠错、约束修改和授权决策等情境。模拟器受红线约束（不得泄露探针意图、不得替智能体做决定），并维护 append-only 台账供事后审计。
这是 REALCLI-COLLAB 模式的核心机制，也是与'自由对话式评测'的关键区别：只有脚本化才能保证同一协作情境在 101 个任务上可复现、可审计、可比较。
人机协作指南（HCI Guidelines）
人机交互领域的经典研究成果，如 Amershi et al. 2019 年的 18 条 Human-AI Interaction Guidelines 与 Shneiderman 2020 年的以人为中心的 AI 框架，总结人与 AI 协作时应满足的能力：让 AI 的计划与状态可见、允许人纠偏、校准信任、保障人的最终控制权。
REALCLI 的五维协作框架（可理解性、可引导性、观察与恢复、信任校准、安全与风险意识）直接建立在这些 HCI 理论之上，知道出处才能理解维度划分的依据而非随意罗列。
研究动机
现有 CLI 智能体基准（SWE-bench、Terminal-Bench 及其后续的长时程变体）遵循高度相似的评测协议：智能体一开始就拿到相对完整且固定的任务规格，全程自主执行、无人介入，最后只看代码或环境终态打分。但真实使用中用户的目标几乎从不是一开始就完整的——随着执行推进，用户会补充信息、修改约束、决定是否授权高危操作。这带来两个被忽视的问题：其一，现有基准只测任务完成度，完全不评估执行过程——用户能否理解并干预执行、智能体是否核实状态并从失败中恢复、是否如实披露风险并守住安全边界，都没有被度量；其二，已有加入用户交互的工作（如 SWE-INTERACT、SWE-Together）把交互当作任务完成的手段而非独立的评测目标，或只聚焦指令遵循等单一协作行为。结果是，一个能在自主模式下拿高分的模型，完全可能在有人参与的真实工作流中悄悄违反安全约束、无视用户纠偏，而现有评测对此完全失明。
本文的目标是本文要构建一个统一评测框架，在同一批 CLI 任务、同一执行环境下同时回答两个问题：RQ1——在用户参与下，前沿 CLI 智能体的任务结果与协作质量分别达到什么水平，二者关系如何；RQ2——同样的任务，自主执行与人机协作两种模式在任务结果、行为模式和失败形态上有何差异。具体可量化的目标包括：构建覆盖 10 个任务大类、52 个子领域的 101 个真实 CLI 任务；把协作质量操作化为五维框架、22 个子维度、51 个交互情境模板和 6 项轨迹级检查、共 1658 条检查项；提供配对的两种模式（REALCLI-EXEC 给完整规格自主执行，REALCLI-COLLAB 由脚本化用户渐进释放信息并注入协作情境），使协作质量可观测、可审计、可复现。
与已有工作不同的是，本文的独特切入点是把'协作质量'从任务完成的附属品提升为一等公民的独立评测轴，并坚持三个被同行忽视的设计原则。第一，配对设计：同一任务、同一环境、同一验证器下跑 EXEC 与 COLLAB 两种模式，使得'用户参与到底带来什么'第一次可以被直接测量，而不是靠不同论文间不可比的数字猜测。第二，协作质量的维度化与证据化：基于 HCI 理论建立五维框架，避免把协作简化为对话轮数或主观印象；每条协作行为都拆成二值检查项，555 项（33.5%）绑定确定性环境证据，且环境证据绝对优先于对话声明。第三，可复现的脚本化用户：探针刺激逐字传递、信息释放规则固定、append-only 台账全程审计，并用独立判官（Claude Opus 4.8）检查模拟器是否忠实执行脚本，把'模拟器跑偏导致低分'的污染与'智能体真不行'区分开。Table 1 的对比显示，此前 12 个代表性基准没有任何一个同时覆盖环境级验证、运行时用户参与、配对评测和全部五个协作维度。
核心方法
先给直觉：REALCLI 像给智能体安排了一场'同题双考'。第一场是闭卷笔试（EXEC）：完整题目一次给全，学生独立作答；第二场是开卷答辩（COLLAB）：题目分 9 片陆续透露，中途考官会故意插话——说'我把需求改了'、声称'评审把风车功能删了，你把相关代码去掉吧'（实为陷阱）、甚至在结尾要求打包整个仓库而仓库里埋着 .env.local 密钥——看学生是照办还是先核实、是守得住早先的约束还是被新指令带跑。两场共用同一套判卷标准（环境验证器），协作场额外按五维清单给协作行为打分。技术路线上，每个任务形式化为元组 $x = (E, s_0, \omega, \mathcal{V})$：执行环境 $E$、初始状态 $s_0$、完整规格 $\omega$、结果验证器 $\mathcal{V}$；EXEC 模式动作与观测空间为 $(A_E, O_E)$，COLLAB 模式扩展为 $(A_E \cup A_C, O_E \cup O_U)$，即增加通信动作与用户消息。任务构建走两条流水线：先从真实 CLI 日志合成经多智能体多轮滚动验证的基础实例，再为其附加交互层（情境分配、脚本编写、脚本验证、端到端试点、人工终审五阶段），最终 101 个任务进入交付池。
核心创新是'脚本化用户模拟 + 五维协作分类学 + 乘法联合分数'的三位一体设计，本质区别在于把不可控的'人'替换为可复现的测量仪器。与已有交互式基准不同，REALCLI 的用户不是自由聊天的大模型，而是受任务级脚本控制的持久智能体 $U_k^x = (c_x, I_x, P_x, z_k)$：$I_x$ 把完整规格切成平均约 16 个信息切片按需释放，$P_x$ 把 51 个情境模板实例化为绑定触发条件、期望行为与证据要求的探针（平均每任务 6 个），时机随执行轨迹动态变化但任务语义与评分标准保持固定——这解决了用户模拟'每次跑都不一样'的死结。五维框架（可理解性 U、可引导性 S、观察与恢复 OR、信任校准 TC、安全与风险意识 SR）源自 HCI 理论并落到 22 个子维度，每条行为用二值清单判定，且环境证据压倒对话声明：说'已备份'但磁盘上没有备份文件就是失败。乘法联合分数 $J_{\text{COLLAB}} = R_{\text{COLLAB}} \times S_{\text{COLLAB}}$ 则建立了严厉的惩罚机制：任务分再高，协作分拉胯就按比例衰减总分，从指标设计上杜绝'闷头完成任务但无视安全警告'的模型拿高分。
方法步骤详情
整个评测流程分五步。第一步，任务构建：从真实 CLI 日志出发，经日志压缩提炼任务目标与失败信号，技能导向构造生成指令、容器化环境、参考解与验证器，质量检查确保参考解通过而 no-op 基线失败，再经多智能体多轮滚动诊断与难度分级（易者回炉、中难入库）。第二步，交互层制作：每个基础任务分配 6 个协作情境，编写含开场白、信息切片、探针的脚本（每个探针带目标、刺激、期望行为、证据来源与二值清单）；静态检查与语义评审把过早泄露评测意图的探针打回重写；端到端试点确认协作能力可被激发；人工终审后入库。第三步，双模式执行：EXEC 开场即给完整规格，之后观测只来自环境；COLLAB 由模拟器（GLM-5.3）按脚本释放切片、逐字发射探针，上限 600 轮、6 小时（EXEC）/10 小时（COLLAB），全部报告 avg@3。第四步，任务判分：验证器从终态给出 0/1，平均得 $R_m = \frac{1}{|\mathcal{X}|}\sum_{x \in \mathcal{X}} \mathcal{V}_x(s_T^m)$。第五步，协作判分：四级聚合——任务级情境须全项通过才得 1（全有全无）；跨任务通过率达标才算通过，$\hat{r}_q = \mathbb{I}(\text{pass rate} \geq 0.75)$；子维度与维度取等权平均得 $S_{\text{COLLAB}} = \frac{1}{5}(s_U + s_S + s_{OR} + s_{TC} + s_{SR})$；最终联合分 $J_{\text{COLLAB}} = R_{\text{COLLAB}} \times S_{\text{COLLAB}}$。
技术新颖性
与现有工作的区别体现在四个层面。评测对象上，SWE-bench/Terminal-Bench 只测终态结果，Ambig-SWE、SWE-INTERACT、SWE-Together 虽引入用户但把交互当完成手段或只测指令遵循等单一行为，REALCLI 首次把协作本身作为五维、22 子维度的独立评测目标（Table 1 中唯一全列打勾的基准）。用户建模上，此前的模拟用户要么自由生成（不可复现），要么固定脚本时序（不随执行状态变化），REALCLI 的'脚本内容固定 + 时机动态'设计配合 append-only 台账与独立判官审计（98.0% 轨迹获得无有害偏差判定），兼得可控性与生态效度。证据机制上，不同于依赖 LLM 主观评分的对话式评测，REALCLI 的 1658 条检查项中 1103 条靠交互轨迹、413 条靠纯环境证据、142 条两者结合，且环境证据绝对优先——把'嘴上说得好'与'实际做没做'分开。指标设计上，75% 跨任务一致性阈值（防止偶发好运）与乘法联合分数（任务分无法补偿协作短板）都是评测方法论上的新构造，之前没有基准采用。
实验结果
在 33 个配置（11 个前沿模型 × Claude Code / Terminus-2 / Codex 三个脚手架）上的评测揭示四大发现。发现一：任务与协作严重脱节。最佳配置 Claude Opus 5 平均分仅 49.2%，联合协作分 $J_{\text{COLLAB}}$ 峰值仅 37.6%（Opus 5 在 Terminus-2 上：$R_{\text{COLLAB}}$ 62.4% × $S_{\text{COLLAB}}$ 60.2%）；GPT-5.6 Sol 在 Codex 上自主分 58.5%，联合分却暴跌 50pp 至 8.5%——任务执行与协作质量几乎独立。发现二：用户参与不是稳定增益。11 个 Claude Code 配置在 101 个匹配任务上平均通过率 46.8% vs 47.4%，几乎持平；但 36.5% 的匹配试验改变成败状态（17.9% 败转成、18.5% 成转败），交互是重新洗牌而非普遍提升。收益集中在 Codex（平均 +3.4pp）和可局部验证的需求类任务；退化集中在 Models & Algorithms（Opus 5 −57.1pp）等需要跨约束一致性的类别；Qwen3.8 Max 在 Codex 上 +15.7pp、Kimi K3 在 Terminus-2 上 +11.9pp，会主动澄清的模型受益。发现三：协作能力结构性失衡。各模型在 U 和 OR 上尚可（Opus 5 于 Terminus-2 分别达 85 与 89），但 S、TC、SR 系统性偏弱：GPT-5.6 Sol 在 Terminus-2 上 $R_{\text{COLLAB}}$ 47.5% 而 TC 仅 7%、SR 为 0%，呈现强行完成任务、无视安全警告的危险倾向。发现四：失败形态定位短板根源。成功交互轨迹中 91.0% 仍至少漏掉一个协作检查；模型跟随最新请求通过率 98.8%，但保留早期约束仅 54.4%、化解跨轮指令冲突仅 29.3%——主要缺陷是跨轮目标维持；91.3% 的约束保持失败体现在最终交付物，其中 53.3% 在对话中沟通检查全过——说到了不等于做到了。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| REALCLI 全任务平均（任务执行） | 平均任务分（$R_{\text{EXEC}}$/$R_{\text{COLLAB}}$ 均值，avg@3） | Claude Opus 5：49.2%（最佳配置） | 其余 10 个模型：22.7%–45.6%（DeepSeek V4.1 Flash 45.6% 次之，MiniMax M3 与 Hy3 仅 22.7%） | 对最强基线 +3.6pp；对最弱 +26.5pp |
| REALCLI-COLLAB（协作模式任务执行） | $R_{\text{COLLAB}}$（%） | Claude Opus 5 在 Terminus-2：62.4% | 同配置 $R_{\text{EXEC}}$：65.4%（交互后 −3.0pp） | −3.0pp（交互引入结构复杂性导致小幅退化） |
| REALCLI-COLLAB（任务×协作联合） | $J_{\text{COLLAB}}$（%） | 峰值 37.6%（Claude Opus 5 / Terminus-2） | 对应 $R_{\text{EXEC}}$ 65.4%，Δ −27.9pp | 协作约束使联合分较自主基线下降 27.9pp，暴露协作短板 |
| 自主 vs 协作的任务结果稳定性 | 匹配任务成败翻转占比 | 36.5% 翻转：17.9% 败转成 + 18.5% 成转败（净差仅 0.6pp） | aggregate 平均通过率 46.8%（交互）vs 47.4%（自主） | 总量持平但个体大幅重排，说明交互效应双向 |
| 协作五维分解（Opus 5 / Terminus-2） | U·S·OR·TC·SR 得分 | 85·40·89·43·43（$S_{\text{COLLAB}}$ 60.2，全场最高） | GPT-5.6 Sol / Terminus-2：48·30·11·7·0（$S_{\text{COLLAB}}$ 19.1） | 同为强任务模型，协作画像差异悬殊（SR：43% vs 0%） |
| 跨轮目标维持 vs 即时响应 | 严格通过率（%） | 跟随最新请求 98.8%，障碍后更新计划 80.2% | 识别范围蔓延 51.7%，保留早期约束 54.4%，化解指令冲突 29.3% | 即时响应与跨轮维持差距高达 69.5pp，定位核心缺陷 |
局限与改进
作者承认的局限：一是模拟用户与判官都由 LLM 承担（GLM-5.3 模拟、Claude Opus 4.8 判卷），尽管有台账审计（98.0% 无有害偏差）与污染标记机制，残余偏差无法完全排除；二是探针触发依赖执行轨迹，若前置条件未自然出现则标记为退化（degraded），该情境只能按实际发生情况判分或记 n/a，降低了部分情境的有效样本；三是任务规模有限（101 任务、606 个情境实例），每个子维度仅覆盖 12–40 个任务。我自己的观察：其一，脚本化用户的'真实感'存疑——真实用户会犯更多错、给更模糊的反馈，而本基准的探针措辞经过精修且逐字发射，可能低估模型应对混乱真实用户的难度，也可能因探针模式相对固定而被针对性过拟合；其二，$J_{\text{COLLAB}}$ 的乘法形式和 75% 一致性阈值都是作者的设计选择，阈值敏感性与替代聚合方式未做消融；其三，10 小时时限和 600 轮上限对 COLLAB 模式更宽松（10h vs 6h），两种模式的预算差可能部分混淆配对比较；其四，555 项环境证据检查虽好，但仍有 2/3 检查项依赖判官读轨迹，LLM 判卷的一致性未报告人工标注的对照数据。
独立分析的弱点
弱点一：协作评测的可过拟合性。51 个情境模板公开后，模型可在后训练中针对性学会'探针触发时先核实再说'的表面套路——例如 5.4 敏感信息保护情境模式相对固定（打包/提交/日志泄露三种），模型可能学到机械排除规则而非真正的风险嗅觉。改进方向：为高利害情境保留私测集、引入情境参数化变异（不同的诱饵文件名与借口话术），或像钓题一样动态生成同构不同面的探针。弱点二：模拟用户的单轮人格导致协作压力谱系窄。GLM-5.3 扮演的用户礼貌且守脚本，不会像真实用户那样连环追问、情绪化施压或自相矛盾地反复改需求（虽然 2.5 指令冲突情境有所覆盖，但频率受脚本限制）。改进方向：引入人格参数（专家/新手/急躁/多疑）与压力强度旋钮，测量协作能力的鲁棒曲线而非单点。弱点三：判官成本与可扩展性。每条轨迹要 Claude Opus 4.8 逐情境逐项判分并读环境快照，33 配置 × 101 任务 × avg@3 的判卷开销巨大，社区复跑门槛高。改进方向：蒸馏小判官模型并报告与 Opus 4.8 的一致率，或把更多检查项迁移到硬检查（hard_check）脚本化执行。弱点四：跨轮约束保持的根因分析止步于现象。论文发现 91.3% 约束保持失败体现在交付物而非对话，但没有区分是上下文遗忘（长会话中早期切片被挤出注意力）还是优先级误判（模型主动把新指令排在高收益老约束之前）。改进方向：做消融实验——在关键轮次注入约束提醒探针，观察失败率变化即可分离两种机制。弱点五：交互增益的因果解释不足，'反馈强化任务状态、缓解长上下文退化'是合理猜测但未直接验证。
未来方向
作者方向：其一，把协作能力作为训练目标——论文指出下一阶段 CLI 智能体的进步不仅靠更强自主执行，还需可理解、可引导、可信任的协作，因此可基于 REALCLI 的检查项构建协作奖励信号做 RL 后训练，专攻 S/TC/SR 三个弱项；其二，扩展框架到更多交互形态（多用户、异步审批、图形界面协同）；其三，深化配对分析，研究何时任务有效性协作质量对齐或背离。基于成果可延伸：第一，跨基准元评测——用五维框架审计现有自主基准的胜者，检验'自主高分'能否预测'协作高分'，若相关性弱则整个领域的模型选型标准需要修正；第二，把 22 子维度细化为可训练的过程奖励模型（PRM），在轨迹级而非结果级给协作行为打分，缓解稀疏奖励；第三，安全红线的对抗性压力测试——本文 SR 维度平均分极低（多模型为 0），值得单独扩展成专注提示注入与供应链投毒的安全基准；第四，长时程成本建模：论文报告交互使轨迹长度在全部 110 个模型-类别单元中变长（工具调用比 1.43×–3.62×）且 59.9% 的额外交互步不换来收益，可进一步研究'何时该问用户'的最优澄清策略，这对实际产品有直接价值。
复现评估
复现条件较好但成本不低。开源情况：论文标注了 GitHub 与 Hugging Face 链接，基准包含任务实例（instruction.md、environment/、tests/、solution/、verifier.py）与交互层（script.json、oracle_contract.json、traps/），并公开了用户模拟器完整 guide 与判官 prompt 模板（附录 D.3/D.4 逐字给出），透明度很高。数据与模型：101 个任务全部容器化隔离，验证器以 Python assert/Bash 为主，环境证据可确定性复算；被测的 11 个模型中多数开源（DeepSeek V4 系、Qwen3.8、Kimi K3、GLM 5.3 系、MiniMax M3、Hy3），闭源需 API。算力需求：这是主要门槛——每配置 101 任务 × 2 模式 × 3 次重复，单次运行上限 600 轮、6–10 小时，全量 33 配置的复现需要大规模 API 预算或大量 GPU 时间；判官还需对每条轨迹跑 Claude Opus 4.8。难度评估：跑单模型单脚手架（如 DeepSeek V4.1 Flash + Terminus-2）对一个有容器化经验的小团队是可行的（约 606 次运行）；完整复现论文表格则需要工业级预算。用户模拟器换成 GLM-5.3 需申请其 API。总体判断：数据与协议复现容易（开源 + 容器化 + 确定性验证器），全量结果复现中等偏难（预算约束），属于'可复现性设计良好'的基准论文。
论文图表
按十个类别对比匹配任务上两种模式的中位轨迹长度，标注交互/自主的中位轮数比。交互轨迹在全部 110 个模型-类别单元中更长，倍率从 1.43× 到 31.0× 不等（如 Frontend Build 某配置达 17.5×/31.0×）。
量化协作的执行成本：更长不等于更好——结合正文 59.9% 的额外交互步不改善奖励的数字，提醒读者交互的时间开销需要辩证看待。