TerminalWorld：在真实世界终端任务上对智能体进行基准测试 TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
从asciinema录制逆向工程出1530个真实终端任务，评估前沿模型最高仅62.5%通过率
前置知识
终端智能体(Terminal Agent)
能在交互式CLI会话中自主发出命令、组合工具、解释执行反馈并完成多步工作流的系统，如SWE-agent、Claude Code、Codex CLI等，是本文的评估对象。
理解终端智能体的动作空间和反馈循环，才能理解为何真实终端任务对它们构成巨大挑战。
asciinema录制
asciinema平台上开发者自愿分享的终端会话记录，以结构化转录形式保存每条命令及其系统响应，是高保真文本数据源，本文的数据采集起点。
它是整个数据引擎的原料，理解其结构与噪声特性才能理解为何需要逆向工程与多重验证。
测试预言机问题(Test Oracle)
判定程序是否满足预期行为的难题。本文通过为每个任务自动合成断言式测试套件来判断智能体是否达成目标状态，本质是在解决测试预言机问题。
理解测试预言机的概念才能领会三阶段试用循环（AllPassing/Nop/Partial）为何必要。
Docker环境复现
通过LLM智能体合成Dockerfile与docker-compose.yaml，构建隔离容器并安装真实依赖，使原始终端工作流能在沙箱中被确定性地重放与评估。
没有可复现的执行环境就无法判断任务可解性和测试健全性，这是评估真实性的基石。
研究动机
随着LLM多步推理与工具使用能力提升，终端智能体（如SWE-agent、Claude Code、Codex CLI、Gemini CLI）日益成为自动化复杂软件工作流的主流方案，但如何可靠评估它们在真实世界终端任务上的表现仍是开放难题。现有答案依赖专家手工策展的基准测试，如Terminal-Bench（Merrill等2026）和LongCLI-Bench（Feng等2026），其任务由领域专家配对可执行环境撰写。然而专家往往倾向于设计对抗性难题以人为最大化难度，从而偏离真实的开发终端工作流；这种劳动密集流程难以跟上不断演进的终端实践与层出不穷的新工具，导致基准范围狭窄且迅速过时。近期的自动化合成方法（Zhu、Lin、Gandhi、Pi、Wu等2026）虽试图绕过可扩展性瓶颈，但主要面向训练且很少经过保证真正真实性的严格验证，容易出现假阴性与假阳性。
本文的目标是本文的核心目标是建立一个真实且可扩展的评估系统，从而回答关键问题：终端智能体在随日常实践不断演进的现实世界任务上表现究竟如何？为实现这一点，作者主张自然发生的终端操作若被忠实记录，便可被逆向工程为“构造即真实”的评估任务。具体而言，作者提出TERMINALWORLD——一个可扩展的数据引擎，能自动将in-the-wild终端录制转化为可执行、经过严格验证的评估任务，并据此构建包含1530个验证任务的完整基准与200个交叉人工审核的VERIFIED子集，用于在复杂真实终端任务上系统评测前沿模型与智能体，揭示当前系统的能力边界。
与已有工作不同的是，本文的独特切入角度是利用asciinema平台——开发者自愿分享终端会话录制、每条带有结构化命令与系统响应转录的语料库，形成了自策展、人工审核、持续增长的真实开发工作流集合。这与视频录制不同：视频需要视觉语言模型(VLM)解析且开销巨大、信息损失严重，而asciinema转录提供高保真文本记录，可直接用LLM蒸馏。相较于专家策展追求难度与人工合成追求规模却牺牲验证严谨性，TERMINALWORLD通过逆向工程真实人类工作流，并以Docker执行反馈循环进行严格验证，从构造上同时保证真实性与可扩展性。这使得基准能随asciinema新录制持续重跑，反映演进的开发实践。
核心方法
直觉上，若终端操作被忠实记录，就可逆向工程为评估任务。TERMINALWORLD数据引擎据此设计为四阶段自动化流水线：第一步从asciinema采集大规模真实录制，共获得80870条；第二步用LLM（如Claude Sonnet 4.6）将噪声转录蒸馏为结果导向的任务指令与干净的参考解决方案；第三步用LLM智能体（如Claude Code）合成并迭代修复Docker镜像，使参考工作流能在隔离容器中确定重放；第四步在复现的Docker环境内用基于试用的精炼循环生成并校准测试套件。整套流水线全自动且以执行反馈驱动，对原始记录到验证任务的转化做了端到端处理，最终从80870条原料蒸馏出1530个验证任务，并通过四种过滤（PII/安全、纯CLI、可复现、质量评分）将9492条高质量记录作为合成输入。
核心创新在于把“真实开发工作流即评估任务”这一洞察操作化为可自动执行的引擎，并通过执行反馈驱动的三层验证确保任务既可解又非平凡。与依赖专家撰写对抗性难题、或仅做合成却跳过验证的已有方法本质不同，TERMINALWORLD以试用精炼循环（AllPassing/Nop/Partial三种Trial）同时消除假阴性（过严测试拒绝正确解）与假阳性（空状态或不完整解也通过）。指令被严格设计为结果导向——只描述最终状态而非路径，从而接受任意正确命令路径，这与人类工作流仅有21.4%命令集重叠的发现一脉相承。LLM智能体物理构建Docker、用运行时失败作为定向修复反馈，消除了静态合成易产生的依赖幻觉。
方法步骤详情
第一步数据采集：系统性索引公开asciinema录制，获取转录文本与元数据，并进行五重过滤（排除PII/恶意命令如rm -rf *、剔除TUI/GUI、移除不可复现的Windows/专有软件、删除过短会话、用LLM评分过滤低质量），最终得9492条高质量录制。第二步任务合成：LLM形式化自然语言指令，要求描述期望最终状态、规定输出路径（如/app/result.txt）与严格格式，禁止过程化表述；再从转录分块提取、去重、合并命令脚本，把最终结果重定向到文件以保证幂等。第三步环境复现：LLM智能体合成Dockerfile与docker-compose.yaml，构建镜像并以日志诊断修复，启动容器重放参考脚本，仅当退出码为0才算成功，否则把运行时错误反馈定向修复，最终复现5035个环境。第四步测试生成：捕获执行前后文件系统状态增量生成断言，再经三阶段Trial校准——AllPassing要求参考方案使全部测试通过、Nop要求空状态使全部测试失败、Partial要求对截断/消融方案至少一测试失败，全满足才采纳，最终得1530个验证任务。
技术新颖性
技术新颖性体现在三方面：其一，首创以asciinema in-the-wild录制为原料的逆向工程范式，将真实人类工作流系统性转化为评估任务，覆盖18个真实类别与1280个唯一命令（其中91%不存在于Terminal-Bench）；其二，提出执行反馈驱动的环境复现循环，用LLM智能体物理构建Docker并通过运行失败定向修复，既消除依赖幻觉又保证可确定性重放；其三，设计基于试用的测试套件精炼机制，用AllPassing/Nop/Partial三层Trial同时压制假阴性与假阳性，使自动化生成也能达到VERIFIED级别严格度。整体方法把“真实性”与“可扩展性”从对立变成相容——因为流水线全自动且asciinema持续增长，基准可随开发实践演进重跑。
实验结果
实验在TERMINALWORLD-VERIFIED上评测8个前沿LLM与6个终端智能体。发现一：最佳模型Claude Opus 4.7通过率也仅62.5%，整体平均54.8%；开源模型（Kimi K2.6 57.5%、GLM 5.1 57.0%）快速追赶并部分超越闭源（Gemini 3.1 Pro 55.0%、GPT-5.5 53.5%），成本效益高出4–8倍（$0.11–0.20 vs 闭源$0.51–0.94/Pass）。发现二：效率悖论——成功率与轮数（$r=-0.49$）、token用量（$r=-0.62$）弱负相关，失败尝试平均多耗3.3倍token与1.4倍时间，却占63%总成本、仅43%尝试数。发现三：工具能力两极，环境搭建（87.5%）、软件构建测试（78.1%）强，性能优化（28.1%）、脚本自动化（39.1%）、调试测试（39.3%）弱。发现四：Terminal-Bench 2.0分数预测性弱（$r=0.20$），GPT-5.5在那约83%却在此仅53.5%。发现五：智能体与人类命令集中位重叠仅21.4%，常以替代路径达成相同正确结果。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 前沿LLM终端任务通过率（Terminus-2脚手架） | Pass Rate (%) | Claude Opus 4.7达62.5%（解析率64.8%），开源Kimi K2.6达57.5% | 整体平均54.8%（49.0%–62.5%） | 最佳模型仍失败超1/3任务，凸显真实终端任务对SOTA构成实质挑战 |
| 成本效益($/Pass) | 每通过任务美元成本 | 开源模型平均$17.13，MiniMax M2.7低至$0.11/Pass | 闭源模型平均$70.82 | 开源模型成本效益领先4–8倍 |
| 与Terminal-Bench 2.0分数相关性 | Pearson相关系数 | r = 0.20（弱相关，排名洗牌） | 专家策展基准之间通常强相关 | 证明TERMINALWORLD捕捉到专家基准未覆盖的真实终端能力 |
| 智能体框架对比（Claude Opus 4.7） | Pass Rate (%) / $/Pass | Terminus-2 62.5%/$0.51，mini-SWE-agent 52.0%/$0.55 | OpenHands 45.0%/$4.12 | 框架主要影响成本效益而非能力天花板，OpenHands贵8倍却更弱 |
| 命令集与人类工作流重叠 | Jaccard相似度中位数 | 21.4% | 1.0（完全相同） | 智能体以替代命令路径达成相同正确结果，验证结果导向设计 |
局限与改进
作者明确承认若干局限：其一，本文将终端任务限定为纯CLI工作流，把基于TUI（如vim、nano、emacs）与GUI的交互排除在评估范围之外，留待未来工作，这导致大量真实开发场景未被覆盖；其二，质量过滤与任务合成高度依赖LLM（Claude Sonnet 4.6）的判断，可能引入模型自身偏见或未被发现的合成错误，VERIFIED子集虽经4位作者交叉审核但仅200个任务；其三，复现受算力预算限制，不可复现或依赖不可访问资源的录制被丢弃，最终从80870条原料仅得1530个任务，留存率不足2%，可能存在选择偏差；其四，Harbor评估框架对非Terminus-2智能体偶发基础设施错误（如容器初始化超时、依赖冲突），导致解析率与通过率存在差距。我自己观察到的额外问题：评测集中在英文/通用Linux生态，对本地化、企业专有工具链与长会话上下文管理的覆盖不足；效率悖论的因果方向（是弱规划导致更多探索，还是更多探索本身无效）仍需更细的轨迹剖析。
独立分析的弱点
弱点一：留存率极低（80870→1530约1.9%），过滤链路对LLM质量评分与可复现性敏感，可能系统性偏置向“易被Claude复现的任务”，建议引入多模型交叉过滤与对抗性质量评估。弱点二：依赖单一闭源模型族（Claude Sonnet 4.6 / Claude Code）做合成与复现，存在自我评估风险——若评测模型与合成模型同源，可能高估可解性；改进方向是开放合成管线并用开源模型复现，提供跨模型一致性报告。弱点三：三阶段Trial（AllPassing/Nop/Partial）虽压住常见假阳/假阴，但Partial只用截断/消融作为“不完整解”，难以覆盖语义等价但逻辑错误的解；建议加入基于等价变换的对抗样本与基于属性测试的更强判别。弱点四：TUI/GUI被排除使基准偏离真实开发日常（大量vim/编辑器操作），未来应扩展到TUI录制解析。弱点五：成本统计未公开各模型定价假设与token口径，$0.11/Pass等数字复现门槛高。
未来方向
作者提出的方向包括：把评估范围从纯CLI扩展到TUI/GUI交互，覆盖vim等编辑器场景，详见附录B；持续重跑流水线以随asciinema新录制演进基准，反映开发实践变化。基于本成果可延伸的研究：其一，针对效率悖论研发可靠的规划与停止判据，使智能体能更早识别死路而非暴力探索；其二，借鉴Agents vs Humans分析（21.4%重叠），构建命令路径多样性的奖励信号以训练更具泛化性的终端策略；其三，把执行反馈驱动的环境复现与测试精炼管线迁移到其他动作空间（如浏览器、数据库运维、云基础设施即代码）；其四，研究跨模型合成一致性，用模型集成降低单一模型策展偏差；其五，对失败轨迹做细粒度分类学剖析，定位“领域盲点”（性能优化28.1%等）的可补救成因。
复现评估
作者声明数据与代码开源在https://github.com/EuniAI/TerminalWorld，是正向信号。复现难度整体较高：需要大规模asciinema录制抓取（80870条）、大量Claude API调用（合成指令、参考方案、环境复现、测试生成多阶段均用LLM），算力与API成本可观——仅环境复现就需对5035+个任务物理构建并启动Docker容器、多轮迭代修复，每任务最多三次Trial且每次都要起隔离容器。VERIFIED子集虽给出固定200任务便于横向比较，但完整1530任务集与原始录制的可获取性、各模型定价口径、Harbor harness的具体版本与配置都需要进一步文档化。综合判断：200任务的VERIFIED子集评估可被社区复现并扩展，但完整数据引擎端到端重建对普通研究者门槛较高，依赖较强API预算与容器编排能力。
论文图表
包含三个子图：(a)任务类别分布显示TERMINALWORLD覆盖18个真实类别，容器编排、CI/CD、云基础设施等在Terminal-Bench中严重缺失；(b)任务复杂度分布显示从短操作到50+步工作流的自然谱系；(c)唯一命令覆盖显示1280个唯一命令，91%不存在于Terminal-Bench，涉及vagrant、virtualenv、terraform、ansible、k3d、kustomize等。
用三项量化指标系统论证了TERMINALWORLD相比专家策展基准在真实性、多样性与复杂度上的优势，是动机与方法有效性的直接证据。