CLI-Gym：通过智能体环境反演实现可扩展的 CLI 任务生成 CLI-Gym: Scalable CLI Task Generation via Agentic Environment Inversion

CLI-Gym 管线包含三个主要步骤。第一步是金标准实例构建（Gold Instance Construction）：从 SWE-Smith 的仓库集合中选择 29 个 Python 开源仓库，使用基础 Docker 镜像安装代码库并通过所有单元测试，构建出健康环境 $S_{gold} = (B, D, C)$，其中 $B$ 是基础镜像，$D$ 是 Dockerfile，$C$ 是代码库。第二步是环境反演（Environment Inversion）：首先从仓库中随机采样 1-3 个干预方向和 200 个单元测试，用 LLM 生成环境反演提示（包含之前任务的记忆池以促进多样性）；然后将提示嵌入任务模板，让智能体在 Docker 容器中自主执行破坏性命令（每个任务约 15 分钟），智能体可以操作文件系统、虚拟环境、依赖配置等系统级状态；执行完成后自动运行测试，若至少一个测试失败则记录为有效任务，同时让智能体总结一个可复现故障的 Dockerfile。第三步是问题实例生成（Problem Instance Generation）：使用 LLM 根据失败的单元测试和原始任务描述自动生成自然语言的问题描述（bug report），并可选择性地添加提示（hint），最终组装成包含可执行环境、问题描述和验证测试的标准化任务实例。从 4,066 个任务提示中，成功生成了 1,655 个问题实例，收集到 417 条成功轨迹，经质量过滤后保留 291 条用于训练。

CLI-Gym 的技术新颖性体现在多个层面。首先，在方法论层面，这是第一个将环境密集型任务的数据生成建模为智能体环境反演的工作，与现有基于 PR 的代码密集型任务管线（SWE-smith、R2E-gym 等）在本质上不同——后者依赖已有的版本控制历史，而本文创造了一种新的「模拟历史「机制。其次，在技术实现层面，智能体在执行反馈指导下进行迭代式探索，而非一次性生成 Dockerfile，这使得故障场景更加多样化和真实。论文中提到，智能体的破坏操作不仅限于代码修改，还包括破坏系统库的 ELF 头（如 Figure 4 所示的 libsqlite3 和 libz 库破坏）、篡改 locale 配置等系统级操作，这些超出了传统代码修改的范畴。第三，在数据质量控制方面，论文提出了基于轨迹步骤数（过滤少于 20 步的简单轨迹）和作弊检测（过滤利用缓存 Git 信息或 Conda 日志等捷径的轨迹）的过滤策略，实验表明在建立了基础智能体能力后，数据质量比数量更重要。最后，在规模上，1,655 个任务实例是 Terminal-Bench 的近 20 倍，且存储占用仅 119 GB（相比之下 SWE-gym 的 2,438 个实例需要 6 TB）。

从独立分析的角度，CLI-Gym 存在几个值得关注的弱点。第一，环境反演的「破坏者「智能体和「修复者「智能体使用相同的 LLM，这可能导致生成的故障模式与修复策略之间存在系统性偏差——智能体倾向于生成自己「知道怎么修「的故障，而非更具挑战性的真实世界故障。改进方向可以考虑使用不同系列的模型分别充当破坏者和修复者，或者引入规则化的破坏策略来增加故障的「意外性「。第二，任务验证完全依赖单元测试的 fail-to-pass 判定，但某些环境问题（如性能退化、间歇性故障、权限问题的边界情况）可能无法被现有的单元测试覆盖。可以考虑引入更丰富的验证信号，如运行时行为监控、性能基准测试等。第三，论文仅在 Qwen3 系列模型上进行了微调实验，未验证方法对其他模型架构（如 Llama、Mistral 系列）的泛化性。第四，15 分钟的智能体探索时间限制可能排除了需要更长操作序列的复杂故障场景，而这些恰恰可能是最有训练价值的样本。第五，轨迹过滤策略（排除少于 20 步的轨迹）虽然合理，但也可能丢弃了虽然步骤少但诊断难度高的「简洁故障「样本。

论文和其成果共同指向了多个有前景的研究方向。作者指出游戏和科学计算等类别在当前方法下提升有限，这些领域的环境交互模式（如图形渲染、数值计算依赖）与典型的 CLI 任务有本质区别，需要专门的环境反演策略。从更广阔的角度看，CLI-Gym 的环境反演范式可以推广到更多环境类型，例如 Web 服务环境（反演 nginx/Redis 配置）、数据库环境（反演 schema 和数据完整性）、网络环境（反演路由和防火墙规则）等。另一个重要方向是将环境反演与在线强化学习结合——当前方法是先生成数据再离线微调，如果能让智能体在反演过程中同时学习修复能力（类似对抗训练），可能进一步提升数据效率。此外，提高上下文效率以解决训练后模型的上下文超限问题也是关键优化方向，可以考虑引入分层记忆机制或压缩历史交互的方法。最后，将 CLI-Gym 的任务生成能力与更强大的智能体框架（如论文中提到的 Terminus 2）结合，可能释放更大的性能潜力。

CLI-Gym 在可复现性方面表现较好。代码已在 GitHub 开源（https://github.com/LiberCoders/CLI-Gym），数据集也以 CLI-Gym Environments 的名称发布。使用的 29 个基础仓库均为公开的 Python 开源项目，Dockerfile 保证了环境的确定性复现。训练方面，论文详细报告了超参数设置：Qwen3-32B 使用学习率 $2 imes 10^{-5}$，余弦退火调度，线性预热 5%，batch size 16，最大序列长度 100k tokens（通过 YaRN 扩展 2.5 倍），训练 10-20 个 epoch 选取最优检查点；Qwen3-235B-A22B-Instruct 使用学习率 $1 imes 10^{-5}$。推理使用贪心解码（temperature=0），最大上下文 128k。算力需求方面，291 条轨迹的微调在现代 GPU 集群上应该是可行的，但论文未明确报告 GPU 时数。数据生成阶段消耗了 2.3B tokens，这需要相当的 API 调用成本。总体而言，微调阶段的复现门槛较低，但数据生成阶段需要较大的 LLM 推理资源。OpenHands 框架也是开源的，评估流程有标准化的 Docker 容器隔离。