面向长程终端智能的智能体数据规模化合成 Scaling Agentic Data for Long-Horizon Terminal Intelligence

完整流程分七步。第一步批量规划：Planner 读取已接受任务的目标、解法与反馈及历史研究审查记录，为每批产出 $n_b$ 份研究简报，指定工作范围、未覆盖的需求与待调研的真实来源。第二步深度研究：Deep Research 智能体按简报调研文档、代码库、issue 与专业资料，确定智能体需要发现什么、哪些问题需进一步分析/实现/调试、一个结果如何支撑后续工作，产出任务种子 $z_{b,i}$（公开指令草案加支撑证据）。第三步联合构建：Construction 智能体从种子合成具体实例，控制初始状态与验证条件，联合生成指令、环境、参考解、验证器与执行配置，满足 $C_{\mathrm{sem}}(V)\subseteq\mathrm{Sem}(I,O_{\mathrm{pub}}(E))$。第四步独立挑战：未参与构建的挑战者仅凭 $P(T_r)$ 执行，$\tau_r\sim\mathrm{Rollout}(\pi_B;P(T_r))$，验证器给出 $\rho_r$，综合审查 $d_r=\mathrm{Asyn}(T_r,\tau_r,\rho_r)$ 记录运行缺陷、信息泄漏、评分不一致及预期工作是否保留。第五步差距分析与重构：对比种子与轨迹，把遗漏工作归因于构建选择，用 $T_{r+1}=\mathrm{Refine}(T_r;z,\tau_r,d_r)$ 修订初始状态、对象关系、实现要求或工具反馈，回到第四步复检；通过的任务并入 $D_{b+1}$，反馈更新 $F_{b+1}$ 供下批规划。第六步渐进扩展：Evolution 智能体沿更广角色、更深机制、更丰富证据、方法升级四个方向提案，选择三种交互依赖设计落地，生成并验收 $T^{(g+1)}$。第七步轨迹采集与过滤：以 DeepSeek-V4-Pro-0813 为教师、Terminus-2 为框架每任务采 2 条轨迹，由 gpt-5.6-luna 按轨迹有效性、环境接地的进展、多轮训练价值三项标准审查，从约 3,070 条中保留 2,852 条构成 TerminalHorizon-3K。

与已有工作的具体区别有四点。其一，相对技能组合类方法（Terminal-World、SkillSynth、CLI-Universe 等）与证据接地合成（FACET 等），本文不只扩展任务覆盖，而是用独立执行证据检验预期行为是否在解题中真实发生，并以重构闭环修复被预支的工作——从生成任务升级为验证行为保留。其二，相对递归参考解扩展（RST）靠堆复杂度拉长轨迹，本文靠同目标下依赖先前结果的新需求让模式自然延伸，轨迹长度是行为连接的副产品（平均 52.8 轮、P90 98 轮）。其三，轨迹过滤采用过程导向三标准，明确允许保留含失败与纠错的未完成任务，而非只按最终成败取舍。其四，提出 27 种行为模式、五大类的分类学，为什么是高质量长程数据给出了可操作的定义与标注框架，并用中位 25 轮的连续反馈动作链等指标度量模式连接强度。

第一，教师上限锁死数据质量：DeepSeek-V4-Pro 通过率仅 50%，在更高扩展代 $T^{(g+1)}$ 上可能更低，导致困难任务的成功示范稀缺。改进方向是在这些自带私有验证器的环境上接入 RL（如 GRPO），用失败轨迹加奖励信号替代对教师成功示范的依赖。第二，审查环节主观性：轨迹过滤、差距分析与去污染语义审查全由 LLM 完成，审查者偏差无法量化。改进方向是开发可程序化的行为模式检测器（基于轨迹结构的规则或小型分类器）并用人工抽检校准。第三，跨阶段连接性只有间接指标：论文用平均 8.6 个模式/轨迹衡量，但未验证学生学到的是连接能力而非表面模仿。可设计消融——把轨迹阶段打乱重组后训练，对比下游长程任务表现差异。第四，部分类别零提升：TB 2.1 中科学计算等 5 类无增益，可能因证据链过长、验证器难写，可让 Planner 针对弱类别定向生成研究简报。第五，RSI 案例单次运行方差大（2048 仅 +7.71），需多种子重复才能支撑强结论。

作者方向：继续扩大高质量长程轨迹规模——Figure 6 显示 3K 处无饱和，扩展空间明确；覆盖更多模型尺寸（已在 27B/35B-A3B/122B-A10B 验证）。基于成果可延伸的方向：一是在合成环境上做在线 RL 或自我博弈，让模型从自身失败中学习而非只模仿教师；二是利用渐进扩展的代数 $g$ 构建课程学习，从 $T^{(0)}$ 到 $T^{(g)}$ 逐步加难；三是把挑战-重构闭环推广到终端之外的 GUI、Web 与多智能体协作环境；四是把 RSI 式长预算任务变成训练环境，将持续实验-修订-交付作为可优化目标而非仅是评测；五是多教师集成，按行为差异（如 DeepSeek 反馈链长、GLM-5.2 更保守）定向采样融合；六是研究行为模式连接性对学生模型内部表征的影响机制，为数据合成提供理论指导。

复现难度中等偏上。有利因素：训练配置完整公开（Table 4：LLaMA-Factory 全参 SFT，AdamW 学习率 $1\times10^{-5}$、cosine 调度、5% warmup、3 epochs、262,144 序列长、BF16+ZeRO-3+FlashAttention-2）；评测协议详尽（Appendix A.2：vLLM 部署、Terminus-2/Harbor2 框架、温度与步数上限、运行次数）；轨迹过滤与去污染提示词全文给出（Appendix J），去污染流程严谨——1,535 训练任务对 3,251 个评测实例，精确 13/14-gram 零命中，5-gram Jaccard 最大 0.006024，190 对候选经语义审查零污染。不利因素：合成管线依赖闭源强模型（教师 DeepSeek-V4-Pro-0813、审查 gpt-5.6-luna）且多角色循环编排复杂，复现引擎本身最难；27B 全参 SFT 用了 144 块 H20-141GB（18 节点）门槛高，但数据仅 3K 条，缩小模型或 LoRA 可大幅降低成本；评测需 8 块 H20 服务 vLLM。预印本标注了 Project Page 与 Data & Model 链接，若数据与模型如期开源，复现训练与评测的难度会显著下降。