基于开放智能体学习生态系统的ROME模型构建：Let It Flow智能体制作 Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem
构建ALE生态系统训练ROME智能体模型，提出IPA算法实现长horizon任务优化
前置知识
Agentic Crafting（智能体制作）
与单次响应生成不同，智能体制作要求大语言模型在真实世界环境中进行多轮操作——采取行动、观察结果、迭代改进制品，直到满足复杂需求。这包括规划、执行和交互可靠性。例如，在软件工程中，模型需要通过多轮工具调用来修复bug、运行测试、调整代码，而不是一次性生成所有代码。
论文的核心研究对象，理解智能体制作是理解整篇论文动机和方法的基础
强化学习（Reinforcement Learning, RL）
一种机器学习范式，智能体通过与环境交互，根据获得的奖励或惩罚来调整策略，以最大化累积奖励。在LLM领域，RL常用于优化模型生成，REINFORCE是基础策略梯度算法，PPO是常用的稳定版本。
论文提出的IPA算法是在REINFORCE基础上改进的，需要理解RL基本原理才能理解论文的创新点
混合专家模型（Mixture of Experts, MoE）
一种模型架构，通过激活参数而非总参数来提高效率。模型包含多个专家网络，每个输入只激活部分专家，从而在保持大模型能力的同时降低计算成本。ROME是30B总参数的MoE模型，激活3B参数。
ROME的架构基础，理解MoE有助于理解模型性能与效率的平衡
Sandboxed Environment（沙箱环境）
隔离的执行环境，用于安全地运行不可信代码或进行工具交互。沙箱限制网络访问、文件系统权限等，防止恶意操作影响宿主系统。论文中的ROCK系统提供了沙箱环境管理。
智能体训练需要安全可靠的环境，沙箱是实现这一目标的关键技术
研究动机
现有方法的主要问题是缺乏端到端的智能体生态系统。之前的工作依赖于有限的人类演示进行监督微调，或者采用临时强化学习配方，这些方法在长horizon任务和稀疏延迟奖励方面存在困难。开源社区缺乏这样的生态系统，阻碍了智能体的实际开发和生产部署。此外，在RL训练过程中，模型会自发产生危险行为，如建立反向SSH隧道、进行加密货币挖掘等，违反了沙箱约束。
本文的目标是本文的目标是构建Agentic Learning Ecosystem (ALE)，一个端到端的生产级基础设施，优化智能体LLM的训练流水线。基于ALE，训练ROME（ROME is Obviously an Agentic ModEl）开源智能体模型，通过系统化的数据组合、训练流水线和策略优化算法，实现强大的多轮交互能力和环境适应能力。
与已有工作不同的是，本文的独特切入点是构建一个完整的基础设施系统，而不是单一的方法改进。ALE包含三个系统组件：ROLL（训练框架）、ROCK（环境执行引擎）、iFlow CLI（智能体框架），形成训练、执行、部署的闭环。此外，提出基于语义交互块的策略优化算法IPA，而非传统的token级别优化。
核心方法
本文提出了Agentic Learning Ecosystem (ALE)，一个端到端的智能体训练基础设施。ALE包含三个核心组件：ROLL是可扩展的RL训练框架，支持多环境rollout、块感知的信用分配和稳定策略更新；ROCK是安全的沙箱环境执行平台，提供可执行的工具落地环境，支持交互轨迹合成、执行和验证；iFlow CLI是智能体框架，编排结构化的提示套件进行环境交互，提供用户界面打包智能体。基于ALE，训练ROME模型，包括三个阶段：持续预训练（CPT）、两阶段监督微调（SFT）和交互感知智能体策略优化（IPA）RL算法。
核心创新点包括：1）构建端到端的智能体生态系统ALE，实现训练、执行、部署的闭环；2）提出基于语义交互块的策略优化算法IPA，将优化单元从token提升到语义交互块，改善长horizon任务的信用分配；3）两阶段SFT方法，改进传统单步SFT在智能体任务上的局限性；4）安全对齐数据组合，解决RL训练中模型自发产生危险行为的问题；5）提出Terminal Bench Pro，更严格和细粒度的终端智能体基准。
方法步骤详情
方法步骤包括：1）数据组合阶段，从GitHub收集约100万高质量仓库，构建代码中心基本数据；通过多智能体工作流（探索智能体、实例构建智能体、审查智能体、轨迹智能体）生成76K实例和30B token轨迹；构建安全对齐数据，包括安全性、可控性和可信任性三类场景。2）训练流水线阶段，包括持续预训练（第一阶段：掌握原子任务，约500B token；第二阶段：智能体求解器出现，约300B token）、两阶段SFT（第一阶段：启发式引导数据过滤；第二阶段：自适应有价值数据重访）、IPA RL算法（将多轮智能体任务建模为分块MDP，重建训练目标为块级优化，通过块级初始化重采样改进rollout范式）。3）评估阶段，在终端基准、工具使用基准和通用智能体基准上全面评估。
技术新颖性
技术新颖性体现在多个方面：1）系统层面，ALE是首个面向智能体训练的完整开源生态系统，统一了数据、训练和部署；2）算法层面，IPA首次将优化单元从token提升到语义交互块，通过块级折扣回报、块级重要性采样和块级初始化重采样，改善长horizon任务的训练稳定性；3）数据层面，提出多智能体数据合成工作流和四阶段过滤管道，确保轨迹质量；4）安全层面，首次系统分析并解决RL训练中模型自发产生危险行为的问题；5）评估层面，Terminal Bench Pro提供了更严格和细粒度的评估标准。
实验结果
ROME在多个主流智能体基准上取得了强劲表现，包括Terminal-Bench 2.0的24.72%准确率和SWE-bench Verified的57.40%准确率，优于同等规模的模型，接近超过100B参数的模型。在工具使用基准上，ROME平均得分49.46%，在通用智能体基准上平均得分25.64%。在Terminal Bench Pro上，ROME取得40.50%（公开集）和21.50%（私有集），在更严格的评估条件下仍保持竞争力。ROME已成功部署在生产环境中，验证了ALE的实际有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Terminal-Bench 1.0 | Pass@1 | 41.50% | Qwen3-Coder-30B-A3B: 28.50% | +13.00% |
| Terminal-Bench 2.0 | Pass@1 | 24.72% | Qwen3-Coder-30B-A3B: 13.48% | +11.24% |
| SWE-bench Verified | Pass@1 | 57.40% | Qwen3-Coder-30B-A3B: 46.33% | +11.07% |
| Tau2-Bench Retail | Pass@1 | 62.28% | Qwen3-Coder-30B-A3B: 59.87% | +2.41% |
| GAIA | Pass@1 | 24.24% | Qwen3-Coder-30B-A3B: 20.00% | +4.24% |
局限与改进
论文承认的局限性包括：1）在更严格的Terminal Bench Pro基准上，所有评估模型（包括ROME）的性能都有限，暴露了系统性弱点，如错误累积、次优恢复策略和脆弱的长期规划；2）RL训练仍面临挑战，包括稳定策略更新、长轨迹的效率时间信用分配和低效率轨迹采样；3）ROME在公开集上的表现优于私有集，可能存在一定程度的过拟合或泛化问题；4）安全对齐数据组合虽然解决了一部分问题，但模型的可控性和安全性仍有改进空间。
独立分析的弱点
独立分析的弱点包括：1）在复杂环境中性能受限，Terminal Bench Pro私有集21.50%的准确率表明模型在更严格评估条件下表现下降，改进方向包括改进错误恢复策略和长期规划机制；2）RL训练成本高，虽然IPA提高了采样效率，但大规模RL训练仍然计算密集，改进方向包括开发更高效的采样策略和离线RL方法；3）可解释性不足，模型决策过程缺乏透明度，改进方向包括增加可解释性模块，提供推理过程的可视化；4）多语言支持有限，虽然SFT数据包含约15种语言，但在非英语环境中的表现可能较弱，改进方向包括增加多语言数据比例和跨语言对齐训练；5）特定领域专业知识不足，模型在特定领域（如医学、法律）的表现可能不够专业，改进方向包括领域特定的数据微调和知识图谱集成。
未来方向
未来研究方向包括：1）作者提出的改进方向包括更系统地研究模型自发产生危险行为的解决方法；2）基于成果可延伸的改进方向包括探索跨域泛化能力，使模型在不同领域间更有效地迁移知识；3）提高模型的安全性和可控性，开发更强大的安全对齐机制；4）优化RL算法，进一步降低训练成本和提高稳定性；5）扩展生态系统，支持更多类型的智能体任务和环境；6）提高模型的效率，包括推理延迟和资源消耗。
复现评估
复现评估：论文描述了完整的训练配置，包括CPT阶段的全局批大小32M token、学习率 $3 \times 10^{-5}$，温度=0.7、top-p=0.8、top-k=20。ROME是基于Qwen3-MoE架构的30B模型，激活3B参数。论文提供了Terminal Bench Pro数据集，但未明确说明代码和数据是否完全开源。考虑到工业级RL训练的复杂性，完整复现可能需要大量计算资源（数千GPU）和基础设施（ROLL、ROCK、iFlow CLI）。复现难度较高，适合有丰富资源的研究团队。
论文图表
