OpenClaw-RL：通过对话简单训练任意智能体 OpenClaw-RL: Train Any Agent Simply by Talking
利用用户交互的下一状态信号在线优化个人和通用智能体的RL框架
前置知识
强化学习（RL）
强化学习是一种机器学习范式，智能体通过与环境交互获得奖励信号来学习最优策略。在LLM语境中，RL用于根据人类偏好或任务反馈优化模型输出，典型方法包括PPO、GRPO等。RL的核心是最大化累积奖励，通过策略梯度更新模型参数。
OpenClaw-RL的核心是扩展RL框架实现在线学习，理解RL基本概念是理解本文方法论的基础
GRPO（Group Relative Policy Optimization）
GRPO是一种无需critic网络的策略优化方法，通过组内相对优势估计来计算策略梯度。它对同一任务生成多个样本，计算组内相对奖励作为优势函数，避免了训练额外价值网络的开销。DeepSeek-R1和DAPO等工作扩展了GRPO的应用。
本文的混合RL目标之一是GRPO损失，理解GRPO的标量奖励机制是理解evaluative信号的基础
在线策略蒸馏（On-Policy Distillation）
在线策略蒸馏是一种训练方法，学生模型在自己的生成轨迹上接受教师模型的token级监督。与离线蒸馏不同，学生先采样响应，然后教师在学生轨迹上提供逐token的概率分布指导。这允许更细粒度的知识转移，但面临teacher-student分布不匹配的稳定性问题。
本文的directive信号通过hint增强的教师分布实现在线策略蒸馏，这是方法论的核心创新之一
过程奖励模型（PRM）
过程奖励模型（Process Reward Model）对推理或执行的每一步提供奖励信号，而非仅在最终结果处给予奖励。PRM通过评估每个中间步骤的质量来实现更密集的信用分配，特别适合长序列任务。PRM可以是标量评分模型或生成式验证模型。
OpenClaw-RL使用PRM从下一状态信号中提取评估性和指导性信号，PRM是异步信号提取的核心组件
下一状态信号（Next-State Signal）
在智能体交互中，每个动作后的下一状态包含了丰富信息：用户回复、工具输出、终端stdout/stderr、GUI状态变化等。这些信号隐含了对前一动作的评估（evaluative）和改进方向（directive）。例如，用户重新查询暗示不满，错误堆栈指向具体失败原因。
本文的核心洞察是将下一状态信号转化为在线训练的监督源，这是区别于传统批量RL的关键创新
服务器-客户端架构
在这种架构中，RL服务器托管策略模型并通过无状态API提供服务，用户终端通过HTTP流式回传交互数据。这种设计解耦了策略服务、环境托管、奖励评判和策略训练，使其成为四个完全独立的异步组件，避免互相阻塞。
OpenClaw-RL的基础设施创新在于扩展此架构支持从实时部署的智能体持续学习
研究动机
当前智能体系统在使用过程中产生大量交互数据，包括用户回复、工具执行结果、GUI状态转换等，但现有系统无法将这些实时数据转化为模型改进的信号。具体而言，现有RL基础设施（如OpenRLHF、veRL、slime等）假设数据在RL服务器上批量收集，训练和数据收集是分离的阶段。这意味着部署后的智能体无法从实际使用中持续学习，每次优化都需要预先收集固定数据集。此外，RLVR方法仅能处理标量奖励，无法利用下一状态中包含的token级指导信息；而纯蒸馏方法又因teacher-student分布不匹配导致训练不稳定。在长序列智能体任务中，仅依赖终端奖励会导致大量中间步骤缺乏监督信号，信用分配困难。
本文的目标是本文旨在构建一个统一的框架，使任何智能体能够通过简单的对话交互实现在线优化。具体目标包括：(1) 扩展现有RL基础设施支持从实时部署的智能体持续学习；(2) 从下一状态信号中自动提取评估性和指导性两种互补训练信号；(3) 设计混合RL目标统一两种信号，利用它们在频率和信息密度上的互补优势；(4) 通过重叠引导的提示选择和对数概率差裁剪解决蒸馏稳定性问题；(5) 构建首个统一终端、GUI、SWE和工具调用智能体的开源RL训练基础设施。
与已有工作不同的是，本文的独特切入角度在于将下一状态信号（next-state signal）视为流无关的（stream-agnostic）训练来源。不同于针对特定智能体类型设计专用训练流程的工作（如SWE-agent、DigiRL、WebRL等），OpenClaw-RL认为个人对话、终端执行、GUI交互、SWE任务和工具调用轨迹都产生本质上相同的信号——动作后的状态变化——可以流入同一个训练循环。这种视角使得框架能够统一处理异构交互流，通过单一策略同时从多种信号源学习。此外，本文首次将PRM评判扩展到在线设置，从实时下一状态信号推断过程奖励，而非依赖预先收集的标注数据。
核心方法
OpenClaw-RL的核心直觉是：每次智能体交互都会产生一个下一状态信号（用户回复、工具输出、终端状态变化等），这些信号包含了对前一动作的评估和改进方向。本文将这些异构信号转化为策略梯度。技术路线分为基础设施和方法论两个层面。基础设施层面，采用服务器-客户端架构，RL服务器托管策略模型，用户终端通过HTTP流式回传交互数据；系统完全解耦为四个异步组件：策略服务、环境托管、PRM评判和策略训练。方法论层面，从下一状态中提取两种互补信号：评估性信号（标量奖励）和指导性信号（token级提示），通过混合RL目标统一两者；引入重叠引导的提示选择解决teacher-student分布不匹配问题，并用对数概率差裁剪进一步稳定训练。
本文的核心创新在于识别和利用下一状态的双重信号性质。与RLVR方法仅能处理标量奖励、纯蒸馏方法仅能利用token级监督不同，OpenClaw-RL提出混合RL目标将两者统一。关键区别在于：(1) 评估性信号通过PRM多次投票产生多数奖励 $r_t \in \{+1, -1, 0\}$，每个被评判的回合都产生样本（密度高但信息压缩）；(2) 指导性信号仅在下一状态包含有意义的修正时触发，PRM提取简洁提示 $h$，将其附加到提示中形成 $s_t^h = s_t \oplus h$，获得教师分布 $\pi_T(\cdot | s_t^h)$ 提供token级指导（稀疏但信息丰富）。两种信号在频率和信息密度上互补，混合目标 $\mathcal{L}_{hybrid}^i = w_{RL}\mathcal{L}_{GRPO}^i + w_{OPD}\mathcal{L}_{OPD}^i$ 同时利用两者。此外，重叠引导的提示选择通过计算教师和学生分布的top-$k$词汇重叠度来选择最佳提示，保持重要性比率接近1。
方法步骤详情
OpenClaw-RL的方法包含以下完整步骤：(1) **请求分类**：每个API请求被分类为主线回合（可训练样本）或辅助回合（不产生训练数据），请求携带会话标识符以解复用并发交互流。(2) **下一状态捕获**：每个新主线请求的消息包含对前一回合的反应（用户回复或环境执行结果），作为下一状态信号 $s_{t+1}$。(3) **异步信号提取**：PRM作为独立推理服务器，给定动作 $a_t$ 和下一状态 $s_{t+1}$，进行 $m$ 次查询，每次返回 $\{+1, -1, 0\}$ 的投票，多数票作为标量奖励 $r_t$（评估性信号）。同时，PRM判断 $s_{t+1}$ 是否包含有意义的修正；若是，则提取提示 $h$（指导性信号）。(4) **教师分布生成**：提示附加到上下文后，查询同一模型获得教师分布 $\pi_T(\cdot | s_t^h)$。(5) **重叠引导的提示选择**：计算学生top-$k$词汇集 $S_i^q = \text{top-}k\{\pi_{old}(\cdot | s_t, y_{<i})\}$ 与教师top-$k$词汇集 $S_i^{p,h}$ 的重叠度 $O[h, i] = |S_i^q \cap S_i^{p,h}|$，选择重叠最大的提示 $h^*$。(6) **混合损失计算**：在词汇子集 $S_i$ 上计算裁剪代理损失，GRPO项使用标量优势 $A_{grpo}^i$，OPD项使用对数概率差 $\Delta_v = \text{clip}(\ell_{T,h^*}(v) - \ell_{old}(v), -C, +C)$ 加权的优势。(7) **异步训练**：梯度更新在定义好的边界推送到服务引擎，实时用户始终看到一致的策略。
技术新颖性
OpenClaw-RL的技术新颖性体现在多个层面。首先，在基础设施层面，这是首个将RL服务器扩展为支持从实时部署的智能体持续学习的开源框架，实现了策略服务、环境托管、奖励评判和策略训练的四重异步解耦，这是先前RL基础设施（假设批量数据收集）所不具备的能力。其次，在方法论层面，本文首次系统地从下一状态信号中提取两种互补训练信号并统一到单一更新中，这超越了RLVR（仅标量奖励）和纯蒸馏（仅token级监督）的局限。第三，重叠引导的提示选择是一种全新的提示选择准则，基于教师和学生分布的几何特性（top-$k$词汇重叠）而非表面启发式（提示长度、教师置信度等），有效解决了teacher-student分布不匹配问题。第四，对数概率差裁剪 $\Delta_v = \text{clip}(\ell_{T,h^*}(v) - \ell_{old}(v), -C, +C)$ 是一种新的稳定性机制，约束每个token的蒸馏更新幅度。最后，在应用场景上，这是首个统一终端、GUI、SWE和工具调用智能体的开源RL训练基础设施，使不同智能体类型能够在同一训练循环中学习。
实验结果
OpenClaw-RL的实验结果验证了框架在个人智能体优化和通用智能体RL两个维度的有效性。在个人智能体设置中，通过模拟学生、助教和教师三种用户角色，混合RL在联合优化下平均仅需10.3个会话即可使模型对齐用户偏好，分别优化时需15.0个会话，显著优于GRPO（14.1/21.1）、OPD（29.7/29.4）以及记忆方法Mem0（14.5/15.1）和技能演化方法Cognee（14.9/15.1）。值得注意的是，联合优化对混合RL的增益显著大于记忆和技能演化基线，表明三种优化目标对策略模型是内在耦合的。在通用智能体设置中，OpenClaw-RL在终端（128并行环境）、GUI（64并行）、SWE（64并行）和工具调用（32并行）四个场景实现统一训练。集成过程奖励和结果奖励在工具调用和GUI设置中分别达到0.25和0.33的准确率，优于仅结果奖励的0.19和0.31。在混合RL扩展实验中，ReTool多回合RL和RLVR（AIME 2024）设置下，混合RL均优于仅结果奖励和集成奖励基线。消融实验表明，重叠引导的提示选择（序列级和token级）比随机选择显著提升训练稳定性和最终性能，对数概率差裁剪对抑制极端偏移、防止响应长度失控至关重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 个人智能体优化（Student/TA/Teacher联合） | 达到优化效果的最小会话数 | 10.3 | GRPO: 14.1, OPD: 29.7, Mem0: 14.5, Cognee: 14.9 | 比GRPO减少27%，比OPD减少65% |
| 个人智能体优化（Student/TA/Teacher分别） | 达到优化效果的最小会话数 | 15.0 | GRPO: 21.1, OPD: 29.4, Mem0: 15.1, Cognee: 15.1 | 比GRPO减少29%，比OPD减少49% |
| 工具调用智能体（ReTool） | 准确率（250步后） | 0.25（集成奖励） | 仅结果奖励: 0.19 | 提升32% |
| GUI智能体 | 准确率（120步后） | 0.33（集成奖励） | 仅结果奖励: 0.31 | 提升6.5% |
| 混合RL扩展（ReTool） | 训练曲线最终性能 | 混合RL | 仅结果奖励、集成奖励 | 混合RL在训练效率和最终性能上均优于基线 |
| 混合RL扩展（RLVR/AIME 2024） | 训练曲线最终性能 | 混合RL | 仅结果奖励、集成奖励 | 混合RL在大规模批量训练下泛化良好 |
局限与改进
论文作者明确指出了两个重要的现实部署挑战。首先，负面或对抗性用户反馈（如误导性修正或恶意指令）可能毒化模型，如果直接用于在线更新会带来安全风险，这需要更强的训练数据过滤机制。其次，针对个人使用优化的模型可能编码用户特定偏好和私人信息，使其成为攻击的有吸引力目标，保护隐私和改善个性化在线学习的安全性是重要的未来方向。从独立分析的角度，本文的实验主要基于Qwen系列模型（4B/8B/32B），对其他模型家族的泛化性有待验证。个人智能体实验使用LLM模拟用户而非真实人类交互，模拟用户的保真度可能影响结论的外部有效性。在计算开销方面，托管PRM需要额外资源，论文也承认这是集成过程奖励相比仅结果奖励的权衡。此外，框架目前支持的智能体类型虽然广泛，但尚未覆盖多模态输入（如语音）或更复杂的协作场景。
独立分析的弱点
尽管OpenClaw-RL在多个维度展示了创新性，仍存在以下弱点值得关注。(1) **安全过滤机制不足**：论文承认负面或对抗性反馈可能毒化模型，但未提出具体的解决方案。在真实部署中，恶意用户可能故意提供误导性修正来操纵模型行为，当前框架缺乏对输入信号质量的自动评估和过滤机制，改进方向是设计鲁棒的异常检测和信号可信度评估模块。(2) **用户模拟的局限性**：个人智能体实验使用Qwen3-32B模拟用户，但模拟用户的行为模式可能与真实人类存在偏差，特别是在情绪表达、反馈模糊性和意图隐含性方面。改进方向是引入真实用户研究或多轮人机交互数据验证。(3) **模型家族依赖**：实验主要在Qwen系列模型上进行，对LLaMA、Mistral等其他架构的泛化性未被验证。改进方向是在多种模型架构上进行系统性评估。(4) **PRM资源开销**：集成过程奖励需要额外的PRM推理服务器，增加了部署成本和延迟。改进方向是探索更轻量的PRM架构或自蒸馏方法。(5) **异步一致性的边界条件**：虽然论文声称权重更新在well-defined boundaries推送，但在高频更新场景下，策略一致性保证的严格性有待分析。
未来方向
论文作者和基于本文成果可延伸的未来研究方向包括：(1) **训练数据过滤**：开发更强的训练数据过滤机制，识别和排除负面或对抗性反馈，确保在线更新的安全性。这可以借鉴对抗样本检测和数据中毒防御的研究。(2) **隐私保护的个性化学习**：研究如何在个性化优化过程中保护用户隐私，可能的技术路线包括联邦学习、差分隐私或安全多方计算。(3) **更广泛的智能体类型**：将框架扩展到语音交互、多模态输入（视频、图像）和多智能体协作场景。(4) **PRM效率优化**：探索更高效的PRM架构，如自蒸馏或轻量级验证模型，降低过程奖励的计算开销。(5) **理论分析**：对异步更新下的收敛性保证、混合RL目标的优化动力学进行更严格的理论分析。(6) **真实部署研究**：在真实用户场景中验证框架的有效性，包括长期使用的效果衰减、用户满意度变化等。(7) **跨域迁移**：研究在一种智能体类型上训练的策略能否有效迁移到其他类型。
复现评估
OpenClaw-RL在复现性方面具有显著优势。论文明确指出这是首个开源的统一RL训练基础设施，代码托管在GitHub（https://github.com/Gen-Verse/OpenClaw-RL）。基础设施基于slime框架构建，继承了其可扩展的训练能力。实验使用了公开可用的模型（Qwen3系列）和数据集（GSM8K、SETA RL、OSWorld-Verified、SWE-Bench-Verified、DAPO RL、AIME 2024），大部分可直接获取。论文提供了详细的超参数设置（学习率、KL系数、裁剪比率、批量大小等）和实验配置（附录A）。然而，完整复现需要显著的计算资源：个人智能体实验使用Qwen3-4B-Thinking-2507，通用智能体实验涉及最多128个并行环境和多种模型（4B-32B），这对计算资源有限的研究者构成挑战。此外，异步训练系统的部署和调试比标准批量训练更复杂，可能增加复现难度。总体而言，开源代码和详细配置使得技术复现成为可能，但计算成本和系统复杂性可能限制独立验证。
论文图表
