RLAnything：在完全动态强化学习系统中联合锻造环境、策略与奖励模型 RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System
通过闭环优化同时优化环境、策略和奖励模型，实现LLM代理任务的显著提升
前置知识
强化学习与可验证奖励（RLVR）
RLVR是一种利用可验证的最终结果来训练大语言模型推理能力的方法。在传统RLHF中，奖励信号通常来自人类标注的偏好数据，而RLVR则使用可以直接验证的正确性信号（如代码是否通过测试、答案是否正确）。这种方法在单轮问答任务中已被证明有效，但在需要多步交互的复杂任务中，仅靠最终结果的二元奖励信号过于稀疏，无法提供足够的监督信号。
理解RLVR是理解本文动机的关键，因为RLAnything正是为了解决RLVR在多轮交互任务中的局限性而提出的。
过程奖励模型（Process Reward Model）
过程奖励模型是一种能够对策略的每个中间步骤进行评估的模型，而不仅仅是评估最终结果。与传统的结果奖励模型（Outcome Reward Model）只在任务结束时给出奖励不同，过程奖励模型会在每个步骤提供细粒度的反馈信号。这类模型通常利用语言模型的推理能力来评估步骤质量，但训练它们通常需要收集高质量的任务特定监督数据。
RLAnything的一个核心创新就是联合优化过程奖励模型，使其能够提供更可靠的步骤级反馈，这对长轨迹任务的训练至关重要。
环境任务难度自适应
在强化学习中，任务难度与模型当前能力的匹配程度会显著影响训练效果。如果任务太难，模型会因为成功率太低而无法获得足够的正向学习信号；如果任务太简单，模型则无法学到新技能。已有研究表明，动态调整任务难度可以改善策略训练，但现有方法通常是单向的（只让任务变难或变简单），且缺乏对奖励模型训练的考虑。
RLAnything将环境自适应纳入闭环系统，不仅优化策略训练，还同时改善奖励模型的训练质量，这是本文的独特视角。
闭环优化系统
闭环优化系统是指系统中的各个组件能够相互提供反馈并共同进化的架构。在传统的强化学习系统中，环境、策略和奖励模型通常是独立设计或顺序优化的。而在闭环系统中，策略的输出成为奖励模型的训练数据，奖励模型的评估又指导环境的任务调整，调整后的环境反过来影响策略的学习。这种相互促进的关系可以放大学习信号，提升整体系统性能。
RLAnything的核心思想就是构建这样一个环境、策略和奖励模型三者相互反馈的闭环系统。
研究动机
当前强化学习在大语言模型中的应用面临三个相互关联的瓶颈。首先，在复杂的真实世界应用中（如计算机控制、文本交互游戏），策略需要与环境进行长轨迹的多步交互才能完成任务，仅靠最终结果的二元奖励信号（成功/失败）过于稀疏，无法为训练提供足够的监督信号。例如，在GUI代理任务中，一个任务可能需要50步以上的交互，如果只在最后给出成功或失败的奖励，模型很难知道哪些中间步骤是正确的。其次，虽然过程奖励模型可以提供步骤级的反馈信号，但训练这些模型通常需要大量高质量的任务特定监督数据，这限制了其可扩展性。最后，环境任务的质量对强化学习的效果至关重要，但现有环境通常是静态的，无法根据模型的能力动态调整难度，导致训练效率低下。
本文的目标是RLAnything的目标是构建一个完全动态的强化学习框架，通过闭环优化同时优化环境、策略和奖励模型三个核心组件。具体而言，该框架希望实现三个目标：（1）通过集成反馈信号（结合步骤级和结果级奖励）提升策略训练效果；（2）通过一致性反馈机制联合优化奖励模型，使其能够提供更可靠的步骤级监督；（3）基于理论分析，通过环境任务自适应同时改善策略和奖励模型的训练。最终目标是在各种LLM和智能体场景中实现显著的性能提升，例如在OSWorld上提升9.1%，在AlfWorld上提升18.7%。
与已有工作不同的是，RLAnything的独特视角在于它认识到环境、策略和奖励模型三者之间存在相互促进的关系，而不是将它们视为独立的组件。已有工作通常只关注其中一个方面的优化：有些工作专注于改进奖励设计，有些专注于环境任务生成，但很少有工作将三者统一在一个闭环系统中进行联合优化。本文的理论分析表明，当任务难度与模型能力不匹配时，不仅会影响策略训练，还会破坏奖励模型训练的数据平衡。基于这一洞察，RLAnything将环境自适应纳入闭环系统，使其同时服务于策略和奖励模型的优化，实现了三赢的局面。
核心方法
RLAnything的核心思想可以用一个简单的比喻来理解：想象一个学生（策略模型）在学习解题，老师（奖励模型）在批改作业，而教材（环境）在根据学生的学习情况动态调整难度。传统方法中，这三者是独立的：教材固定、老师只看最终答案、学生只能通过试错学习。而RLAnything让这三者形成闭环：老师不仅看答案，还会指出每一步的问题；教材会根据学生的错误模式调整难度；学生的进步又会让老师批改得更准确。技术路线上，RLAnything包含三个紧密耦合的组件：（1）集成反馈训练策略，将步骤级信号与结果信号结合；（2）一致性反馈优化奖励模型，利用策略的轨迹作为训练环境；（3）基于理论动机的环境自适应，利用策略和奖励模型的批评反馈来调整任务难度。
RLAnything最核心的创新点是提出了一个理论驱动的闭环优化框架，揭示了环境任务难度与奖励模型训练质量之间的深层联系。传统观点认为，调整任务难度只是为了改善策略训练，但本文的理论分析（Theorem 2）证明，当任务过于简单或过于困难时，会导致奖励模型训练数据的严重不平衡，从而破坏其预测未来结果的能力。具体来说，如果任务太难（策略几乎总是失败），奖励模型只能从失败案例中学习，导致其对正向步骤的评估能力退化；反之亦然。基于这一洞察，RLAnything将环境自适应从改善策略训练扩展到同时改善奖励模型训练，实现了环境、策略和奖励模型三者的协同进化。这种设计使得每个组件都能从其他组件的进步中受益，形成正向循环。
方法步骤详情
RLAnything的完整流程可以分为三个阶段：首先是采样阶段，从任务集中采样任务，策略模型生成多条轨迹，奖励模型对每个步骤进行多次独立评估，然后计算步骤级质量信号 $R_{\tau_i} = O_\tau + \lambda \sum_{j=1}^{m} S_{\tau_i,j} / m$，其中 $O_\tau$ 是结果奖励，$S_{\tau_i,j}$ 是奖励模型的评估。第二是优化阶段，策略使用标准化的优势函数进行训练，奖励模型则使用一致性反馈信号 $R_{S_{\tau_i,j}} = R_{\tau_i} \cdot S_{\tau_i,j}$ 进行优化。第三是环境自适应阶段，系统会总结奖励模型对错误步骤的评估作为批评反馈，然后根据策略的准确率决定是让任务变难还是变简单：如果准确率超过阈值 $\alpha_{high}=0.8$，则生成更难的任务；如果准确率低于阈值 $\alpha_{low}=0.2$，则生成更容易的任务。新任务只有在满足质量控制条件（准确率在合理范围内）时才会被接受。
技术新颖性
RLAnything的技术新颖性体现在三个方面。首先，与已有工作只优化策略或只优化奖励模型不同，RLAnything首次实现了环境、策略和奖励模型的完全动态联合优化。其次，本文提出了理论驱动的环境自适应方法，Theorem 1和Theorem 2证明了任务难度与奖励模型训练质量之间的定量关系，这为环境自适应提供了理论依据，而不仅仅是启发式方法。第三，RLAnything的批评反馈机制是双向的：奖励模型的评估不仅用于训练策略，还被总结为诊断信息来指导环境任务的修改，这种设计使得环境自适应更加精准和有效。与Zeng et al. (2025)的RLVR引擎相比，RLAnything能够处理需要步骤级信号的长轨迹交互任务；与Xue et al. (2026)的任务合成方法相比，RLAnything的环境自适应同时服务于策略和奖励模型的优化。
实验结果
RLAnything在三个代表性场景中进行了广泛的实验验证，包括计算机控制代理（GUI Agent）、文本交互游戏代理（LLM Agent）和编码大语言模型。实验结果表明，每个动态组件都能持续改善整体系统性能。在GUI代理设置中，使用Qwen3-VL-8B-Thinking作为基础模型，RLAnything在OSWorld上实现了52.1%的域内准确率（相比基线提升11.7%），在OOD任务上达到21.3%（提升5.2%）。在LLM代理设置中，使用Qwen2.5-7B-Instruct，RLAnything在AlfWorld上实现了60.2%的域内准确率（提升21.2%），在OOD任务上达到63.6%（提升18.7%）。在编码设置中，RLAnything在LiveBench上实现了43.2%的编码准确率（提升11.9%），单元测试准确率从27.8%提升到78.9%（提升51.1%）。特别值得注意的是，优化后的奖励模型信号甚至优于依赖人类标签的结果监督，这表明RLAnything有潜力实现大规模的自我进化代理。此外，环境任务的扩展呈线性增长趋势，新接受的任务质量也很高（通过更强推理模型验证的通过率超过94%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OSWorld（GUI代理） | 域内准确率 | 52.1% | 40.4%（优化前） | +11.7% |
| OSWorld（GUI代理） | OOD准确率 | 21.3% | 16.1%（优化前） | +5.2% |
| AlfWorld（LLM代理） | 域内准确率 | 60.2% | 39.0%（优化前） | +21.2% |
| AlfWorld（LLM代理） | OOD准确率 | 63.6% | 44.9%（优化前） | +18.7% |
| LiveBench（编码） | 编码准确率 | 43.2% | 31.3%（优化前） | +11.9% |
| LiveBench（编码） | 单元测试准确率 | 78.9% | 27.8%（优化前） | +51.1% |
局限与改进
尽管RLAnything取得了显著的成果，但仍存在一些局限性。首先，环境自适应的实现需要为每个任务预先创建扰动版本或模板，这在GUI代理设置中尤其明显：作者只为230个训练任务中的47个预创建了额外的扰动版本，这限制了环境扩展的潜力。其次，批评反馈的质量依赖于奖励模型的准确性，如果奖励模型本身存在偏差，可能会导致环境自适应的方向错误。第三，当前的环境自适应主要通过修改任务描述来实现，对于需要创建全新任务或改变环境物理规则的场景，方法的适用性有限。第四，超参数 $\lambda$ 的选择对结果有显著影响，论文中的消融实验表明 $\lambda=1$ 在策略优化上表现最好，但这可能因任务类型而异，需要针对具体场景进行调优。最后，计算成本是一个实际问题：每个RL步骤需要采样12-64个任务，每个任务需要8-32条轨迹，这需要大量的计算资源。
独立分析的弱点
从独立分析的角度，RLAnything存在以下几个值得关注的弱点。首先，环境自适应的质量控制机制相对简单：系统只检查新任务的准确率是否在合理范围内，但没有评估任务多样性和覆盖度。在实际应用中，如果所有任务都收敛到相似的难度水平，可能会导致策略过拟合特定类型的任务。改进方向是引入任务多样性约束，确保自适应后的任务集覆盖不同难度梯度和任务类型。其次，批评反馈的总结过程可能会丢失重要信息：当前方法只总结错误步骤的评估，但忽略了成功步骤的模式。可以考虑同时总结成功和失败的模式，为环境自适应提供更全面的信息。第三，奖励模型的训练存在潜在的分布偏移问题：随着策略的进步，奖励模型看到的轨迹分布会发生变化，这可能导致奖励模型在新分布上的评估质量下降。改进方向是引入经验回放机制，保持训练数据的多样性。第四，理论分析中的假设（如独立同分布）在实际应用中可能不成立，特别是当策略快速进化时。
未来方向
基于RLAnything的成果，可以延伸出几个有前景的研究方向。首先是环境扩展：当前方法主要在有限的任务集上进行自适应，未来可以探索自动生成全新任务的能力，而不仅仅是修改现有任务。其次是多模态奖励模型：当前的奖励模型主要基于文本推理，未来可以结合视觉、音频等多模态信息来评估步骤质量。第三是分布式训练：当前的闭环优化在单进程中运行，未来可以探索分布式架构来支持更大规模的任务集和更复杂的环境。第四是迁移学习：研究在RLAnything框架下训练的奖励模型能否迁移到新的任务领域，减少新领域的数据需求。第五是理论深化：进一步分析闭环系统中各组件相互作用的收敛性和稳定性条件，为实际应用提供更可靠的理论指导。最后是人机协作：探索如何将人类反馈集成到闭环系统中，特别是在安全关键的应用场景中。
复现评估
RLAnything的复现条件相对友好。代码已在GitHub开源（https://github.com/Gen-Verse/Open-AgentRL），提供了完整的训练和评估流程。数据集方面，OSWorld、AlfWorld和LiveCodeBench都是公开可用的标准基准。算力需求是主要挑战：论文中提到GUI代理训练使用12个节点，LLM代理使用8个节点，编码任务使用4个节点，这表明需要相当可观的计算资源。不过，作者提供了详细的超参数设置（学习率1e-6、裁剪阈值0.2、KL权重0.01等）和训练步骤数（GUI代理240步、LLM代理200步、编码300步），这有助于复现。模型方面，所有使用的模型（Qwen系列）都是公开可用的。复现难度中等：主要挑战在于计算资源和环境搭建（特别是GUI代理需要虚拟机环境），但代码结构清晰，文档详细，对有经验的研究者来说是可实现的。
论文图表
