← 返回 2026-06-18

从学员到教练：多智能体推理的LLM设计强化学习训练环境 From Trainee to Trainer: LLM-Designed Training Environment for RL with Multi-Agent Reasoning

Chao Chen, Chengzu Li, Zhiwei Li, Yinhong Liu, Zhijiang Guo 📅 2026-06-16 👍 26 2026-07-13 08:37
LLM训练 多智能体路径规划 强化学习 环境设计 自改进系统
arXiv HuggingFace PDF

让LLM策略模型主动设计自己的RL训练环境，实现自适应环境工程

前置知识

强化学习（RL）

机器学习范式，智能体通过与环境交互获得奖励信号，学习最优策略。在LLM训练中，RL常用于对齐和优化（如PPO、GRPO等算法），通过奖励信号引导模型生成期望的输出。本文使用GRPO算法训练Qwen3-4B模型在MAPF任务上的表现。

本文的核心是RL训练的环境设计问题，需要理解RL中策略、奖励、环境之间的交互关系，以及环境配置如何影响学习效率和泛化能力。

多智能体路径规划（MAPF）

协调多个智能体在共享环境中从起点移动到目标点，避免碰撞并优化路径。基于Conflict-Based Search（CBS）算法，可在网格地图上生成多智能体实例。本文的MAPF-FrozenLake是FrozenLake的MAPF版本，智能体需避开空洞并避免相互碰撞。

这是本文设计的可控测试平台，环境生成器的配置（网格尺寸、空洞密度、冲突密度）可控，适合研究环境重设计对RL学习动态的影响。

课程学习（Curriculum Learning）

从简单到难渐进训练，通过控制训练难度和顺序提升效率。传统方法假设预设任务集，基于价值估计或奖励信号选择任务。本文与之不同，不选择具体训练样本，而是修改环境生成器的参数配置，重塑未来训练分布。

本文是课程学习的延伸，但更激进——不是从预设任务集选择，而是让模型主动设计环境生成器，需要理解两者本质区别和各自优缺点。

研究动机

在当前的LLM强化学习训练实践中，环境设计仍主要依赖人工手动完成。从业者需要反复检查rollout日志和验证失败，形成关于模型当前弱点的假设，然后手动重新设计下一阶段的训练环境。随着RL训练管线复杂性增加，这一流程需要大量专家努力，变得越来越困难。现有自动化方法（如课程学习、自我博弈）主要通过训练样本选择、难度调度或在固定环境族内合成数据，而环境生成器本身是固定的。

本文的目标是本文的核心目标是研究LLM策略模型能否主动重设计定义其未来RL训练分布的环境生成器。具体来说，希望让策略模型基于其训练行为总结、验证失败案例和环境统计信息，提出下一阶段的训练环境配置。目标不是解决任务本身，而是提出能最大化未来策略改进的训练分布。

与已有工作不同的是，现有工作集中在任务、响应或奖励空间的自我改进，而本文聚焦于交互环境本身——模型适应定义下一阶段RL阶段遇到情况的环境生成器配置。这种策略条件的环境重设计是一个新问题，与固定环境族内的课程学习和数据合成有本质区别。通过设计可控的MAPF-FrozenLake测试平台，可以隔离研究LLM在受控条件下对未来训练分布的结构化决策能力。

核心方法

本文提出LLM-as-Environment-Engineer框架，形成训练→验证→设计的闭环反馈。在每个RL阶段后，当前策略模型作为环境工程师，接收其训练行为、验证失败和环境统计的结构化总结，并设计下一阶段的环境配置。模型不直接合成或选择单个训练示例，而是修改环境生成器的参数，从而重塑未来训练实例的采样分布。框架在MAPF-FrozenLake平台上实现和验证，该环境基于Conflict-Based Search算法生成多智能体路径规划实例，每个配置控制网格尺寸分布、冲突密度和障碍密度。

核心创新点是将LLM从被动的学习者转变为主动的环境工程师。与课程学习选择预定义任务、数据合成在固定环境族内工作不同，本文让模型迭代重设计自己的环境生成器。关键洞察是RL训练会显著提升模型的自我诊断能力——训练过的检查点比未训练的基线模型更擅长识别其剩余弱点。成功的环境重设计依赖证据驱动的适应，而非朴素的难度缩放或表面模板。

方法步骤详情

环境工程训练循环包含以下步骤：首先从配置$C_n$生成训练数据$D_n = G(C_n)$；然后使用GRPO算法训练模型，奖励函数$R = w_{acc} \cdot R_{acc} + w_{len} \cdot R_{len}$结合准确性和长度惩罚，权重自适应调度；接着验证模型$M_{n+1}$得到评估结果$E_n$；将历史$B$扩展为$B \cup \{(C_n, E_n)\}$；组合上下文$ctx_n = Compose(M; B, T)$，其中$M$是模块集合（失败分解F、指导G、历史H、总结S、训练细节T）；模型作为环境工程师生成新配置$\tilde{C}_{n+1} = M_{n+1}(ctx_n)$；最后投影到约束空间$C_{n+1} = Project(\tilde{C}_{n+1})$，强制数据比率和为1、各比率在$[0,1]$范围内。迭代运行三轮训练。

技术新颖性

技术新颖性体现在多个维度：第一，首次研究LLM策略条件的环境重设计，而非固定环境内的任务选择或数据合成；第二，设计MAPF-FrozenLake可控测试平台，生成器配置控制多维环境属性，并提供确定性的多维度评估信号（路径有效性、最优性、轨迹长度）；第三，系统分析不同上下文模块的影响，发现证据驱动的适应优于表面模板，训练细节模块帮助从基于特征的模板转向学习信号驱动的决策；第四，揭示RL训练显著提升模型的自我诊断能力，当前检查点比原始基线模型更擅长作为环境工程师。

Overview of environment-engineering framework.
Figure 2: Overview of environment-engineering framework.

实验结果

在3-、4-、5-智能体评估集上，Qwen3-4B + GRPO + Ours框架在所有地图尺寸上达到了最高的有效率和最优率。与最佳商业基线Kimi-K2.5相比，本文框架在3到5智能体基准上提升有效率+5.20到+6.19个百分点，提升最优率+2.22到+3.43个百分点。与共享骨干和训练过程的Qwen3-4B + GRPO (random)相比，框架在三个基准上增加有效率+3.56到+11.25个百分点，增加最优率+1.89到+5.59个百分点，证明训练循环既提升整体能力，又塑造环境使模型更经常产生最优规划。行为分析揭示V6上下文设置（包含失败分解F、指导G、历史H、训练细节T）表现最好，它识别证据而非表面提示，选择性编辑而非全面重写，从基于特征的模板转向学习信号驱动的决策，跨轮自我纠正，以及任务驱动的建模。

Modules included in each of the six context settings.
Table 1: Modules included in each of the six context settings.
Main results on the 3-agent evaluation set across map sizes 3×3 to 10×10.
Table 2: Main results on the 3-agent evaluation set across map sizes 3×3 to 10×10.
Main results on the 4-agent evaluation set across map sizes 4×4 to 10×10.
Table 3: Main results on the 4-agent evaluation set across map sizes 4×4 to 10×10.
Main results on the 5-agent evaluation set across map sizes 5×5 to 10×10.
Table 4: Main results on the 5-agent evaluation set across map sizes 5×5 to 10×10.
Behavioral profile of the six context settings along the five axes recovered from their reasoning traces.
Table 5: Behavioral profile of the six context settings along the five axes recovered from their reasoning traces.
The shift of V6 data_ratio from R1 to R2.
Table 6: The shift of V6 data_ratio from R1 to R2.
Comparison between Full RL details and Bookkeeping only on the 3-, 4- and 5-agent benchmarks.
Table 7: Comparison between Full RL details and Bookkeeping only on the 3-, 4- and 5-agent benchmarks.
Comparison between the untrained base model and the current RL checkpoint playing the environment-engineer role.
Table 8: Comparison between the untrained base model and the current RL checkpoint playing the environment-engineer role.
hole_ratio and wait_ratio on the five largest map sizes (6×6–10×10).
Figure 3: hole_ratio and wait_ratio on the five largest map sizes (6×6–10×10).
Edit-granularity matrix.
Figure 4: Edit-granularity matrix.
Signal salience across context settings.
Figure 5: Signal salience across context settings.
Self-correction schematic.
Figure 6: Self-correction schematic.
data_ratio produced by the base model and by our current RL checkpoint when each plays the environment engineer, across rounds R1 and R2.
Figure 7: data_ratio produced by the base model and by our current RL checkpoint when each plays the environment engineer, across rounds R1 and R2.
查看结构化数据
任务指标本文基线提升
3-agent MAPF-FrozenLake Valid Rate 51.67% Kimi-K2.5: 46.17%, GPT-5.4: 32.50% +5.50pp over Kimi-K2.5, +19.17pp over GPT-5.4
3-agent MAPF-FrozenLake Optimal Rate 31.67% Kimi-K2.5: 29.25%, GPT-5.4: 20.58% +2.42pp over Kimi-K2.5, +11.09pp over GPT-5.4
4-agent MAPF-FrozenLake Valid Rate 33.14% Kimi-K2.5: 26.95%, GPT-5.4: 17.05% +6.19pp over Kimi-K2.5, +16.09pp over GPT-5.4
4-agent MAPF-FrozenLake Optimal Rate 21.33% Kimi-K2.5: 17.90%, GPT-5.4: 10.86% +3.43pp over Kimi-K2.5, +10.47pp over GPT-5.4
5-agent MAPF-FrozenLake Valid Rate 18.67% Kimi-K2.5: 13.47%, GPT-5.4: 9.11% +5.20pp over Kimi-K2.5, +9.56pp over GPT-5.4
5-agent MAPF-FrozenLake Optimal Rate 11.00% Kimi-K2.5: 8.78%, GPT-5.4: 6.00% +2.22pp over Kimi-K2.5, +5.00pp over GPT-5.4

局限与改进

作者承认MAPF-FrozenLake测试平台的设计目标是可控制性而非环境真实性，这是一个权衡。网格环境相对简单，与开放式具身或网络环境相比复杂性有限。训练只进行了三轮（每轮两轮epoch），长期效果未充分探索。只研究了单一骨干模型Qwen3-4B，不同架构和规模模型的泛化性未知。环境工程师只能修改生成器配置，不能直接修改奖励函数或评估集，限制了可能的改进范围。此外，虽然框架在MAPF任务上成功，但在其他任务领域的可迁移性需要进一步验证。

独立分析的弱点

环境设计空间仍受限于人工预定义的生成器参数（数据比率、空洞比率、等待比率），无法探索更复杂的环境变化。在更大地图尺寸（10×10）上性能下降明显，表明框架在处理极端难度时仍有局限。V6上下文虽然在验证集上表现最好，但设计过程相对复杂，需要精心选择模块并避免表面提示干扰。框架假设环境工程师与训练模型使用同一检查点，但探索独立的环境工程师模型可能带来更大灵活性。奖励设计虽然包含自适应权重，但仍是人工设计，可能与环境重设计目标不完全对齐。

未来方向

作者建议探索在更复杂和真实的环境（如开放式具身或网络环境）中的应用，尽管训练分布的可控性较弱。可以研究长期训练（更多轮次）下环境重设计的动态和收敛性质。探索不同架构和规模的模型作为环境工程师的效果。将框架扩展到多任务学习场景，研究环境重设计能否提升跨任务泛化。此外，可以探索让环境工程师同时设计环境配置和奖励函数，实现更完整的训练管线优化。

复现评估

论文提供了开源代码、模型权重和网站。环境生成器基于Conflict-Based Search算法，配置和实现细节在论文中充分描述。实验使用了固定的4000训练实例、50个测试样本 per map-size per hole-ratio，以及其他超参数。验证集固定且所有实验使用相同的种子设置（作者提到R0使用随机采样配置）。框架在相对适中的计算资源下实现（Qwen3-4B、3轮训练），复现难度中等。然而，论文未提供具体的训练时间和硬件要求，需要估算。

论文图表

A 5-agent MAPF-FrozenLake instance on a 10×10 grid.
Figure 1: A 5-agent MAPF-FrozenLake instance on a 10×10 grid.

图展示了一个5智能体的MAPF-FrozenLake实例在10×10网格上的情况。智能体A0、A1、A2、A3、A4从各自的彩色单元格开始，必须到达目标G0、G1、G2、G3、G4，既不能相互碰撞，也不能进入空洞（蓝色斑块）；可以使用等待动作来解决冲突。这个可视化帮助读者理解任务的基本结构和约束。

这张图对理解论文至关重要，因为它直观地展示了MAPF-FrozenLake任务的核心要素：多智能体、起点和目标、空洞障碍、碰撞避免。通过具体例子，读者可以立即理解任务复杂性和环境生成器需要配置的参数（网格尺寸、空洞密度、冲突密度）。