少交通用化税：LLM 智能体强化学习训练的跨域泛化研究 Paying Less Generalization Tax: A Cross-Domain Generalization Study of RL Training for LLM Agents
发现状态信息丰富度和规划复杂度是 RL 训练保留跨域泛化能力的关键因素
前置知识
LLM Agent Post-training
大语言模型智能体后训练是指在预训练和通用微调之后，通过在特定交互环境中进行强化学习（RL）或监督微调（SFT），使模型学会以智能体身份在多步交互中完成任务。典型流程包括：模型接收环境状态（文本描述），生成动作，环境返回奖励信号，模型据此优化策略。这个阶段的训练数据通常只覆盖有限的领域，但部署时需要面对广泛且未知的场景。
本文研究的核心问题就是：后训练数据覆盖有限时，如何选择训练环境以最大化跨域泛化能力。理解后训练范式是理解全文研究动机的前提。
GRPO (Group Relative Policy Optimization)
GRPO 是一种基于组的策略优化算法。对于每个任务提示，智能体采样 N 条完整轨迹，然后用组内奖励的均值和标准差计算归一化优势值 $A(a_t^{(i)}) = \frac{R(\tau_j) - \text{Mean}(\{R(\tau_j)\})}{\text{Std}(\{R(\tau_j)\})}$。优化目标结合了重要性采样比率的裁剪和 KL 散度正则化。相比传统 Actor-Critic 方法，GRPO 不需要训练价值网络，适合多轮对话和稀疏奖励场景。
本文所有 RL 实验均采用 GRPO 算法，理解其工作原理有助于理解实验设置和奖励信号如何影响跨域泛化。
跨域泛化 (Cross-Domain Generalization)
跨域泛化指模型在训练域之外的完全不同环境中保持能力。本文明确区分两种泛化：域内泛化（in-domain）是在同一环境的未见任务上测试，例如在 Amazon 训练后在 eBay 上测试；跨域泛化（out-of-domain, OOD）是在完全不同的环境上测试，例如在购物任务上训练后在科学实验上评估。本文聚焦于后者，即训练环境和测试环境在状态空间、动作空间、任务逻辑上均有本质差异。
本文的核心贡献就是研究跨域泛化的决定因素。区分域内和跨域泛化是理解本文实验设计和结论的关键。
状态信息丰富度 (State Information Richness)
状态信息丰富度指智能体需要从环境状态中感知和处理的信息量大小。它不等于环境的真实性或复杂性，而是衡量状态文本描述的信息密度。本文用平均字符数作为量化指标：例如 ALFWorld 状态平均 1572 字符（低丰富度），而 Sokoban 和 WebShop 超过 3000 字符（高丰富度）。更高的丰富度意味着智能体必须更主动地从大量信息中提取与任务相关的信号，这增强了感知负荷。
这是本文发现的两个关键环境因素之一。理解它的定义和测量方式是理解核心实验结论的基础。
规划复杂度 (Planning Complexity)
规划复杂度指完成任务所需的多步动作序列的难度。本文不使用传统的分支因子或搜索深度（因为 LLM 智能体依赖先验知识而非穷举搜索），而是用基础策略下的平均轨迹长度作为经验代理指标。更长的平均轨迹意味着任务需要更持续的推理链和更低的目标可达性。例如 ALFWorld 平均 42.0 步，Sokoban 44.0 步，而 WebShop 仅 33.9 步。失败轨迹被赋予最大步数 50 以反映无法在预算内完成任务的情况。
这是本文发现的另一个关键环境因素。规划复杂度与状态信息丰富度共同解释了不同训练环境的跨域泛化效果差异。
SFT Warmup / Mid-training
SFT 预热（或称中期训练）是指在 RL 训练之前，先用监督微调数据对模型进行一轮训练，以灌注基础能力。在本文中，由于基础模型 Llama-3.1-8B-Instruct 在 SciWorld 上成功率接近零，无法进行有意义的 RL 训练，因此作者用 SciWorld 专家演示和 ALFWorld/WebShop 自动生成轨迹构建 SFT 数据集，训练 100 步得到 Ckpt V2。这个过程类似于打地基——先让模型掌握基本的环境交互能力，再通过 RL 强化。
SFT 预热对跨域泛化有深远影响：它能巩固已覆盖领域的知识使其不易被 RL 破坏，但也可能擦除未覆盖领域的先验能力。理解这个机制对设计实际训练流程至关重要。
研究动机
通用 LLM 智能体通常在有限的环境集合上进行后训练，但部署时需要面对远比训练集更广泛的未知场景。即使有精心维护的数据飞轮，采样、后处理和大规模训练的完整周期仍然非常耗费计算和时间资源，因此后训练只能覆盖有限的领域和任务。实证研究已经发现了这个问题的严重性：近期研究发现，在热门排行榜上表现强劲的智能体在实际办公任务中表现远低于预期，基准测试成绩与真实用户体验之间存在显著差距。更具体地说，随着 RL 训练的推进，域内性能提升的同时，域外性能反而下降——这说明 RL 训练存在一种通用化税，即在特定领域变得更强的同时，跨域能力被侵蚀。此外，在线 RL 训练需要有奖励信号和支持多轮采样的交互环境，这些模拟器的构建成本很高，甚至在专有领域中根本不可行，进一步限制了训练环境的多样性。
本文的目标是本文的核心目标是从数据中心的视角出发，回答一个关键问题：当部署环境未知时，我们应该如何策略性地采样任务或选择性地构建领域模拟器，以最大化地保留 LLM 智能体的跨域能力。具体而言，作者希望通过在四个代表性智能体环境上进行系统性实验，量化不同训练环境对跨域泛化的影响，并识别出哪些环境属性与 OOD 性能最相关。在此基础上，作者不仅要建立相关性分析，还要通过因果干预实验验证这些属性的决定性作用。最终，论文希望为智能体后训练的环境选择和构建提供一套可操作的指导原则，使实践者能够在计算资源有限的情况下，优先构建或选择那些最有利于泛化的训练环境。
与已有工作不同的是，已有工作主要关注域内泛化（在同一环境的未见任务上测试）或单轮任务的跨域分析，但对多轮智能体任务的跨域泛化研究严重不足。更重要的是，现有分析大多停留在量化训练域与域外性能之间的相关性层面，缺乏对环境属性的深入解剖——即到底是什么环境特征让某些训练域比其他域更有利于泛化。本文的独特切入角度在于：不关注训练什么任务本身，而是关注任务环境具有什么属性，并发现域真实性和文本层面的相似性并非主要因素，反而是状态信息丰富度和规划复杂度这两个更底层的认知负荷维度更能解释泛化差异。这一发现打破了训练环境越接近部署环境效果越好的直觉假设。
核心方法
本文的方法可以类比为健身训练的思路：不是让运动员反复练习某一种特定动作（对应在特定任务上训练），而是研究什么样的训练器材组合（对应环境属性）能让运动员在面对未知运动项目时表现最好。作者首先在四个截然不同的智能体环境上进行 RL 训练，系统性地测量每个环境的跨域泛化效果。然后，他们从环境属性中抽象出两个关键维度——状态信息丰富度（感知负荷）和规划复杂度（推理负荷），发现这两个维度与跨域泛化效果高度相关。在此基础上，作者提出了一个轻量级的因果验证方法：状态信息增强（State Information Augmentation），通过向状态中注入少量与目标无关的干扰信息来人为提高状态丰富度，而不改变任务本身。此外，作者还考察了两个建模选择（SFT 预热和逐步推理）对泛化的影响。
本文最核心的洞察是：决定 RL 训练跨域泛化效果的不是环境的表面真实性或文本相似性，而是两个更底层的认知负荷维度——状态信息丰富度和规划复杂度。这个发现非常反直觉：Sokoban 是一个抽象的网格推箱子游戏，但它训练出的模型在真实的科学实验室环境（SciWorld）中表现反而比在更真实的 ALFWorld 家庭任务中训练的模型更好。这是因为 Sokoban 的状态包含大量坐标信息（3114 字符），且需要较长的规划链（44.0 步），迫使模型发展出更强的感知和推理能力。而 ALFWorld 虽然模拟了真实的家庭任务，但状态空间相对简单（1572 字符），导致模型更容易学到浅层的领域特定启发式策略，这些策略难以迁移到其他领域。这一洞察的本质区别在于：它把焦点从训练什么内容转移到了训练环境的认知要求上。
方法步骤详情
本文的实验流程分为五个阶段。第一步，建立实验基础设施：选择 Llama-3.1-8B-Instruct 作为基础模型，在四个环境（WebShop、Sokoban、ALFWorld、SciWorld）上使用 GRPO 算法进行 RL 训练，每组训练 150 步，每 15 步保存检查点，报告最后四个检查点的平均成功率，所有实验重复三次取均值。第二步，构建两个初始策略：Ckpt V1 通过在 WebShop 上进行 20 步 RL 训练将域内成功率提升到 34.4%，Ckpt V2 在此基础上用 SciWorld 专家数据和 ALFWorld/WebShop 自动生成轨迹进行 SFT 预热训练 100 步，确保所有评估域都有非零的初始性能。第三步，跨域评估：在每个训练域上训练后，在其余三个域上评估 OOD 性能，引入 OOD 排名分数（OOD Ranking Score）作为跨域鲁棒性的综合度量——对每个训练域计算其在每个 OOD 域上的排名（基于成功率），然后求和，排名分越低说明跨域表现越好。第四步，环境属性分析：用 Ckpt V2 收集每个域 128 条轨迹，计算平均字符数（状态信息丰富度）和平均轨迹长度（规划复杂度），分析其与 OOD 排名的相关性。第五步，因果验证：提出状态信息增强技术，对每个状态 $s$ 采样一段与目标无关的文本片段 $\delta$，构造增强状态 $s' = \text{Augment}(s, \delta, \epsilon)$，以概率 50% 应用于批次中的轨迹，验证丰富度提升是否因果性地改善跨域泛化。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在研究视角上，它是第一个系统性地研究多轮智能体 RL 训练的跨域泛化决定因素的工作。已有研究要么关注域内泛化，要么只在单轮任务上做跨域分析，本文填补了多轮智能体场景的空白。其次，在发现层面，作者识别出状态信息丰富度和规划复杂度这两个环境属性是泛化的主要驱动因素，而非领域真实性或文本相似性——这与训练环境越接近部署环境越好的直觉相悖。第三，在方法层面，状态信息增强技术虽然是借鉴 sim-to-real 领域的域随机化思想，但本文首次将其适配到 LLM 智能体训练中，使用语义文本噪声（而非视觉噪声）并引入可控的干扰强度参数和随机应用概率。此外，对 SFT 预热的双刃剑效应和逐步推理对泛化的关键作用的分析也提供了新颖的建模层面洞察。
实验结果
本文的实验结果揭示了多个重要发现。首先，在跨域泛化排名方面，使用 Ckpt V2 时，SciWorld 训练的模型在 OOD 排名中位列第一（排名分 3），Sokoban 紧随其后（排名分 5），WebShop 排第三（排名分 6），ALFWorld 最差（排名分 8）。在 Ckpt V1 和 V2 的联合比较中，Sokoban 以排名分 7 优于 WebShop 和 ALFWorld（均为 10）。这与环境属性高度一致：Sokoban 和 SciWorld 在状态信息丰富度和规划复杂度两个维度上都表现较高，而 ALFWorld 状态丰富度最低（1572 字符），WebShop 规划复杂度最低（33.9 步）。第二，状态信息增强实验在 Ckpt V1 上显示了显著的正向效果：ALFWorld 训练域的 OOD 提升 +7.0%，WebShop 提升 +35.5%，Sokoban 提升 +42.5%。在 Ckpt V2 上，ALFWorld 提升 +7.0%，WebShop 提升 +33.4%，Sokoban 提升 +5.7%。这因果性地验证了状态信息丰富度确实是跨域泛化的决定因素。第三，SFT 预热呈现明显的双刃剑效应：对于被 SFT 覆盖的领域（ALFWorld、WebShop、SciWorld），SFT 预热显著增强了知识对下游 RL 的抵抗力。例如在 Sokoban 训练后评估 WebShop 时，Ckpt V1 的成功率下降 56.4%，而 Ckpt V2 仅下降 11.2%。但对于未被 SFT 覆盖的 Sokoban，Ckpt V2 的 OOD 性能反而比 Ckpt V1 更差——WebShop 训练时 Ckpt V1 的 Sokoban 性能微增 +2.4%，而 Ckpt V2 下降了 36.2%。第四，逐步推理的作用非常关键：禁用推理后，Ckpt V2 在 ALFWorld、Sokoban 和 SciWorld 训练中的 OOD 性能下降超过 200%。例如 ALFWorld 训练后评估 WebShop 时，无推理模型成功率仅 1.0%，有推理模型保持 30.5%。值得注意的是，推理并不总是提升域内性能——例如 Ckpt V1 在 ALFWorld 上无推理时域内成功率 77.0%，有推理时仅 73.0%，说明反应式策略可以通过浅层启发式在训练域上表现良好，但这些模式不可迁移。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Sokoban 训练 → ALFWorld 评估（Ckpt V1） | OOD 成功率 (%) | 20.5（有推理） | 16.0（无推理） | 有推理保持 +28.1% 相对优势 |
| Sokoban 训练 → WebShop 评估（Ckpt V1） | OOD 成功率 (%) | 15.0（有推理） | 17.2（无推理） | 无推理略高但整体 OOD Change 为 -9.1% |
| WebShop 训练 → Sokoban 评估（Ckpt V1，+状态增强） | OOD 成功率 (%) | 24.8（增强） | 15.0（原始） | +65.3% 绝对提升 |
| ALFWorld 训练（Ckpt V2）→ WebShop 评估 | OOD 成功率 (%) | 30.5（有推理） | 1.0（无推理） | 推理使 OOD 性能从几乎为零恢复到 30.5% |
| Sokoban 训练 150 步 → SciWorld 评估（Ckpt V2） | OOD 成功率 (%) | 13.0 | ALFWorld 训练 → SciWorld: 10.0 | Sokoban 比 ALFWorld 高 +30% |
| 状态信息增强综合效果（Ckpt V1） | OOD Change (%) | 平均 +28.5% | 原始状态训练 | 所有训练域均为正向提升 |
局限与改进
作者坦诚地承认了多项局限性。首先，由于可用的公共智能体环境数量有限（仅四个），当前的证据应被解释为指示性的而非确定性的。样本量过小使得难以进行严格的统计检验，可能存在混淆变量。第二，有效训练域的初始表征（用平均字符数和平均轨迹长度衡量）是相对临时的，可能无法因果性地隔离关键因素。例如平均字符数只是信息丰富度的一个粗略近似，真正重要的是信息的任务相关性和噪声密度，而非简单的字符总量。第三，状态信息增强的具体实现方式依赖于手工设计的模板和干扰内容列表，自动化程度低，可扩展性有限。从独立观察来看，本文仅在 8B 参数规模的模型上进行实验，未探索更大模型是否表现出相同规律。此外，四个环境虽然覆盖了不同任务类型，但都基于文本交互，未涉及多模态（如视觉）智能体场景。GRPO 是唯一使用的 RL 算法，不同算法（如 PPO、DPO）的跨域泛化行为可能不同。
独立分析的弱点
本文的第一个弱点是环境丰富度的测量方式过于粗糙。平均字符数将所有文本信息等量齐观，但实际上状态中不同部分的信息价值差异巨大——Sokoban 中每个坐标描述的信息密度远高于 ALFWorld 中重复的家具列表。改进方向是设计信息论指标，例如用互信息或熵来衡量状态文本与最优动作之间的信息量。第二个弱点是状态信息增强的干扰内容需要手工设计。每个域都需要独立设计不干扰最优策略的干扰物列表和模板，这限制了方法的通用性。可以探索用 LLM 自动生成语义干扰内容，或使用跨域状态片段作为干扰源（如文中提到的将 WebShop 观测注入 ALFWorld 状态）。第三个弱点是实验中未分离推理本身的泛化效果和推理格式的正则化效果。逐步推理可能只是通过增加输出序列长度来降低模型对浅层模式的拟合程度，而非真正增强了推理能力。可以通过对比真实推理和随机推理文本（或无意义的推理链）来分离这两个因素。第四个弱点是未考虑训练域之间的组合效应。实际训练中通常会同时使用多个域的数据，但本文只研究了单域训练的情况。混合域训练的跨域泛化行为可能是非线性的，例如同时在 Sokoban 和 ALFWorld 上训练是否能取两者之长。
未来方向
作者提出了几个未来方向：将研究扩展到更广泛的领域和更多模型规模以验证发现的普适性；开发更正式、有因果基础的环境特征定义；研究自动化环境增强技术、推理结构与泛化的关系、以及能动态平衡知识巩固与灵活性的自适应 SFT 预热方案。基于本文的成果，还有几个可延伸的方向：第一，将状态信息丰富度和规划复杂度的洞察应用到自动化的训练课程设计——先从高丰富度、高复杂度环境开始训练，逐步引入更多样化的环境。第二，研究两个因素之间的交互效应——是否存在一个丰富度和复杂度的最优组合点。第三，将状态信息增强从文本域扩展到多模态域（如向视觉观察中注入干扰物体）。第四，探索推理格式对跨域泛化的理论分析——为什么逐步推理能防止过拟合到浅层启发式策略，这可能与隐式正则化或信息瓶颈有关。第五，研究 SFT 预热数据的最优组成比例和覆盖范围，以在知识巩固和灵活性之间找到更好的平衡点。
复现评估
本文的复现条件相对友好。基础模型 Llama-3.1-8B-Instruct 是公开可用的，RL 训练使用 verl-agent 代码库（也已在 GitHub 开源）。四个实验环境（WebShop、Sokoban、ALFWorld、SciWorld）均为公开基准。硬件需求方面，所有实验使用 8 块 NVIDIA A100 80G GPU，属于中等规模算力需求。超参数设置在附录中详细列出，包括学习率 1e-6、GRPO 组大小 8、每步 16 个任务提示、KL 散度系数 0.01 等。SFT 预热使用 LlamaFactory 代码库，数据集由 SciWorld 专家数据和自动生成轨迹按 19:3:1 比例混合。状态信息增强的具体实现细节（包括每个域的干扰内容列表、模板和信息量参数）在附录 C 中完整给出。总体而言，一个有 RL 训练经验的研究团队应该可以在 1-2 周内复现核心结果。主要的复现难点在于 SciWorld 环境需要修改 verl-agent 以支持代理-客户端框架。
论文图表
