超越简单的环境规模扩展：为多模态智能体学习设计有效的环境分布

多模态环境不能盲目堆量，应从能力多样性与难度结构两维度设计训练分布

前置知识

多模态大语言模型智能体（MLLM Agent）

多模态大语言模型（MLLM）能同时处理图像/视频和文本输入；当其接入可交互环境、通过动作序列完成目标时就成为「多模态智能体」。每一步它需要先从视觉观测中提取环境状态（如棋盘布局、玩家坐标），再推理世界规则并输出合法动作，是一个感知-推理-决策的闭环。

本文的研究对象就是 MLLM 智能体，作者通过错误分析（Figure 5）发现其两大能力瓶颈正是视觉状态提取与世界建模，这正是 HDC 引入 harness 机制的直接依据，不懂这一点无法理解方法动机。

GRPO 强化学习

GRPO（Group Relative Policy Optimization）由 DeepSeek-R1 提出，对每个 prompt 采样一组（本文设为 $16$ 条）rollout，用组内相对优势代替独立 critic 估计基线，从而省去 value 网络显存，是当前 LLM/VLM 可验证奖励 RL 的事实标准算法。

本文所有训练实验统一采用 GRPO 作为优化算法，rollout group size $=16$。理解 GRPO 才能看懂为什么作者强调「梯度冲突」（$\cos(g_i,g_j)<0$）会直接破坏多环境联合训练的稳定性。

课程学习与负迁移

课程学习（Curriculum Learning）按「由易到难」的顺序组织训练样本，让模型先建立基础能力再挑战复杂任务；负迁移（Negative Transfer）指联合训练多个任务时，一个任务的学习反而拖累另一个任务，常源于任务间梯度方向冲突或特征干扰。

HDC 的本质就是课程学习，而负迁移正是 Section 2.2 揭示多模态环境「越加越差」的根因（Table 1 中多模态版掉 $10.7\%$）。这两概念是理解全文论证链的前提。

无监督环境设计（UED）与梯度冲突度量

UED（如 PAIRED、PLR、ACCEL）根据智能体当前能力自动生成或筛选环境形成自适应课程；梯度冲突用两个环境梯度的余弦相似度 $\cos(g_i,g_j)$ 衡量更新方向一致性，负值表示优化对抗、会互相抵消。

AES 借鉴了 UED「按能力筛选环境」的思想，但用于固定环境池的离线选择；其 $\mathrm{Conflict}(e,S)=\max_{e'\in S}\max(0,-\cos(g_e,g_{e'}))$ 项直接来自梯度冲突度量，这是 AES 比传统 embedding 去重强得多的关键。

研究动机

训练多模态智能体的主流做法是构建大规模环境池并联合训练（如 Gym-V、VisGym 积累了上百个可执行环境），但作者通过一系列受控实验发现「环境越多越好」并不成立。在 $200$ 个环境的池子上固定总计算预算、逐步增加训练环境类型数（Figure 3），成功率并非单调上升，在约 $60$–$80$ 个规模时甚至明显下降。进一步对照实验（Table 1）把同一批环境分别做成纯文本符号版和视觉多模态版：混合训练在文本符号版仅掉 $1.3\%$，而多模态版暴跌 $10.7\%$；梯度余弦相似度矩阵（Figure 4）也表明多模态版出现 $-0.130$、$-0.131$ 等强负相关，说明视觉模态会显著放大任务间负迁移与优化冲突。同时，对 Qwen3-VL-4B 共 $200$ 条失败轨迹的人工错误分析（Figure 5）揭示两类主要瓶颈：视觉状态提取错误占 $30\%$、世界建模错误占 $22\%$，合计超过一半。这些现象共同表明，仅保证「每个环境可执行、能给可靠奖励」（sample-level quality）远远不够，环境池作为整体的分布质量才是决定训练成败的关键。

本文的目标是本文的目标是回答一个被既有工作忽视的核心问题——「如何为多模态智能体评估并设计有效的训练环境分布」。作者主张环境分布的有效性应从两个维度评价：一是多样性（diversity），要求环境集合覆盖广泛能力，同时避免冗余和优化冲突；二是难度结构（difficulty structure），要求提供有意义的难度递进，使智能体能持续稳定地提升。围绕这两个维度，作者分别提出 AES（能力感知环境选择，Ability-aware Environment Selection）来构造高覆盖、低冗余、低冲突的环境子集，以及 HDC（层次化难度课程，Hierarchical Difficulty Curriculum）来组织针对多模态瓶颈的课程。最终目标是让用更少环境训练的模型，反而能胜过用全部环境训练的模型，并稳定外推到未见过的环境上。

与已有工作不同的是，本文的独特切入角度在于把「环境质量」从样本级（每个环境能不能跑、能不能给奖励）提升到分布级（一批环境作为一个整体是否有效）。更关键的是，它打破了以往用任务描述 embedding 或代码 embedding 衡量多样性的表面做法（Table 9 显示这些方法只有 $2.8\%$–$19.5\%$ 增益），转而从智能体行为和能力视角刻画多样性——通过分解轨迹得到「元能力画像」。在难度维度上，它没有沿用文本环境里仅按「状态规模（grid size）」分级的套路（如 RLVE、VCRL），而是针对多模态独有的「视觉状态提取/世界建模」瓶颈设计了 harness 削弱机制。这种「以模型实际能力为锚点」而非「以环境表面表征为锚点」的设计理念，是本文区别于既有 UED 与课程学习方法的核心差异化。

核心方法

方法整体思路是「先诊断、再开方」。诊断阶段（Section 2）通过三组实验确认多模态环境训练失败的三大病因：盲目堆量（Figure 3 非单调）、负迁移（Table 1 多模态掉 $10.7\%$）、视觉与世界建模瓶颈（Figure 5 合计 $52\%$）。开方阶段（Figure 2 总览）分两条线：左侧 AES 解决「选哪些环境」，右侧 HDC 解决「按什么难度训」。AES 的直觉是——环境多样性不该看任务长什么样，而该看模型在环境里要调用哪些原子能力，因此先让强弱两个模型各跑 $20$ 条轨迹，用 GPT-5 把轨迹切成可复用的原子能力，聚合成每个环境的元能力画像，再贪心地选出「能带来新能力覆盖、又与已选环境低冗余低冲突」的样本。HDC 的直觉是——多模态智能体在原始视觉输入上很难拿到 RL 奖励，于是先给一堆文本辅助信息（harness）让它能解题、能拿到奖励，再像拆脚手架一样逐级撤掉辅助，并在每一级内部按状态规模做内层课程，形成「外层削弱 harness + 内层放大状态规模」的嵌套课程。两条线最终在 AES 选出的 $30$ 个环境上叠加，构成完整方案。

核心创新有两点。第一，AES 用「元能力画像 + 梯度冲突」重新定义环境多样性。传统方法用 bge-m3 等模型对任务描述或环境代码做 embedding 再 k-center 去重（Table 9 显示分别只有 $2.8\%$ 和 $19.5\%$ 相对增益），而 AES 用模型实际表现出的能力来代表环境，并用 $\mathrm{Conflict}(e,S)=\max\max(0,-\cos(g_e,g_{e'}))$ 直接捕捉训练时的优化对抗，达到 $40.3\%$ 增益——这是首个用机制级梯度信号做环境筛选的多模态工作。第二，HDC 把多模态特有的「视觉状态提取/世界建模」瓶颈显式建模为课程的一个维度——harness 削弱。这与文本环境只按 grid size 分难度有本质区别：harness 提供文本观测、文本状态、文本提示、规则描述四类脚手架，按 $H_0\!\to\!H_4$ 五级逐级移除，让模型在「有拐杖时学会解题、拿到奖励」之后，再被迫用原始视觉独立完成。两轴嵌套形成层次化课程，是针对多模态独有失败模式的量身定制，而非通用 trick。

方法步骤详情

完整流程分四步。步骤一·构建元能力画像：对每个环境采样 $5$ 个实例，用 Qwen3-VL-4B 和 Gemini-3-Flash 各生成 $20$ 条轨迹，再用 GPT-5 按 Appendix F 的 prompt 把轨迹切成可复用原子能力（如 explore_unseen_area、solve_path_planning），合并同义能力、过滤频率低于 $10\%$ 的噪声、分为核心能力与软能力（权重 $0.3$ 折）并记录转移边，最终为 $200$ 个环境归纳出 $72$ 个核心元能力。步骤二·AES 选择：从空集 $S$ 出发，每步选增益最大者加入，增益 $\mathrm{Gain}(e\mid S)=\lambda_1\!\cdot\!\mathrm{NewCoverage}-\lambda_2\!\cdot\!\mathrm{Redundancy}-\lambda_3\!\cdot\!\mathrm{Conflict}$，其中 $\mathrm{Redundancy}=\max\mathrm{sim}(P_e,P_{e'})$ 用画像相似度，$\mathrm{Conflict}=\max\max(0,-\cos(g_e,g_{e'}))$ 用每环境 $10$ 批 $\times\,10$ 样本的梯度，直到覆盖全部核心能力，最终选出 $30$ 个环境（Figure 6 显示覆盖率快速饱和）。步骤三·HDC 外层 harness 课程：定义 $5$ 级 $H_0$–$H_4$（Table 7，$H_0$ 全脚手架、$H_4$ 仅基本视觉），每环境维护前沿 $r_e$，从 $D_e(h\mid r_e)$ 采样——当前级给概率 $p_{\mathrm{cur}}$，更早级按 $\exp(-\alpha(r_e-h))$ 指数衰减分配，避免硬切换。步骤四·内层状态规模课程：每环境维护窗口 $[\ell_e,u_e]$，从 Uniform 窗口采样规模级 $s$ 并按 $\theta\sim Q_e(\theta\mid s)$ 生成实例；成功率超 $\tau_{\mathrm{scale}}$ 则 $u_e\!\leftarrow\!u_e+1$，达目标且超 $\tau_{\mathrm{harness}}$ 则 $r_e\!\leftarrow\!r_e+1$ 并重置 $u_e$，每环境独立推进。

技术新颖性

技术新颖性体现在三处。其一，把多样性从「环境表示相似度」重构为「模型能力覆盖度 + 梯度冲突度」。传统 embedding 方法（Description Embedding $2.8\%$、Code Embedding $19.5\%$）难以捕捉训练时的优化对抗，而 Conflict 项直接用余弦相似度的负部分度量，能预警哪些环境混训会互相拖累，这是机制级而非表面级的多样性度量。其二，HDC 的 harness 削弱是面向多模态独有瓶颈的原创设计，区别于 RLVE、VCRL、AdaCuRL 等只调样本难度的课程方法——Table 14 中 HDC 在 ID-MT 上比最强基线 AES+VCRL 高 $5.9$ 分、比 AES+RLVE 高 $8.0$ 分。其三，外层 harness 与内层状态规模的嵌套采样分布 $D_e(h\mid r_e)$ 用指数衰减回访早期级别，既保证渐进难度又缓解灾难性遗忘，Figure 9 训练曲线呈现平滑阶梯上升。三者叠加使 AES+HDC 在仅用 $30$ 个环境时，就超越用全部 $170$ 环境训练的效果（Table 3）。

**Figure 2**: An overview of our methods for evaluating and designing effective environment distribution.

**Figure 4**: Gradient cosine similarity analysis between environments under different versions.

**Figure 6**: Core ability coverage curve when selecting environments using AES.

实验结果

核心发现可逐表分析。Table 1：混合训练文本符号版仅掉 $1.3\%$、多模态版暴跌 $10.7\%$，Figure 4 显示多模态版梯度余弦出现 $-0.130$、$-0.131$ 等强负值，证明视觉模态放大负迁移。Figure 5：错误集中在视觉状态提取（$30\%$）和世界建模（$22\%$），合计 $52\%$。Table 3（主结果，$K=30$）：$4$B 上 Base 仅 $15.7/13.1$（ID-ST/MT），All Envs 涨到 $25.4/19.8$（$+80.1\%$ 相对增益），AES 单独到 $37.7/25.4$（$+150.6\%$），AES+HDC 到 $45.0/36.2$（$+223.9\%$）；OOD 相对增益 $68.5\%$，ID/OOD 两模型平均 $143.2\%$；$8$B 上 AES+HDC 的 ID-ST 相对增益 $206.7\%$、OOD $73.7\%$，方法可迁移到更大模型。Table 4：去 Conflict 后增益从 $40.3\%$ 暴跌到 $2.8\%$，梯度冲突项贡献最大。Table 5：scale-only $+11.5\%$、harness-only $+18.1\%$、两者 $+27.7\%$，互补。Table 9：AES $40.3\%$ 远超 Code Embedding $19.5\%$、Description Embedding $2.8\%$。Table 10：扩预算下 All Envs 用约 $5.7$ 倍数据仍输给 AES。Figure 10：HDC 后视觉状态提取与世界建模错误被大幅纠正，直击两大瓶颈。

**Table 1**: Results of mixed-environment training.

**Table 2**: The effects of different textual harness information.

**Table 4**: Results of ablation experiments on AES.

**Table 5**: Results of ablation experiments on HDC.

**Table 9**: Comparison with representation-based environment selection.

**Table 14**: Comparison with curriculum-learning baselines.

**Figure 9**: The training curve of HDC on Frozen Lake.

**Figure 10**: Corrected error analysis when learning algorithm using HDC.

查看结构化数据

任务	指标	本文	基线	提升
ID 多模态环境单轮任务（ID-ST）	Success Rate (%)	$45.0$（4B AES+HDC）/ $49.9$（8B AES+HDC）	$15.7$（4B Base）/ $17.6$（8B Base）	相对增益 $+223.9\%$（4B）/ $+206.7\%$（8B）；亦优于 All Envs 的 $25.4/29.7$ 与 Random-K 的 $32.2/34.7$
ID 多模态环境多轮任务（ID-MT）	Normalized Return	$36.2$（4B）/ $40.1$（8B）	$13.1$（4B Base）/ $14.8$（8B Base）	AES+HDC 比 AES 单独（$25.4/30.9$）再提升约 $10$ 点，HDC 对长程规划收益最大
OOD 持出环境（30 个全流程未见环境）	Avg. Relative Gain over Base	$68.5\%$（4B）/ $73.7\%$（8B）AES+HDC	$0\%$（Base Model）	AES+HDC 的 OOD 泛化显著优于 Random-K+HDC（$15.1\%/14.4\%$）与 All Envs（$7.5\%/15.9\%$）
通用多模态基准 MathVision/MMMU/MMStar	Accuracy (%)	$53.3/67.2/63.1$（4B AES+HDC）	$52.3/66.0/62.7$（4B Base）	平均相对增益 $+1.5\%$，证明交互环境 RL 训练未损害通用感知推理能力
课程学习方法对比（ID-MT，相同 AES 子集）	Normalized Return	$36.2$（AES+HDC）	$30.3$（AES+VCRL）/ $28.2$（AES+RLVE）	$+5.9/+8.0$ 绝对提升，证明 harness 削弱优于纯难度调节

局限与改进

作者自承三点局限。一是环境池主要复用 Gym-V、VisGym 等已有工作，未深入研究大规模环境合成（如 AutoForge 风格的程序化生成），池子规模与多样性受限于前人成果。二是受算力限制（$4\times$A100 80G），多轮环境 RL 极其昂贵，部分环境可能未充分训练，且只在单一统一预算下比较，未在更大预算下充分验证结论稳定性。三是 AES 的 Conflict 项需要采样梯度（每环境 $10$ 批 $\times\,10$ 样本），引入额外离线计算开销，比传统 embedding 去重重得多，未来需探索更高效的冲突估计。我的额外观察：harness 的四类（文本观测/状态/提示/规则）与 $H_0$–$H_4$ 的拆分顺序都较启发式，缺乏自动化搜索机制；AES 严重依赖 GPT-5 做能力切分与 Gemini-3-Flash 做轨迹采集，换成开源小模型标注时画像质量未知；实验只覆盖游戏/益智类网格与图任务，未触及 GUI/Web 等真实世界任务，外推性存疑；规模上仅报告 $4$B/$8$B，缺少 $70$B+ 的 scaling 趋势分析。

独立分析的弱点

弱点一：harness 与状态规模的具体配置靠人工拍板。Table 7 的 $H_0$–$H_4$ 移除顺序、Table 8 的 scale 参数都基于经验设定，不同环境组合可能需要不同课程；改进方向是用元学习或 multi-armed bandit 自动搜索每环境的最佳 harness 衰减曲线与 scale 步长，甚至用 population-based training 并行探索。弱点二：AES 的能力画像依赖昂贵的闭源模型标注（GPT-5 切分 + Gemini-3-Flash 跑轨迹），难以在资源受限场景复现，且 GPT-5 的切分质量本身是黑箱；可改进为用开源 VLM 自蒸馏能力词典，或用模型激活/注意力模式替代显式能力标签做轻量相似度。弱点三：环境池全是结构化网格/图/棋类任务，harness 思路能否迁移到 OSWorld、WebArena、Mind2Web 这类真实 GUI/Web 环境未经验证——这类环境的「视觉状态提取」难度更高、规则更模糊，可能需要视觉分割或 DOM 树形式的 harness 而非纯文本提示。弱点四：只报告了 $4$B/$8$B 两个规模，未见 $70$B+ 的 scaling law，无法判断 AES/HDC 的增益是否会随规模饱和或放大；建议补充更大模型实验给出趋势曲线。每个弱点都有明确的下一步可走。

未来方向

作者明确点名的未来方向包括：大规模环境合成（扩展 AutoForge/Gym-anything 式的程序化生成以扩充池子）、在更大训练预算下验证结论、以及探索更高效的冲突估计方法（如用 Fisher 信息矩阵或参数重要性替代显式梯度采样）以降低 AES 离线开销。基于本文成果可延伸的方向我认为还有四条：第一，把 AES 的元能力画像与 PLR/PAIRED 等 UED 的在线 regret 结合，做「池内选择 + 在线生成」的混合课程，兼顾覆盖广度与即时可学习性；第二，把 harness 削弱推广为通用的「辅助信号退火」框架，应用于工具调用、思维链、scratchpad 等可被逐步撤除的中间产物，形成一种通用的训练脚手架范式；第三，用 AES 选出的 $30$ 个环境作为「能力探针集」，反向诊断任意新 VLM 的能力短板，做模型评测；第四，探索 harness 级别的自适应推进而非全局同步，让不同能力按各自成熟节奏升级，可能进一步稳定多轮训练。

复现评估

复现评估中等偏上。有利因素：训练框架 VeRL、评测脚本 lmms-eval、环境基础 Gym-V 均为开源，论文给出 GRPO、rollout group size $=16$、$7680$ 样本、$4\times$A100 80G 等关键超参；Algorithm 1 提供 HDC 完整伪代码，Table 7 列出全部 harness 级别配置，Table 8 列出 $30$ 个环境的 scale 参数，Table 6 列出全部选定环境及任务描述，Appendix F 给出能力切分的完整 system prompt。不利因素：能力画像构建严重依赖闭源模型——Qwen3-VL-4B 和 Gemini-3-Flash 生成轨迹、GPT-5 做原子能力切分和核心/软能力分类，这些 API 不易完全复刻，且 $\lambda_1=\lambda_2=\lambda_3=1$、$\tau_{\mathrm{scale}}$、$\tau_{\mathrm{harness}}$、$p_{\mathrm{cur}}$、衰减系数 $\alpha$、窗口大小 $\Delta_d$ 等部分超参只在附录零散提及；$30$ 个环境虽列出名字，但每个环境的实例生成器与奖励函数代码未全部开源。算力门槛方面，$4\times$A100 80G 跑 $7680$ 样本的 GRPO 对学术组算中等偏重，叠加 AES 离线梯度采样开销，完整复现一次主实验预计需要数千 GPU 小时。整体看方法可复现但成本较高，闭源标注是最大不确定性来源。

超越简单的环境规模扩展：为多模态智能体学习设计有效的环境分布 Beyond Simply Environment Scaling: Designing Effective Environment Distributions for Multimodal Agent Learning