VisGym：面向多模态智能体的多样化、可定制、可扩展环境

17个多模态交互环境系统评测VLM在多步视觉决策中的失败模式

前置知识

Vision-Language Models (VLMs)

视觉语言模型是能够同时处理图像和文本输入的深度学习模型，典型代表包括GPT-5、Gemini、Qwen-VL等。这些模型通过将视觉编码器（如ViT）与大型语言模型相结合，实现对视觉场景的理解和基于文本的推理。VLMs在静态视觉问答和图像描述任务上已取得显著进展，但在需要多步交互、记忆维护和动作规划的动态场景中表现仍然不佳。

本文的核心研究对象就是VLMs在多步视觉交互任务中的表现，理解VLMs的基本架构和能力边界是理解本文实验设计和发现的前提

Gymnasium Framework

Gymnasium是OpenAI开发的强化学习环境标准接口库，提供统一的step/reset API来封装环境状态转移、奖励计算等逻辑。每个环境暴露observation空间和action空间，智能体通过调用env.step(action)获取下一状态、奖励、终止信号等。本文在此基础上扩展了函数调用式动作空间和文本反馈机制，使其适配VLM智能体。

VisGym建立在Gymnasium框架之上，理解其API设计（如step函数、observation/action定义）对于理解本文的环境设计至关重要

Supervised Fine-Tuning (SFT)

监督微调是使用标注数据对预训练模型进行特定任务优化的技术。在本文中，作者使用求解器生成的演示轨迹作为训练数据，对Qwen2.5-VL-7B-Instruct进行全参数微调。SFT通过最小化预测动作与演示动作之间的差异来训练模型，相比强化学习更稳定且数据效率更高，但受限于演示数据的质量和多样性。

本文的一个重要贡献是展示了通过精心策划的SFT数据（特别是信息揭示型演示）可以显著提升VLM的多步决策能力，理解SFT机制是理解本文训练实验的关键

Partial Observability (POMDP)

部分可观测马尔可夫决策过程是指智能体无法直接观测到环境完整状态的情况。在VisGym中，Maze 3D、Mental Rotation 3D、MuJoCo Fetch等环境都具有部分可观测性——智能体只能看到局部视角，需要通过探索来推断隐藏状态。这比完全可观测环境更具挑战性，因为模型需要维护和更新内部状态估计。

部分可观测性是本文诊断实验中的一个关键变量，作者发现SFT在部分可观测环境中的效果高度依赖于演示数据是否包含信息揭示行为

Function-Conditioned Action Space

传统强化学习使用离散或连续向量作为动作空间，而本文提出函数调用式动作空间，将动作表示为带参数的函数调用，如('swap', (1, 2))或('rotate', (30.5, 20.4, 15.1))。这种设计使模型能够利用其函数调用能力，通过自然语言描述的动作指令来组合跨领域的策略，更符合VLMs的文本生成特性。

这是VisGym相对于传统RL环境的核心设计创新之一，使得同一VLM可以无缝地在17个不同环境中执行动作，无需针对每个环境设计专用的动作编码

Multi-step Visual Decision-Making

多步视觉决策是指智能体需要在多个时间步中整合视觉观察、记忆历史和动作选择来完成目标的过程。与单步视觉问答不同，多步决策要求模型：(1)从视觉变化中推断动作效果，(2)维护跨步的内部状态，(3)根据历史反馈调整策略，(4)规划长期行动序列。这种能力对于机器人操控、GUI自动化等应用至关重要。

本文的核心研究问题就是评估和诊断VLMs在多步视觉决策中的失败模式，理解这个概念是理解全文研究动机的基础

研究动机

现代视觉语言模型（VLMs）在静态视觉-语言基准测试上已取得显著进展，但在多步视觉交互任务中的表现仍然远未被充分理解。现有评估如OSWorld（369个任务）、LIBERO（130个任务）等虽然有价值，但往往是领域特定的观察性研究，无法系统地、受控地诊断领域无关因素——如上下文长度、表征模态、反馈设计、目标可见性——如何影响模型在各任务中的表现。最近的评估表明，当前VLMs在机器人操控、计算机使用和游戏智能体等视觉交互场景中面临诸多挑战，包括低任务成功率、脆弱的视觉基础和弱泛化能力。例如，即使是最强的前沿模型在多步视觉交互中的表现也远低于人类水平，但缺乏一个统一的、可定制的框架来系统地分析这些失败的根本原因。

本文的目标是本文的目标是构建一个高度多样化、可扩展、可定制的环境套件VisGym，包含17个长期视野环境，用于系统地隔离和诊断限制交互式决策能力的因素，并暴露当前VLMs在哪些环节崩溃。具体而言，作者希望：(1)提供跨符号谜题、真实图像理解、导航和操控等多领域的统一评估框架；(2)实现对输入表征、难度、历史长度、规划视野和反馈的细粒度控制，支持领域无关的系统分析；(3)提供求解器生成的结构化演示，支持监督微调训练；(4)通过控制实验揭示上下文长度利用、模态表征、反馈设计等因素对性能的具体影响。

与已有工作不同的是，本文的独特切入角度在于将评估、诊断和训练三者统一在一个框架中，实现从模型是否失败到为什么失败的深入分析。与现有工作相比，VisGym的创新在于：(1)跨越符号谜题、真实图像理解、导航和操控等多个领域，而非局限于单一领域；(2)提供对难度、输入表征、历史长度、规划视野和反馈的细粒度控制，实现受控的跨域诊断实验；(3)内置求解器支持演示轨迹生成和监督微调，使同一框架同时支持评估和训练；(4)通过系统化的控制实验（如对比图像vs ASCII表征、有无文本反馈、提供/不提供目标观察等）揭示具体的失败模式，而非仅报告聚合指标。这种评估+诊断+训练的统一视角使VisGym成为一个真正可扩展的研究平台。

核心方法

VisGym的整体方法思路是构建一个模块化的环境套件，将17个视觉交互任务统一在Gymnasium框架下，同时通过函数调用式动作空间和文本反馈机制适配VLM智能体的特性。直觉上，作者认为要真正理解VLMs在多步视觉交互中的局限性，需要一个能够控制变量的统一平台——同一模型在不同难度、不同表征、不同反馈条件下的表现差异可以揭示具体的失败机制。技术路线上，VisGym扩展了标准Gymnasium框架的三个关键设计：(1)函数调用式动作空间（而非离散/连续向量），使模型可以利用其函数调用能力；(2)每个任务提供自然语言的动作函数描述，支持零样本执行；(3)环境在视觉状态转移之外提供文本反馈，帮助模型定位动作效果。这种模块化设计使得新增任务只需定义自己的动作函数、指令集和求解器，统一的step函数会处理解析、验证、执行和反馈。

VisGym的核心创新在于将评估、诊断和训练三个目标统一在一个可定制的框架中。与现有工作的本质区别体现在：(1)相比OSWorld、LIBERO等纯评估基准，VisGym内置了求解器（oracle solver）用于生成演示轨迹，支持监督微调训练；(2)相比VLABench、VLM-Gym等同时支持评估和训练的框架，VisGym提供了更细粒度的可控变量（输入表征、历史长度、反馈设计、目标可见性等），使得可以进行受控的诊断实验来隔离失败原因；(3)函数调用式动作空间的设计使同一模型可以无缝地在17个不同环境中执行动作，无需针对每个环境设计专用的动作编码或微调策略；(4)信息揭示型演示数据的策划策略（如Matchstick Rotation中的单位步探索、Mental Rotation中的完整轴旋转）展示了SFT数据质量对性能的关键影响。

方法步骤详情

VisGym的方法包含以下关键步骤：(1)环境设计：构建17个视觉交互环境，每个环境定义域类型（真实/合成图像）、可观测性（完全/部分）、动力学（已知/未知）和难度参数。环境通过Gymnasium的step函数暴露统一接口，接收动作返回观察、奖励和终止信号。(2)动作空间设计：将动作表示为带参数的函数调用，如swap操作或rotate操作，并为每个任务提供自然语言的动作指令描述。(3)求解器实现：为每个任务实现启发式多步求解器，支持多种求解策略和可选随机性，用于生成多样化的演示轨迹。(4)评估流程：在每个时间步t，模型接收完整历史H_t，包含任务指令I、历史观察o_tau、历史动作a_tau和环境反馈f_tau。(5)诊断实验：通过控制变量（如截断对话历史为1/2/4/无限轮、对比图像vs ASCII表征、移除文本反馈、提供目标观察等）进行受控分析。(6)监督微调：使用求解器生成的演示轨迹训练Qwen2.5-VL-7B-Instruct，比较单任务和混合任务两种配置。

技术新颖性

VisGym的技术新颖性体现在多个层面：(1)函数调用式动作空间是一个巧妙的设计，将传统RL的离散/连续动作空间转化为更适合VLM文本生成特性的函数调用形式，使得模型可以利用其已有的函数调用能力来执行动作，而无需额外的动作编码器。(2)统一的step函数设计实现了模块化——每个任务只需定义自己的动作函数、指令集和求解器，而解析、验证、执行和反馈逻辑由统一接口处理，大大降低了新增任务的开发成本。(3)求解器的多策略支持和可选随机性设计使得可以生成多样化的演示轨迹，避免了SFT数据的单一性问题。(4)信息揭示型演示的策划策略是本文的重要创新，特别是针对部分可观测和未知动力学环境，通过精心设计的探索行为来暴露隐藏状态和澄清动力学关系。(5)系统化的诊断实验设计（上下文长度截断、表征模态对比、反馈移除、目标观察提供）提供了一套可复用的VLM失败模式分析方法论。

实验结果

本文在12个前沿模型上进行了大规模评估，得出了多项重要发现：(1)前沿模型在VisGym上表现不佳，即使是最强的Gemini 3 Pro也仅在简单设置下达到46.61%成功率，困难设置下仅26.00%，表明当前VLMs在多步视觉交互中仍有很大提升空间。(2)模型难以有效利用长上下文，存在倒U型关系——保留有限历史轮次（约4轮）时性能最佳，但完整无限历史反而导致性能下降，说明无关或过时的观察会损害决策。(3)符号任务的视觉表征会显著增加难度，GPT-5在ASCII文本表征下通常能获得3-4倍的成功率提升，表明视觉基础是主要瓶颈而非长期推理能力。(4)文本反馈对模型至关重要，移除文本反馈后所有模型都表现出一致的性能下降，表明当前VLMs严重依赖文本反馈来判断动作有效性。(5)提供目标观察的效果存在脆弱性——虽然通常能带来大幅提升，但有限的视觉感知能力可能导致模型错误地将不相同的图像判断为相同，反而表现更差。Gemini 2.5 Pro在Zoom-In Puzzle和Matchstick Equation上就有80%和57%的误判率。(6)SFT的效果高度依赖于演示数据的质量，在部分可观测和未知动力学环境中，信息揭示型演示（如单位步探索、完整轴旋转）可将Matchstick Rotation的成功率从32.9%提升至70.0%。(7)更强的基础模型具有更好的泛化能力，Qwen3-VL在困难设置上的泛化成功率是Qwen2.5-VL的近两倍。

查看结构化数据

任务	指标	本文	基线	提升
VisGym (Easy Setting)	Average Success Rate	71.88% (Single-Task SFT), 58.75% (Mixed-Task SFT)	46.61% (Gemini 3 Pro), 26.79% (GPT-5)	Single-Task SFT提升25.27个百分点，Mixed-Task SFT提升12.14个百分点
VisGym (Hard Setting)	Average Success Rate	26.00% (Mixed-Task SFT, 难度泛化)	26.00% (Gemini 3 Pro), 12.32% (GPT-5)	SFT模型在困难设置上与最强商业模型持平，远超GPT-5
Matchstick Rotation (Unknown Dynamics)	Success Rate	70.0% (信息揭示型演示)	32.9% (基线演示)	提升37.1个百分点，通过单位步探索暴露动作幅度与感知效果的对应关系
Qwen3-VL vs Qwen2.5-VL SFT Generalization	Hard Setting Success Rate	Qwen3-VL在困难设置上泛化成功率近两倍于Qwen2.5-VL	Qwen2.5-VL-7B-Instruct	更强基础模型带来更好的分布外泛化能力

局限与改进

本文存在以下局限性：(1)评估范围的局限性——虽然涵盖了17个环境，但仍无法完全代表现实世界中所有视觉交互场景，特别是缺乏真实的GUI操作、复杂机器人任务等高风险应用场景。(2)求解器生成的演示数据可能与人类专家演示存在分布差异，SFT的效果是否能在真实人类演示上复制需要进一步验证。(3)诊断实验主要在GPT-5和Gemini 2.5 Pro上进行，开源模型的表现差异可能来自模型规模而非架构设计，需要更细致的控制实验。(4)信息揭示型演示的策划需要领域知识，如何自动化地生成这类高质量演示是一个未解决的问题。(5)本文主要关注成功率指标，未深入分析模型的推理过程、决策一致性和失败模式的可解释性。(6)实验中每个模型在每个任务上评估70个episodes，统计显著性可能不足以捕捉长尾失败模式。(7)VisGym的环境设计主要基于合成和标准化的真实图像，缺乏真实世界中的噪声、模糊性和多义性。

独立分析的弱点

基于对论文的独立分析，我识别出以下弱点并提出改进方向：(1)上下文利用实验的局限性——虽然发现了倒U型关系，但未探索更细粒度的历史管理策略（如基于注意力的选择性遗忘、关键帧提取等），改进方向是研究智能的上下文压缩和选择机制。(2)ASCII表征实验的解释不够深入——Matchstick Equation在视觉表征下表现更好的原因被归结为figlet字体的不规则性，但这表明不同任务的最佳表征可能不同，改进方向是研究自适应表征选择策略。(3)目标观察提供的脆弱性未得到充分解决——虽然发现了视觉误判问题，但未提出具体的解决方案，改进方向是结合视觉验证模块或多次确认机制来提高判断可靠性。(4)SFT数据策划的人工依赖——信息揭示型演示需要专家知识来设计，改进方向是开发自动化的数据策划算法，如基于好奇心驱动的探索或课程学习策略。(5)缺乏在线学习和自适应能力——当前框架主要支持离线SFT，未探索在线RL或交互式学习的可能性，改进方向是结合在线反馈的持续学习机制。

未来方向

作者在论文中提出的研究方向包括：(1)利用VisGym的诊断能力来系统地研究不同设计选择对VLM性能的影响，特别是探索更有效的上下文管理策略。(2)继续发展信息揭示型演示的策划方法，特别是在部分可观测和未知动力学环境中。(3)研究更强基础模型带来的泛化能力提升是否可以通过架构改进进一步放大。基于本文成果可延伸的方向包括：(1)将VisGym扩展到更多真实世界场景，如GUI操作、机器人遥操作等，验证在受控环境中发现的失败模式是否在更复杂场景中仍然存在。(2)开发自动化的失败模式发现和诊断工具，将本文的手动控制实验自动化。(3)研究多模态融合的更有效方式，特别是探索视觉编码器和LLM骨干的协同训练策略。(4)利用VisGym的可扩展性来构建更大规模的预训练数据集，通过大规模SFT来提升VLM的通用交互能力。(5)探索将信息揭示型演示的思想应用到其他领域，如代码生成、数学推理等。

复现评估

本文的复现性较好：(1)代码、数据和模型均已开源，可通过VisGym.github.io获取，这大大降低了复现门槛。(2)环境基于标准的Gymnasium框架构建，依赖项清晰，可通过pip安装复现。(3)所有实验使用OpenRouter访问商业模型，确保了推理接口的一致性，复现时只需有效的API密钥。(4)SFT实验使用LlamaFactory进行数据预处理和训练，配置参数明确（全局batch size 64，学习率1e-5，bf16精度，单任务1500步，混合任务5000步）。(5)评估设置清晰（每个模型每个任务70个episodes，简单设置最多20步，困难设置最多30步）。主要的复现挑战在于：(1)商业模型的API调用成本较高，完整评估12个模型在17个环境上的开销不小。(2)MuJoCo环境需要特定的物理引擎版本。(3)部分模型（如Gemini 3 Pro）的版本和API可能随时间变化，影响结果的可比性。总体而言，开源代码和清晰的实验设置使得复现是可行的。