MuSEAgent：一种具有有状态经验的多模态推理智能体 MuSEAgent: A Multimodal Reasoning Agent with Stateful Experiences
将多模态智能体的交互轨迹解耦为原子级状态-动作经验，通过深度-广度搜索实现精准决策指导
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是指能够同时处理文本和视觉（图像/视频）输入的大规模预训练模型，如 GPT-4o、Qwen-VL 系列、LLaVA 系列等。这些模型通过大规模视觉-语言预训练，将图像编码为与文本共享的语义空间，从而实现跨模态理解和推理。典型的 MLLM 架构包含视觉编码器（如 ViT）、跨模态投影层和语言模型骨干。然而，当前 MLLM 在需要精细视觉定位和多步推理的任务上仍存在幻觉和逻辑不一致的问题。
本文的实验全部基于 MLLM 作为智能体的基座模型，理解 MLLM 的能力边界是理解本文动机的关键
ReAct 框架
ReAct（Reasoning + Acting）是 Yao 等人在 2022 年提出的智能体推理框架，核心思想是让语言模型在推理过程中交替生成推理轨迹（thought）和执行动作（action），并根据环境反馈（observation）调整后续策略。这种交错式推理-行动模式使得模型能够与外部工具和环境交互，获取实时信息来辅助决策。ReAct 已成为后续多模态智能体工作的基础范式。
MuSEAgent 建立在 ReAct 范式之上，但通过引入有状态经验来增强其决策能力，ReAct 是本文的直接基线
马尔可夫决策过程（MDP）
马尔可夫决策过程是强化学习的标准建模框架，由状态空间 S、动作空间 A、转移函数和奖励函数组成。其核心假设是马尔可夫性：下一个状态仅依赖于当前状态和动作，与历史无关。在本文中，作者将智能体的多步推理过程形式化为 MDP，将每一步的决策状态定义为 s_t = (u, v_t, d, H_t)，其中 u 是用户指令，v_t 是当前视觉观察，d 是任务描述，H_t 是执行历史。
本文将智能体推理形式化为有状态 MDP，这是整个方法论框架的理论基础
事后推理（Hindsight Reasoning）
事后推理借鉴了强化学习中 HER（Hindsight Experience Replay）的思想，即在一条轨迹执行完毕后，回过头来评估每一步决策的质量。不同于在线学习中实时获取奖励信号，事后推理允许模型利用完整的任务结果（成功或失败）来更准确地评判中间步骤的价值。在本文中，一个强大的多模态模型（如 GPT-4o）充当事后推理模型，为每个状态-动作对生成质量评分 q_t（范围 0-10）和文本化的决策指导摘要 g_t。
事后推理是有状态经验抽象的核心机制，决定了经验银行中经验的质量和可用性
语义视点（Semantic Viewpoint）
语义视点是本文提出的一种状态表示机制，将复杂的多模态状态分解为多个互补的语义角度。例如，一个视点可能只包含查询文本和视觉输入的组合，另一个视点可能包含查询文本和任务描述的组合。每个视点独立生成嵌入向量，使得同一条经验可以从多个角度被检索到。这种组合式表示提高了检索的灵活性和覆盖率。
语义视点是深度-广度搜索机制的基础，理解它才能理解经验检索的工作原理
研究动机
当前多模态智能体在处理复杂的多步视觉推理任务时面临两个根本性挑战。首先，视觉输入的信息密度远低于文本输入，直接检索和使用完整的交互轨迹会引入大量冗余或不相关的上下文信息，在有限的上下文窗口中放大推理噪声。例如，在 V* Bench 和 HR-Bench 等细粒度视觉感知任务上，基于轨迹的方法（如 Reflexion 和 Expel）在 Qwen3-VL-32B 上的平均准确率仅为 56-57%，远未充分利用历史经验的潜力。其次，多模态推理需要在不同模态间进行交错式思考，这使得识别相关且相似的记忆案例变得极其困难。当智能体遇到中间推理瓶颈时——比如在高分辨率图像中定位目标对象或判断空间关系——轨迹级的经验检索无法提供细粒度的决策指导，粗粒度的任务级类比远不如针对当前状态的战术知识有效。
本文的目标是本文的具体目标是设计一种新的经验学习范式，将多模态智能体的历史交互轨迹解耦为原子级的状态-动作对，并通过高质量的经验银行和动态检索机制，在推理的每一步为智能体提供精准的、与当前决策状态直接相关的经验指导。量化目标包括：在四个细粒度视觉推理基准（V* Bench、MME-RealWorld-Lite、ZoomBench、HR-Bench）上超越现有轨迹级经验方法，特别是在需要精细视觉定位的任务上实现显著提升；同时验证有状态经验的跨域泛化能力，即在一个领域学到的经验能否迁移到未见过的领域。
与已有工作不同的是，本文的独特切入点在于：现有经验增强方法（如 Reflexion、Expel）都在轨迹层面进行经验抽象和检索——将整条交互历史作为一个不可分割的单元来存储和匹配。本文敏锐地指出，这种做法在多模态场景下尤其低效，因为：(1) 完整轨迹包含大量与当前决策无关的视觉噪声；(2) 不同推理步骤需要的指导类型完全不同（有的需要视觉感知策略，有的需要工具选择策略）。因此，本文提出将轨迹拆解为原子级的状态-动作对，每对都经过事后评估和独立索引，使得智能体在推理时能够根据当前状态精确检索到最相关的决策经验——这不是「从类似任务中学」，而是「从类似决策状态中学」。
核心方法
MuSEAgent 的核心思想可以用一个类比来理解：传统的轨迹级经验学习就像把一整场棋局录像存在数据库里，下次下棋时找出「最相似的棋局」来参考；而有状态经验学习则是在复盘时把每一步棋拆开，标注「在这样的局面下，走这步棋好不好，为什么好」，然后在下次下棋时，针对当前的具体局面精准地找到对应的棋步建议。技术路线分为两个阶段：第一阶段是经验抽象（Experience Abstraction），离线地将历史轨迹分解为原子状态-动作转换，通过事后推理模型评估每个转换的质量并提取可复用的决策指导，然后为每条经验构建多视点嵌入索引；第二阶段是经验利用（Experience Exploitation），在线推理时通过深度-广度搜索（Deep-and-Wide Search）机制，从经验银行中检索与当前决策状态最相关的经验，注入智能体的工作上下文中指导下一步行动。
本文最核心的创新是将多模态智能体推理从「基于轨迹的经验匹配」转变为「基于状态的经验检索」。已有方法（Reflexion、Expel）将整条交互轨迹作为经验单元存储和检索，这在多模态场景下会产生严重的信息冗余和噪声——一条轨迹可能包含数十个状态转换，但只有少数几个对当前决策有参考价值。MuSEAgent 的关键洞察是：智能体在每一步的决策质量取决于当前状态，而不是整个任务的全局相似性。因此，它将轨迹分解为原子级的 (s_t, a_t, s_{t+1}) 三元组，通过事后推理模型为每个三元组生成质量评分 q_t（范围 0-10）和文本化的决策指导 g_t，只有质量评分超过阈值 δ（默认 5.0）的经验才会被保留。这种做法的本质区别在于：轨迹级方法只能告诉智能体「做类似任务时整体策略是什么」，而有状态方法能告诉智能体「在你当前面对的这种具体情况下，最好的下一步操作是什么」。
方法步骤详情
MuSEAgent 的方法包含三个核心步骤。第一步是状态化 MDP 建模：将智能体的推理过程形式化为马尔可夫决策过程，定义每步的状态为 s_t = (u, v_t, d, H_t)，动作空间为工具操作和经验检索的并集，生成轨迹 τ = (s_1, a_1, s_2, a_2, ..., s_T, a_T)。第二步是经验抽象：将轨迹中的每一步原子转换 (s_t, a_t, s_{t+1}) 送入事后推理模型 Q_φ（默认为 GPT-4o），生成质量评分 q_t（范围 0-10）和指导摘要 g_t，只保留 q_t ≥ δ（默认 δ = 5.0）的高质量转换作为经验单元 e_t = (s_t, a_t, g_t)。然后，对每条经验的状态 s_t 进行组合式视点分解，用嵌入模型（Qwen3-VL-8B-Embedding）为每个视点生成独立的嵌入向量 z_t^{(i)} = f_θ(p_i(s_t))，构建多视点索引的经验银行。第三步是深度-广度搜索推理：在推理的每一步，智能体先根据当前状态选择语义视点，通过广度搜索（Wide Search）检索 Top-K 条最相似的经验；如果需要更精准的指导，则进行深度搜索（Deep Search），在多个互补视点上迭代检索，每轮强调状态的不同方面（如视觉感知、工具使用历史、任务意图），最终将检索到的经验指导聚合注入智能体的决策上下文。
技术新颖性
MuSEAgent 的技术新颖性体现在三个层面。第一，在经验粒度上，它是首个将多模态智能体的交互轨迹解耦为原子级状态-动作对并进行独立质量评估的工作，与 Reflexion（基于失败轨迹的反思）和 Expel（基于整条轨迹的规则提取）形成根本区别。第二，在表示机制上，提出了组合式语义视点（Compositional State Representation），将异构的多模态状态分解为多个语义角度（查询+图像、查询+任务、查询+历史等），使得同一条经验可以从多个维度被检索，这比单一嵌入向量的检索方式灵活得多。第三，在检索策略上，设计了深度-广度联合搜索机制：广度搜索确保检索到多样化的决策上下文，深度搜索通过多视点迭代细化来精确定位当前状态所需的指导。这种「宽覆盖+深聚焦」的检索策略是此前经验增强智能体工作中未曾出现的设计。
实验结果
本文在四个细粒度多模态推理基准上进行了全面实验，使用三个不同规模的基座模型（Qwen3-VL-32B、Qwen3-VL-235B-A22B、Qwen3.5-397B-A17B），得出以下核心发现。首先，有状态经验方法在所有基准和所有基座模型上一致超越轨迹级基线：在 Qwen3-VL-32B 上，MuSEAgent 平均准确率达 65.30%，比最强基线 Expel（56.96%）高出约 8 个百分点；在 V* Bench 的 Relative Position 子任务上，MuSEAgent 配合 Qwen3-VL-235B-A22B 达到 92.11%，比 Expel 的 73.68% 提升了 18.43 个百分点。其次，有状态经验对较小模型的增益更大：32B 模型的提升为 7.97%，而 235B 和 397B 模型的提升分别为 3.25% 和 3.81%，这表明细粒度状态级经验对推理能力有限的模型尤为重要。深度-广度搜索的缩放实验显示，搜索深度和宽度在 3 时达到最优性能，继续增加到 4 或 5 会导致轻微下降，说明过多的历史经验会引入冗余信息。跨域泛化实验中，仅使用域外经验的 MuSEAgent 在 V* Bench、ZoomBench 和 HR-Bench 上仍超越使用域内经验的轨迹级基线（59.64% vs 57.33%/56.96%），证明有状态经验捕获了可迁移的推理技能。消融实验进一步揭示：结合正确和错误轨迹的经验源效果最佳（V* Bench 85.42%）；GPT-4o 作为事后推理模型效果最好；质量阈值设为 5.0（而非更严格的 9.0 或 7.0）时性能最优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| V* Bench Micro Avg (Qwen3-VL-32B) | Accuracy (%) | 85.42 | Expel 73.96 | +11.46 |
| V* Bench Relative Position (Qwen3-VL-235B) | Accuracy (%) | 92.11 | Expel 73.68 | +18.43 |
| MME-RealWorld-Lite Micro Avg (Qwen3-VL-32B) | Accuracy (%) | 43.13 | Expel 41.56 | +1.57 |
| ZoomBench (Qwen3-VL-32B) | Accuracy (%) | 54.66 | Reflexion 48.87 | +5.79 |
| HR-Bench (Qwen3-VL-32B) | Accuracy (%) | 78.00 | Expel 66.00 | +12.00 |
| Average (Qwen3.5-397B-A17B) | Accuracy (%) | 69.76 | Expel 65.95 | +3.81 |
局限与改进
尽管 MuSEAgent 取得了显著的性能提升，但仍存在以下局限性。第一，跨域泛化在某些特定领域存在不足：在 MME-RealWorld-Lite 上，使用域外经验的 MuSEAgent（40.00%）略低于使用域内经验的 Expel（41.56%）和零经验的 ReAct 基线（41.46%），说明依赖真实世界视觉特征的任务仍需目标域的经验指导。第二，搜索深度和宽度的最优值仅为 3，进一步增加会导致性能下降，这表明当前的嵌入检索机制在处理大量经验时可能引入噪声，经验银行的规模扩展能力存在瓶颈。第三，经验抽象依赖 GPT-4o 作为事后推理模型，这带来了较高的离线计算成本和外部 API 依赖；虽然自反思（使用 32B 模型）也能超越轨迹级基线，但与 GPT-4o 相比仍有约 7 个百分点的差距。第四，实验仅在多项选择题任务上进行评估，尚未验证在开放式生成任务或交互式任务中的效果。第五，经验银行的构建是在探索阶段离线完成的，缺乏在线更新机制来适应分布漂移。
独立分析的弱点
独立分析本文存在以下弱点。第一，经验质量评估完全依赖单一的事后推理模型，存在「评估者偏见」风险——如果事后模型本身对某类视觉场景理解不足，生成的质量评分和指导摘要可能不准确，这种错误会传播到整个经验银行。改进方向是引入多个事后模型的集成评估，或者使用任务成功率作为隐式奖励信号来校准质量评分。第二，语义视点的设计是预定义的（如查询+图像、查询+任务等），缺乏自动发现最优视点组合的能力。在实际应用中，不同类型的任务可能需要完全不同的视点划分方式。改进方向是引入可学习的视点选择机制，根据任务类型动态生成最有效的视点组合。第三，深度搜索中的视点选择是随机采样的，而非基于当前已检索经验的信息增益来主动选择最有价值的下一个视点。改进方向是采用类似主动学习的策略，根据前几轮检索结果的信息量来决定下一轮应该查询哪个视点。第四，实验中工具银行包含 13 个工具，但缺乏对工具选择错误的容错机制——如果智能体在某一步选错了工具，即使经验检索正确也无法纠正。改进方向是在经验指导中加入工具选择的置信度评估。
未来方向
本文的结论和实验结果指向几个有前景的未来研究方向。首先，作者明确提出要探索在线经验构建机制，让智能体在与开放环境的持续交互中实时更新有状态记忆，实现自主进化。这是从离线经验银行到终身学习智能体的关键跨越。其次，当前的实验局限于多项选择题任务，未来可以将有状态经验范式扩展到开放式视觉问答、图像描述生成、多轮对话等更复杂的任务类型。第三，经验银行的跨域泛化实验表明有状态经验捕获了可迁移的推理技能，这启发了一种新的迁移学习范式：预训练一个通用的经验银行，然后通过少量目标域数据进行微调。第四，当前的事后推理模型是静态的，未来可以探索让事后模型本身也随着经验积累而进化，形成「经验增强经验提取」的良性循环。第五，深度-广度搜索机制可以与更先进的检索技术结合，如学习型检索器（learned retriever）或基于图的关联检索，以提升大规模经验银行上的检索效率和质量。
复现评估
从复现角度来看，本文具有较好的可复现性。代码已开源于 GitHub（https://github.com/DeepExperience/MuSEAgent），这为复现提供了基础。使用的四个基准数据集（V* Bench、MME-RealWorld-Lite、ZoomBench、HR-Bench）均为公开数据集，且作者按照 1:1 的探索-评估划分进行了标准化处理。工具银行中的 13 个工具在附录中有完整的代码实现和参数说明。然而，复现面临的主要挑战包括：(1) 经验抽象阶段需要调用 GPT-4o API 来评估历史轨迹，这需要一定的 API 费用；(2) 嵌入模型使用的是 Qwen3-VL-8B-Embedding，需要确认是否公开可用；(3) 在线推理阶段的深度-广度搜索需要维护嵌入索引和相似度检索，对内存和计算有一定要求；(4) 最优配置（搜索深度=3、宽度=3、质量阈值=5.0）是通过实验确定的，在新领域可能需要重新调优。总体而言，对于具备多模态推理基础设施的研究团队，复现难度为中等。
论文图表