XSkill：在多模态智能体中基于经验与技能的持续学习 XSkill: Continual Learning from Experience and Skills in Multimodal Agents
提出XSKILL双流框架，使多模态智能体从视觉轨迹持续学习技能与经验。
前置知识
多模态智能体（Multimodal Agent）
这类智能体将视觉感知、语言推理与外部工具（如代码执行、网页检索、反向图搜）统一在一个决策循环里，目标是根据图像与自然语言指令调用合适的工具并给出最终答案。与传统视觉问答不同，智能体需要在多轮交互中决定何时、如何使用工具，还要处理工具返回的不确定性与中间状态。
论文的核心场景是“多模态工具使用”，因此读者需要理解智能体如何把视觉观测转化为可执行动作，以及为什么当前智能体在复杂任务中容易陷入低效探索或路径单一。
持续学习（Continual Learning）与非参数化知识库
这里的“持续学习”并非传统在线学习或微调，而是指智能体在推理/训练过程中不断把成功与失败轨迹抽象成可复用的外部知识，并在后续任务中检索、改写、注入这些知识。非参数化表示知识以文档、条目或向量库形式存储，不直接更新模型权重。
XSKILL的核心卖点是“training-free continual learning”，即不更新模型参数却能随着任务积累不断改进。理解这一范式有助于把握论文为何强调知识库而非参数微调。
技能（Skill）与经验（Experience）的分层结构
技能通常描述任务级别的流程（workflow）、可复用代码模板或高层规划步骤，适合指导“如何拆解任务、按什么顺序调用工具”。经验则是动作级别的战术提示，往往绑定具体触发条件、失败原因或环境特征，适合在执行阶段修正细节。两者分别对应全局策略与局部适应。
论文把“skill”与“experience”形式化为互补的知识流，正是为了解决单一结构在复杂多模态任务中的不足。理解两者区别是读懂方法的关键。
视觉锚定摘要（Visually Grounded Summarization）
传统轨迹摘要往往只看文本日志；视觉锚定摘要则要求模型结合中间图像观测、工具输出和任务需求，总结“为什么在某一步选择某工具”“哪些视觉证据驱动了决策”。它通常借助多模态大模型把图像内容与推理过程绑定，避免纯文本摘要丢失关键视觉信号。
XSKILL将视觉锚定摘要同时用于经验提取与技能提取，因此读者需要理解其如何帮助模型捕捉“图像状态—动作选择”的因果关系。
检索增强生成（RAG）在智能体中的应用
在智能体场景中，RAG不是简单地检索文档回答问题，而是把以往的技能或经验作为外部记忆，在新任务开始前进行任务分解、子任务检索和上下文改写，再把改写后的知识注入系统提示。这样可以针对不同子任务提供精准的战术建议，同时保持执行模型的灵活性。
XSKILL的推理阶段本质上是一个“视觉导向的RAG”流程，理解RAG在智能体中的变体有助于把握任务分解检索与上下文适应的动机。
研究动机
现有多模态智能体在开放式工具使用场景下存在两个结构性瓶颈。首先，工具调用效率低：在VisualToolBench等视觉推理任务中，基线模型常常把大量推理步骤浪费在语法错误、工具名错误或冗余的试错上，导致简单问题也要消耗过多回合，而面对复杂问题又无法进行足够深入的多步探索。其次，工具编排缺乏灵活性：多数系统只支持单路径执行，难以在不同任务间组合或迁移工具策略，使得智能体在新场景下重复犯同样的错，无法把以往的成功经验转化为跨任务的复用能力。论文指出，现有方法主要依赖文本轨迹日志，缺少把视觉观测纳入知识提取与检索的机制，导致在多模态设置中无法可靠地把“看到什么”与“怎么做”对应起来。
本文的目标是作者希望在不更新模型参数的前提下，为多模态智能体建立一个“training-free”的持续学习机制。通过从多路径轨迹中提炼任务级技能与动作级经验，并在推理时根据当前图像与查询动态检索、改写、注入这些知识，使智能体在多样化视觉工具使用、多模态搜索和综合推理任务上提升工具使用效率与编排灵活性。论文特别强调要实现跨模型知识迁移（例如由Gemini-3-Flash积累的知识可以直接帮助GPT-5-mini或开源模型），并以Average@4、Pass@4等指标量化改进幅度，目标是在强基线之上再获得2.5–6.7点甚至更高的成功率提升。
与已有工作不同的是，与以往专注于文本领域或单一技能/经验的记忆机制不同，XSKILL同时引入“skill”和“experience”两种互补结构，并把视觉观测贯穿于摘要、检索、改写和适应全过程。现有工作要么只提取高层工作流，要么只保留动作片段，难以兼顾规划与执行；它们在检索时通常直接用原始查询，缺乏任务分解与上下文改写，导致检索到的知识与当前视觉状态脱节。作者抓住的被忽视点在于：多模态任务的决策信号往往绑定在图像观测上（如图像倒置、物体过小），若不把知识锚定在视觉语义上，就无法实现有效的检索与适应。
核心方法
可以把XSKILL想象成一个“有记忆的多模态工具箱”。Phase I相当于一位经验丰富的同事在你做完练习题后，帮你把解题过程拆成两本笔记：一本是“工作手册”（Skill），记录通用流程和可复用代码模板；另一本是“现场备忘”（Experience），记录在特定图像状态下该注意的坑和最佳动作。Phase II则是你拿到新题时，先按任务需求把手册和备忘拆成若干子话题，检索最相关的条目，再根据当前图片把它们改写成贴近题意的建议，最后把这些建议悄悄塞进系统提示里，让执行模型在保持自主性的同时获得“前辈经验”。技术上，框架使用两个MLLM实例：MLLMexec负责执行推理，MLLMkb负责知识提取、合并、检索与改写，从而实现跨模型知识迁移和更可控的知识管理。
XSKILL的最本质区别在于“视觉锚定的双流知识”与“上下文适应的RAG”相结合。与以往只保留文本轨迹或只提取高层工作流不同，它把每一步决策背后的视觉证据（如倒置图片触发旋转、低对比度促使增强）纳入摘要，使技能和经验都与图像状态绑定。这样在检索时，系统不再仅依赖原始查询，而是先把任务拆成抽象子任务，再用子任务查询检索到真正“怎么处理暗图”“如何裁剪小目标”等细粒度经验。更关键的是，检索到的通用建议会经过Experience Rewrite和Skill Adaptation两步上下文改写：前者把触发条件改写成与当前图片语义一致的描述，后者把冗长的全局技能裁剪到与任务相关的子流程。最终注入的是“既通用又贴近当前视觉状态”的非处方性提示，既避免生搬硬套，也保留执行模型的灵活性。
方法步骤详情
方法分为两大阶段六个核心步骤。Phase I：①对每个训练任务执行N次独立rollout，收集多条轨迹；②MLLMkb对轨迹集合进行视觉锚定摘要，输出轨迹摘要S_R并同时抽取技能片段ΔK；③通过Cross-Rollout Critique对成功与失败轨迹进行对比分析，生成对经验库E的操作ΔE（add或modify）；④对ΔK与ΔE执行分层合并：经验库按相似度阈值（默认cosine > 0.70）合并冗余条目，超过上限LE_max时由MLLMkb评估后删除低质量条目；技能文档则在长度超过LK_max时触发refinement，由模型自评泛化性、流程正确性与简洁性后替换具体实例为占位符。Phase II：⑤面对测试任务T_test，MLLMkb先根据任务描述与图片生成若干抽象子任务G，再为每个子任务生成短查询，通过嵌入相似度检索top-k经验；⑥对检索到的经验进行Experience Rewrite，把通用建议改写成与当前图像语义一致的操作提示；对检索到的技能文档进行Skill Adaptation，裁剪无关章节、融入改写后的经验、调整代码模板；⑦将适应后的技能作为非处方性参考注入系统提示，记录使用历史并反馈到Phase I，形成持续学习闭环。
技术新颖性
与Agent Workflow Memory、Dynamic CheatSheet、Agent-KB等基线相比，XSKILL在三个层面展现新颖性。第一，知识表示：它首次把任务级技能（含工作流与代码模板）和动作级经验（条件—动作对、嵌入向量）统一在同一框架中，并要求两者都与视觉观测绑定，而非仅依赖文本轨迹。第二，知识获取：引入Cross-Rollout Critique和分层合并机制，把多路径轨迹中的成功—失败对比转化为结构化操作，并通过自评机制保持知识库的泛化性与简洁性。第三，知识使用：推理阶段的任务分解检索和上下文改写，使得检索到的知识能够针对当前图片状态进行语义对齐，避免以往“原始查询→固定知识”带来的错位。更重要的是，框架把使用历史反馈回积累阶段，形成真正的持续学习闭环，而非一次性记忆。
实验结果
论文在五个基准、四类骨干模型上进行了系统实验。与无工具基线相比，XSKILL在所有设置下都带来显著提升：在Gemini-2.5-Pro上，Average@4从23.87提升到28.63（+4.76），Pass@4从41.04提升到45.92；在Gemini-3-Flash上，Average@4从33.63提升到40.34（+6.71），Pass@4从53.06提升到58.95；在GPT-5-mini和o4-mini上，Average@4分别提升2.58和4.16。与已有学习型基线相比，XSKILL在大多数设置下取得最优：例如在TIR-Bench + Gemini-3-Flash上达到47.75% Average@4，比最强基线Agent-KB高出11.13点；在VisualToolBench + Gemini-2.5-Pro上比Agent-KB高3.74点。消融实验（Table 3）显示，移除Experience或Skill分别导致Average@4下降3.04和3.85点，移除Experience Manager或Skill Manager分别下降4.09和3.62点，而移除Task Decomposition或Task Adaptation分别下降1.28和1.52点，表明Phase I的知识质量比Phase II的检索机制更关键。错误分析（Figure 3）显示，加入Skill后，VisualToolBench的语法错误从114次（20.3%）降至71次（11.4%），工具名错误从16次降至2次，总体错误率从29.9%降至15.3%。工具使用分布（Table 4）表明，Experience的引入让代码解释器使用率从66.63%升至76.97%，在MMSearch-Plus中反向图搜使用率从15.43%升至23.89%，说明经验促使智能体在不同任务中采用更精准的工具组合。跨任务迁移实验（Figure 5）显示，把VisualToolBench知识迁移到TIR-Bench、MMSearch-Plus知识迁移到MMBrowseComp后，XSKILL依然比所有基线平均高出2–3点，说明知识经过分层合并与上下文改写后具备良好泛化性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VisualToolBench（Gemini-2.5-Pro） | Average@4 | 30.49 | 26.75（Agent-KB） | +3.74 |
| VisualToolBench（Gemini-2.5-Pro） | Pass@4 | 46.73 | 41.12（Agent-KB） | +5.61 |
| TIR-Bench（Gemini-3-Flash） | Average@4 | 47.75 | 36.62（Agent-KB） | +11.13 |
| MMSearch-Plus（Gemini-3-Flash） | Average@4 | 43.72 | 39.81（Agent-KB） | +3.91 |
| AgentVista（Gemini-2.5-Pro） | Average@4 | 22.94 | 20.87（Agent-KB） | +2.07 |
| VisualToolBench（Qwen3-VL-32B，知识来自Gemini-3-Flash） | Pass@4 | 19.43 | 16.82（Agent-KB） | +2.61 |
| MMSearch-Plus（Qwen3-VL-32B，知识来自Gemini-3-Flash） | Average@4 | 13.10 | 11.37（Agent-KB） | +1.73 |
局限与改进
尽管XSKILL在多个基准上带来稳定提升，但仍存在若干局限。首先，论文只展示“一次积累—一次测试”的流程，尚未真正迭代地在连续任务流中持续更新知识库，因此“持续学习”更多体现在架构设计而非长时间实验。其次，跨模型迁移在开源小模型上出现矛盾结果：在VisualToolBench上，Qwen3-VL-32B的Average@4反而低于工具基线，说明强模型积累的知识可能干扰弱模型的原生工具使用，需要更精细的知识筛选或个性化适应。再次，知识库的规模与质量依赖MLLMkb的自评与合并策略，论文设定的经验上限LE_max=120、技能长度LK_max=1000等超参数可能在更大任务分布下成为瓶颈；若自评判断失误，可能会把泛化性差的经验留下或删除真正有用的细节。最后，实验主要在英文基准上进行，对中文、跨文化视觉任务的适用性尚未验证；同时，框架对图像质量、工具可用性和嵌入模型的依赖意味着在真实部署中仍需额外的鲁棒性工程。
独立分析的弱点
一个显著弱点是知识库的“静态容量”与自评策略可能成为泛化瓶颈：当任务分布快速变化时，固定上限的合并与删除可能丢失长尾经验，建议引入层次化或可扩展的向量库，并在合并时加入任务域标签或难度评分，以便按需检索。另一个弱点是跨模型迁移对弱模型的副作用：XSKILL当前假设由强模型积累的知识对所有模型都有益，但实验显示弱模型可能被“强模型风格”的工具策略干扰。可以设计个性化过滤层，根据目标模型的能力画像选择性注入知识，或在改写阶段加入模型能力约束。此外，Phase II的检索依赖嵌入相似度，若子任务查询与经验描述存在语义漂移，可能错过关键经验。可以尝试在检索时引入视觉特征相似度（如CLIP向量）或多模态重排序，以提高检索精度。
未来方向
作者提到框架天然支持“迭代积累”：当新任务不断到来时，可以把使用历史再次送入Phase I，形成真正的持续学习闭环。未来可以设计长时间实验，观察知识库在数百甚至数千任务后的演化与遗忘。另一个方向是把XSKILL与参数化学习结合，例如在关键技能上做轻量微调或LoRA，以补足非参数知识无法表达的隐性能力。还可以探索跨语言、跨文化视觉任务的迁移，检验视觉锚定知识是否能跨越语言障碍。最后，引入人类审计或主动学习机制，让系统在不确定时请求人工标注或修正经验，可能进一步提升安全性与可控性。
复现评估
论文提供了较为完整的复现信息：代码已在GitHub开源（github.com/XSkill-Agent/XSkill），五个基准的数据划分、训练/测试样本数、随机种子（42）都有明确说明；关键超参数（温度、最大token、top-k、相似度阈值等）在附录Table 8中列出，嵌入模型使用OpenAI text-embedding-3-small，工具集定义见Table 10。骨干模型包括商业API（Gemini-2.5-Pro、Gemini-3-Flash、GPT-5-mini、o4-mini）和开源Qwen3-VL系列，复现时需要调用这些模型的推理接口，因此算力与API费用是主要门槛。训练阶段需要为每个数据集执行N=4次rollout并进行多次MLLMkb调用，推理阶段也需要多次检索与改写，整体计算成本高于单次推理基线。总体而言，若具备相应模型访问权限与中等GPU/TPU资源，按照论文附录的提示与代码仓库可以较容易复现主实验，但要在新数据集或新模型上扩展仍需调试知识库超参数与合并策略。
论文图表
案例研究使用的示例图像：一辆出租车侧面有连续“GOOD”字样，任务要求识别第二个GOOD所在的颜色区域。
配合D节案例研究，直观展示XSKILL如何通过技能指导进行像素采样和颜色空间转换，从而得到正确答案“紫色”。