ViSkill：用不断演化的视觉原生技能强化视觉语言模型智能体 ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills
把成功经验存成视觉技能卡，检索后同时指导推理与奖励，与策略优化闭环共进化
前置知识
VLM 智能体（Vision-Language Model Agent）
以视觉语言模型为决策核心、在多轮交互环境中做序列决策的系统。它接收图像观测和文本指令，输出结构化动作（如方向键移动或带坐标的机械臂操作），环境返回新观测，循环往复直到任务成功或失败。与单轮图文问答不同，智能体需要长期规划、跟踪状态变化，并根据视觉反馈逐步调整行为。
本文的训练对象就是 VLM 智能体，技能卡注入视觉上下文、多轮奖励设计等所有机制都围绕这一设定展开。
PPO（近端策略优化）
一种策略梯度强化学习算法。它用当前策略与旧策略的概率比 $\rho_i(\theta)$ 衡量参数更新幅度，通过裁剪目标函数限制单次更新偏离 rollout 策略太远以稳定训练，配合 GAE（广义优势估计）计算优势 $A_i$。在 LLM/VLM 后训练中被广泛用作 RL 微调的骨干算法。
ViSkill 的策略优化直接构建在 PPO 上，技能引导奖励就是叠加进 PPO 的额外奖励信号，理解 PPO 才能看懂其目标函数式 (8) 与完整训练流程。
技能增强智能体（Skill-Augmented Agent）
把成功轨迹蒸馏成可复用的『技能』存入外部库，遇到新任务时检索相似技能注入上下文辅助决策的范式，代表工作有 Reflexion、ExpeL、Voyager 等。技能通常以自然语言指令或结构化工作流表示，能跨 episode 转移程序性知识，显著提升样本效率，避免每次都从零探索。
本文正是对这一范式的改造——把技能从文本改成视觉卡片，并让技能库与策略优化共同进化，读懂它需要先知道文本技能路线的得与失。
奖励塑形（Reward Shaping）
在稀疏的任务成功/失败奖励之外，设计额外的中间奖励信号引导学习的方法。好的塑形能缓解稀疏奖励下的探索困难，但设计不当会扭曲最优策略的排序。本文的技能引导奖励 $r_{\text{skill}} \in [0,1]$ 就是一种塑形：给『虽然最终失败、但沿着参考技能走了很远』的轨迹发放有界的部分信用。
技能引导奖励是 ViSkill 三大组件之一，理解塑形的边界条件（如本文要求权重 $\lambda$ 小于完成奖励 $r_{succ}$）才能明白其设计取舍。
冷启动（Cold Start）
技能库从空开始时，早期 episode 无技能可检索，『成功→蒸馏→检索→更多成功』的闭环迟迟转不起来。冷启动指训练前用外部求解器/模型预生成一批多样的种子技能填充库，之后完全由策略自身蒸馏。本文用几何特征空间的最远点采样保证种子多样性，库大小由比例 $\gamma$ 控制。
冷启动是 ViSkill 的可选组件，也是 +Cold-Start 版本总体成功率从 0.89 提到 0.91 的来源，相关消融（图 6）是理解早期样本效率的关键。
研究动机
强化学习训练 VLM 智能体时，成功策略只被隐式吸收进策略参数：智能体在 Sokoban 这类空间任务中辛苦摸索出的『绕开障碍推箱子』解法，遇到下一个布局相似的任务还得从零再探索一遍，样本效率低下。技能增强智能体试图把成功轨迹显式蒸馏成可复用经验，但现存做法有两大缺陷。其一是表示缺陷：主流技能库（Reflexion、ExpeL、Trace2Skill、SkillRL 等）以纯文本存储技能，把空间布局、相对位置、动作-状态对应关系线性化成语言描述，几何信息严重丢失——一句『玩家在箱子上方、目标在右下墙后』无法传达墙壁、通道等对执行至关重要的空间结构，论文图 1 用 Sokoban 实例直观展示了这种有损抽象。其二是学习缺陷：即便近期工作（如 AtlasVA 用交互统计演化的空间热力图做密集奖励塑形）开始引入视觉证据，技能的构建与更新通常和策略优化是解耦的两条线，技能积累能否反哺策略、更强的策略又能否产出更高质量技能，这一双向促进作用尚缺乏系统研究。
本文的目标是本文要构建一个视觉原生的技能学习框架：把成功交互编码为 VLM 可直接『看』的复合视觉技能卡——在一张图像内同时渲染带动作标注的轨迹帧和策略蒸馏出的策略文字；训练时按几何相似度检索技能卡注入视觉上下文指导推理，同时用技能引导奖励给部分遵循技能的失败轨迹发放中间信用；每个 episode 结束后，通过质量与新颖性双重门槛的成功轨迹被蒸馏回技能库，形成『技能积累 ⇄ 策略提升』的闭环。可选的冷启动机制用求解器种子技能预填库以加速早期学习。量化目标：在 Sokoban、FrozenLake 和 PrimitiveSkill 三个视觉交互环境上，总体成功率超过所有专有与开源基线，并比标准 PPO 收敛更快、全程保持更高成功率。最终达成 0.89（冷启动后 0.91）的总体成功率，验证了该目标的达成。
与已有工作不同的是，本文的独特切入是把『技能的表示形式』和『技能与优化的耦合方式』两个常被分开处理的问题捏合到一起。已有文本技能工作默认语言是经验的自然载体，忽视了 VLM 本身具备直接处理图像的原生接口——既然智能体靠『看』环境做决策，经验也应以『看』的形式存储和回放才最少失真；已有引入视觉记忆的工作（AtlasVA 的空间热力图、SkillLens 的视觉技能卡等）又把技能构建与策略优化当成两个独立模块，只做单向利用。ViSkill 的关键洞察是：技能卡不只是推理时的上下文示范，还应同时充当训练时的奖励参照，且库的进化必须与策略的进化绑定——迁移实验定量显示联合优化下蒸馏出的技能（0.41/0.39）明显优于无优化蒸馏的技能（0.29/0.33），直接验证了耦合的价值。检索维度也从语言匹配改为几何配置匹配，纠正了『指令相似不等于布局相似』的错配。
核心方法
打个比方：ViSkill 让智能体像有经验的学徒一样维护一本『带批注的解题过程截图 + 一句话打法总结』的笔记本——下次遇到布局相似的题目，翻出对应那页照着思路做；就算没做出来，只要沿参考路线走了很远也给部分得分；每次成功解题后，再筛选出有新意的解法制成新笔记入册，淘汰没人翻且不好用的旧页。技术路线上，每个技能表示为四元组 $z_k = \{C_k, g_k, u_k, n_k\}$：$C_k$ 是复合技能卡图像，由策略蒸馏的策略描述 $d_k$ 与带动作标注、路径叠加的轨迹帧统一渲染为单张图，即 $C_k = \text{Render}(d_k, \text{Annotate}(\hat{\tau}_k))$；$g_k$ 是用于检索的几何描述子；$u_k$ 和 $n_k$ 是效用与使用计数。训练时智能体循环执行：几何检索 → 带技能交互 → 技能引导奖励 → PPO 更新 → 效用更新 → 合格轨迹蒸馏入库。策略骨干为 Qwen2.5-VL-3B-Instruct，用 PPO 优化，总奖励为环境奖励加技能引导项，整个系统在 VAGEN/veRL 框架上实现。
核心创新是『视觉原生技能 + 一卡两用 + 闭环共进化』三件事的合一。第一，技能以图像而非文本存储：标注过的轨迹帧保留了文字必然丢失的空间布局与动作-状态对应，策略总结渲染为卡内文字补充高层意图，VLM 可以像看环境观测一样直接消费这张卡——消融显示换成纯文本（Sokoban/FrozenLake 掉 0.19/0.25）或 OCR 渲染图（掉 0.14/0.22）都大幅掉分，证明保留原始视觉轨迹是关键。第二，一个技能同时服务推理与训练：检索到的卡既注入视觉上下文做示范，其参考轨迹又定义技能引导奖励 $r_{\text{skill}}(\tau, z) = \max\left(0, \frac{\ell - (L(\tau) - \ell)}{L_z}\right)$，其中 $\ell$ 是执行轨迹沿参考轨迹到达的最远进度点、$L_z$ 是参考长度，给技能对齐的失败轨迹发有界部分信用（$\lambda = 0.8$ 小于完成奖励，不扭曲奖励全局排序）。第三，检索、利用、蒸馏、优化构成闭环：技能通过上下文示范和奖励塑形改进策略，变强的策略产出更高质量、更多样的成功轨迹回流库中——去掉联合优化后 Sokoban 从 0.82 暴跌至 0.29，印证两者缺一不可。
方法步骤详情
完整流程分六步。①几何编码：每个环境配专属特征提取器，把任务初始配置映射为几何描述子 $g$——Sokoban 编码玩家-箱子、箱子-目标空间关系及局部墙壁指示，FrozenLake 编码起点-终点关系与连线方向上的洞，PrimitiveSkill 用任务相关物体的 xy 坐标加任务标识。②技能检索：对库中每个技能计算复合分 $q_k = \alpha s_k + (1-\alpha) u_k$（$s_k = \text{sim}(g, g_k)$ 为几何相似度，$u_k$ 为历史效用，$\alpha = 0.9$）；取最高分 $k^\star$，仅当 $q_{k^\star} \geq \delta_r = 0.8$ 才把技能卡 $C_{k^\star}$ 注入视觉上下文，否则无技能裸跑。③带技能交互：策略 $\pi_\theta$ 以任务指令、交互历史和技能卡为条件生成动作，收集轨迹 $\tau = (x, z, (o_t, a_t)_{t=1}^T)$。④奖励计算：环境奖励 $r_{\text{env}}$（Sokoban 每回合格式 0.1、完成 1.0；PrimitiveSkill 每阶段完成给 2.0）之上，失败且检索到技能时叠加 $\lambda r_{\text{skill}}$。⑤PPO 更新与效用更新：观测 token（含技能卡图像 token）被 mask 掉，只优化策略生成的 token，GAE 折扣与平滑参数均为 1.0、裁剪系数 $\epsilon = 0.2$；同时被检索技能效用按 $u_{k^\star} \leftarrow (1-\beta) u_{k^\star} + \beta y(\tau)$ 更新（$\beta = 0.1$）。⑥蒸馏入库：成功轨迹须同时通过质量门槛 $L(\tau) \leq L_{bud}(x)$（用 BFS 求解器最短解长度实例化）与新颖性门槛 $q_{max} < \delta_d = 0.9$，策略总结自己的成功经验生成策略文字，与标注轨迹一起渲染成新卡入库；库满时按 $k_{evict} = \arg\min_k u_k \log(n_k + 1)$ 驱逐。可选冷启动在训练前用离线求解器轨迹加外部模型策略蒸馏，经最远点采样选 $N_{cold} = \lfloor \gamma N_{conv} \rfloor$（$\gamma = 0.2$）个多样种子技能。
技术新颖性
与文本技能库（Reflexion 的语言反思、ExpeL 的经验指令、SkillRL/Skill1 的技能增强 RL）相比，ViSkill 在表示与检索两层都有本质差异：技能是保留原始视觉轨迹的复合图像而非线性化文字，检索靠几何配置相似度而非指令-文本匹配——因为相同指令在不同布局下需要不同打法。与引入视觉记忆的近期工作相比：AtlasVA 从交互统计演化危险/亲和热力图，仅用于密集奖励塑形，不构成可注入上下文的完整示范；SkillLens 等虽有视觉卡但不与策略优化耦合、缺少闭环。ViSkill 是首个把『视觉技能卡 + 几何检索 + 技能引导奖励 + 在线蒸馏』串成闭环并与 PPO 联合优化的框架，且共进化主张有定量证据支撑（图 8：联合优化库迁移到基础模型 0.41/0.39，无优化库仅 0.29/0.33），这是方法论上的实证贡献而非工程组件的简单拼装。
实验结果
主实验（表 1）覆盖 2D 网格规划与 3D 坐标操作：ViSkill 总体成功率 0.89，冷启动后 0.91，超过全部 8 个专有模型（GPT-5 0.70、o3 0.69、GPT-4o 0.52、Claude 4.5 Sonnet 0.58、Gemini 2.5 Pro 0.59 等）和开源基线（Qwen2.5-VL-72B 仅 0.40、VLM-R1-3B 0.09），也超过同骨干（Qwen2.5-VL-3B）的 VAGEN（0.80）与 AtlasVA（0.87）。分环境看：Sokoban 0.82（冷启动 0.88）高于 VAGEN/AtlasVA 的 0.79；FrozenLake 0.84/0.85 高于 AtlasVA 0.83、VAGEN 0.74；PrimitiveSkill 五个操作任务平均达 1.00，比 VAGEN 高 12 个百分点（与 AtlasVA 持平）。图 3 训练曲线显示 ViSkill 在三环境全程高于标准 PPO 且收敛更快，冷启动版在前几步就大幅领先。表 2 消融证明表示形式至关重要：Text-Skill 掉到 0.63/0.59（-0.19/-0.25），OCR-Skill 0.68/0.62（-0.14/-0.22），说明即便把文字渲染回图像也无法恢复空间结构。表 3 组件消融：去技能引导奖励掉 0.05/0.04，去策略文字 Sokoban 掉 0.10，而去掉联合优化（保留检索与蒸馏、不训练模型）暴跌至 0.29/0.33，说明策略-技能共进化是最大功臣。阈值扫描显示 $\lambda = 0.8$、$\delta_r = 0.80$、$\delta_d = 0.90$ 均为最优；$\delta_d = 0.85$ 时库无限膨胀、平均效用持续下滑，0.95 时库增长受限（图 4/5）。冷启动比例 $\gamma$ 越大越好：Sokoban 在 $\gamma = 0.6$ 饱和至 1.00，FrozenLake 在 $\gamma = 1.0$ 达 0.89（图 6）。图 7 显示技能卡缩到 0.2 倍分辨率仍胜过 Text/OCR-Skill 且 token 最省。图 8 迁移实验：把训练出的库直接给未微调的基础模型，联合优化库达 0.41/0.39（无技能基线 0.14）。附录消融还表明固定长度预算（Static-10：0.84/0.78）与 DINOv2 特征（0.80/0.83）可分别替代求解器门槛与手工描述子，性能损失仅 0.01-0.06，说明方法对组件实现不强依赖。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 三环境总体（Sokoban + FrozenLake + PrimitiveSkill） | 成功率 | 0.89（冷启动后 0.91） | AtlasVA 0.87；VAGEN 0.80；GPT-5 0.70 | 较最强基线 AtlasVA +0.04，较 GPT-5 +0.21 |
| Sokoban（2D 推箱子规划） | 成功率 | 0.82（冷启动 0.88） | VAGEN 0.79 / AtlasVA 0.79 | +0.03，冷启动后 +0.09 |
| FrozenLake（2D 导航避坑） | 成功率 | 0.84（冷启动 0.85） | AtlasVA 0.83 / VAGEN 0.74 | 较 AtlasVA +0.01，较 VAGEN +0.10 |
| PrimitiveSkill（3D 操作五任务平均） | 成功率 | 1.00 | VAGEN 0.88 / AtlasVA 1.00 | 较 VAGEN +12 个百分点，与 AtlasVA 持平 |
| 技能表示消融（Sokoban / FrozenLake） | 成功率 | 视觉技能卡 0.82 / 0.84 | Text-Skill 0.63 / 0.59；OCR-Skill 0.68 / 0.62 | +0.14~0.19 / +0.22~0.25 |
| 技能库迁移到未训练基础模型（Sokoban / FrozenLake） | 成功率 | 联合优化蒸馏库 0.41 / 0.39 | 无技能基线 0.14 / 0.14；无优化蒸馏库 0.29 / 0.33 | 较无优化库 +0.12 / +0.06 |
局限与改进
作者承认两点：一是评估局限于 VAGEN 框架支持的三个环境，视觉技能卡在更复杂或开放式场景（真实机器人、网页 GUI、开放世界）是否持续有效有待验证；二是技能引导奖励隐含假设有效部分进展会经过参考技能所表示的状态，当任务存在多条互不相交的可行解路径时，$r_{\text{skill}}$ 的对齐度量会失真甚至误导。我的独立观察：PrimitiveSkill 已被完全打穿（五个任务均 1.00），该环境实际失去了区分方法优劣的能力；几何描述子按环境手工设计（Sokoban 关系块、PrimitiveSkill 坐标），虽然 DINOv2 消融证明可替代，但默认流程仍需逐环境定制；质量门槛默认依赖任务求解器（BFS 最短解），退回固定预算 Static-10 时 FrozenLake 从 0.84 掉到 0.78；每条技能只存单条参考轨迹，库中不保留同一配置的多种解法，天然偏向单一模式；冷启动的策略蒸馏依赖外部模型 GPT-5.4-mini，引入了外部监督依赖。
独立分析的弱点
①技能引导奖励的轨迹对齐假设脆弱：$\ell$ 以『沿参考轨迹的最远匹配进度』定义，在 FrozenLake 这类存在多条等长最短路的环境中，智能体走另一条同样正确的路线会得不到部分信用，改进方向是把参考轨迹抽象为关键状态/子目标集合，按集合覆盖度而非序列对齐计分。②手工几何描述子是扩展瓶颈：每换一个环境要重新设计描述块与权重，PrimitiveSkill 还要求环境额外提供物体坐标，这与『视觉原生』的立意略有张力——DINOv2 消融（差距仅 0.01-0.02）已指明用通用视觉编码器加对比学习训练检索器是可行路线。③求解器依赖：质量门槛默认用 BFS 最短解长度，换固定预算后 FrozenLake 掉 6 个点，说明长解环境对预算敏感，可改为分位数自适应预算或让效用信号自动淘汰劣质技能。④评估饱和：PrimitiveSkill 全部 1.00 后无法区分方法差异，且三个环境均为短时域（最多五轮）、小状态空间，应引入更长时域、更多干扰物、动态变化的基准。⑤库管理较简单：效用 EMA 加对数频次驱逐在环境分布漂移（新类型布局不断涌现）时可能误删低频但关键的技能，可考虑按几何空间分簇以保留覆盖度。⑥技能卡 token 开销：0.2 倍分辨率虽省 token 但 Sokoban 成功率随分辨率单调下降（图 7），长程任务中卡片数量与上下文预算的冲突会更尖锐。
未来方向
作者提出的方向：把框架推广到 VAGEN 之外的更复杂、开放式环境中验证；改进技能引导奖励使其不依赖单一参考路径。基于成果可延伸的方向：其一，用学习式检索器（DINOv2 特征 + 相似度学习）全面替代手工描述子，向开放世界与真实机器人泛化；其二，把技能卡从单张图扩展为层级化技能图或子目标树，支持长时程任务分解与技能组合复用；其三，检验跨环境/跨具身的技能迁移，研究几何描述子的不变性表示；其四，与技能内部化工作（如 Skill0 的 in-context RL）结合，让高频技能逐步固化进参数、库只保留长尾；其五，探索多智能体共享技能库的联邦式自进化，以及用学习到的奖励模型替代二值成功信号，以适配没有验证器的开放任务。
复现评估
复现条件较好。代码已开源（github.com/ZJU-REAL/ViSkill），构建于公开的 VAGEN/veRL 框架之上，策略骨干 Qwen2.5-VL-3B-Instruct 权重公开可得。算力需求适中：Sokoban/FrozenLake 各训练 300 步用 4×H100，PrimitiveSkill 训练 60 步用 2×H100 加 1 张 GPU 跑 ManiSkill 环境服务器。附录 A/B/C 给出几何描述子定义、相似度函数、轨迹长度预算、渲染流程、全部超参数（$\alpha = 0.9$、$\beta = 0.1$、$\lambda = 0.8$、$\delta_r = 0.8$、$\delta_d = 0.9$、$\gamma = 0.2$）、训练/评测种子划分和完整提示模板。两处外部依赖需注意：冷启动策略蒸馏用 GPT-5.4-mini（可替换为其他强模型）；求解器最短解长度对网格环境可用 BFS 自行实现，PrimitiveSkill 参考长度论文已给出（Place/Stack/Align 4 步、Drawer 3 步、Swap 6 步）。附录还提供了无求解器（Static-10 固定预算）与无手工特征（DINOv2）的降级方案。总体属中等复现难度：需熟悉多轮 RL 训练管线，但无需预训练或超大规模集群。
论文图表
对比两种技能表示：上半部分是文本中心技能，把 Sokoban 中玩家、箱子、墙、目标的相对关系线性化成一段文字描述，造成有损空间抽象；下半部分是 ViSkill 的视觉原生技能卡，保留原始轨迹帧并叠加标注，模型能直接从图像中读取忠实的视觉对应关系。
这是全文动机的可视化论证——为什么文本技能会丢失几何信息、视觉卡如何解决。看懂这张图就理解了论文要解决的核心问题。