MMG2Skill：智能体能否将野外多模态指南蒸馏为自我进化的技能？ MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?

完整流程见Algorithm 1，四步如下。(1)多模态技能构造：抽取器把指南归一化，每个技能 $z_i=(u_i,c_i,v_i,q_i)$——$u_i$可复用流程、$c_i$适用条件、$v_i$期望状态线索、$q_i$恢复知识，经程序文本+状态描述+引用图像落地。(2)技能条件下执行：尝试 $k$ 开始时注入 $S_k$，与历史 $h_t$ 共同条件化动作 $a_t\sim\pi_\theta(a_t|h_t,I,S_k)$ 得到rollout $\tau_k$。(3)分析：分析器只读指令与可见轨迹，无基准分数无隐藏状态，产出 $\rho_k=\text{Analyze}(I,\tau_k)=(e_k,r_k)$，$e_k$说明做对/做错/偏离处，$r_k$为自判结局($likely\_success$等)，兼作早停候选信号。(4)精修：若 $r_k=likely\_success$ 即返回 $S_k,\tau_k$，否则 $S_{k+1}=\text{Refine}(G,I,S_k,\rho_{1:k})$；预算 $N=5$ 内循环，无触发则返回 $S_N,\tau_N$。

技术新颖性集中在五点。第一，首个把'指南转技能'形式化为闭环学习问题，并把可编辑技能集 $S\in\Omega(G)$ 设为唯一优化变量，评测目标 $S^\star=\arg\max\mathbb{E}[s(\tau)]$ 与可用反馈(诊断 $\rho_k$)严格分离。第二，技能构造引入四元组结构 $z_i=(u_i,c_i,v_i,q_i)$，把人面向的HTML/截图/视频归一化为可改SKILL.md，而非简单压缩上下文——消融证明压缩式原始注入在Game/Strategy域反而降分。第三，精修只改技能文件、保留完整诊断链 $\rho_{1:k}$ 不截断，对照实验显示在 $N=5$ 下对Kimi-K2.6、Qwen3.6-Plus的GUI/Game仍优于Reflexion式上下文反馈。第四，分析器早停在成功可推断域上精度74%–87%、召回70%–99%，且节省25%–53%尝试。第五，基准本身横跨GUI/Game/Strategy三大交互机制，是首个把公开多模态指南与接地执行配对的评测。

独立看，第一处弱点是缺少指南发现与源过滤：论文把指南当静态输入，真实部署时智能体需在多候选源间搜索、过滤过时或错配指南、判断何时不该信任任何指南——改进方向是把检索器与可信度评分接入闭环，让'用不用、用哪条'也成可学参数。第二处是单骨干闭环、无更强裁判，分析器/精修器都靠同一VLM自评自改，Strategy召回仅70.79%、GUI出现表面完成假阳性(如essay提交案)，可引入轻量外部校验或异构裁判提升信号质量。第三处是修订非单调，全跑视图可能平台或回退，可探索基于不确定度的修订接受策略或回滚机制，而非简单取最新。第四处是基准仅130任务且偏成功可推断，扩展到更多环境与含隐藏信息场景(多智能体博弈)能更好覆盖。第五处是成本，可研究技能缓存与跨任务迁移以摊薄抽取/精修的API开销。

作者点名的方向是'指南发现'：把MMG2Skill扩展出检索与源过滤能力，让智能体能搜索候选来源、剔除过时指令、并决定何时无可靠指南可用；同时继续以固定协议与模型版本记录支撑未来评测。基于本成果可延伸的方向包括：把可编辑SKILL.md从单任务技能库升级为跨任务共享技能缓存并做迁移，摊薄抽取与精修成本；把分析器早停信号与外部结果校验融合，覆盖像Hold'em这类结果依赖隐藏信息的任务；探索更鲁棒的修订接受/回滚策略以抑制非单调回退；将'指南转技能'思路推广到真实软件自动化之外的更多长程交互域(如机器人操作、网页代理)，并研究技能的版权与归属治理(论文已在伦理部分提及provenance元数据)。还可与技能库/Reflexion/上下文学习基准做更系统的统一对照。

复现评估为中等偏上。论文声明将公开代码、基准元数据、提示词、复现脚本以及固定的RLCard对手checkpoint，仓库地址 github.com/NJU-LINK/MMG2Skill，并排除API密钥、私有日志与不可再分发的第三方资产。技能、提示与元数据可复用，技能用可读的SKILL.md表示便于人工检查，分析器与精修器流程均有明确公式与Algorithm 1骨架，$\rho_{1:k}$ 不截断累积、预算 $N=5$、六骨干版本均给定，这些都利于复现。但有三处障碍：一是需要多模态API密钥且评测昂贵(执行+迭代修订+分析器选择都要多模态调用)；二是GUI/游戏/牌类需OSWorld容器、MineStudio、RLCard等仿真环境，部署与限流会拖慢回合制rollout；三是部分指南受版权限制只以URL+元数据形式发布，缓存内容视各自许可而定，因此完整数据复现需自行抓取缓存。