Resource2Skill：从人类创建的多模态资源中蒸馏可执行的软件智能体技能 RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources

方法分四个阶段。构建阶段：领域 $D$ 的资源池 $\mathcal{R}_D$ 来自四类来源（教程视频、源代码仓库、文章、参考制品）。多模态蒸馏器 $f_\theta$ 把每个资源 $r\in\mathcal{R}_D$ 映射为候选技能 $\tilde{s}_{1:k}=f_\theta(r,D)$：针对领域查询检索资源，提取模态专属证据（关键帧、代码区域与参数签名、散文段落、渲染样例），用视觉能力语言模型蒸馏成 $(p,x_{text},x_{visual},x_{code},m)$ 并归一化；领域谓词 $\mathcal{A}_D$ 强制完整性、可溯源出处、去重、模态一致性、代码可执行性五项检查，最终库 $\Sigma_D=\{\text{normalize}(\tilde{s}):\tilde{s}=f_\theta(r,D),\mathcal{A}_D(\tilde{s})=1\}$。选择阶段：给定 brief $q$，MetaBrowse 两级操作——先用 $C_K(q)=\text{TopK}_{s\in\Sigma_D}\,\text{BM25}(q,\text{name}\oplus\text{tags}\oplus\text{applicability}\oplus p(s))$ 缩窄候选，再让语言模型读证据 $\Phi(s)$ 选子集 $S(q)=\pi_\phi(q,\{\Phi(s):s\in C_K(q)\})$，选择是子集而非排序（可零选）。执行阶段：选中技能代码直接在真实 MCP 服务器上执行无需翻译，参考型技能则由智能体据其文本与视觉证据改写自身代码。在线获取：当 $C_K(q)$ 无足够候选时，同一算子 $(f_\theta,\mathcal{A}_D)$ 在线发针对性查询、蒸馏临时候选、验证后作为独立在线池暴露。

技术新颖性体现在多方面。首先，这是首个系统地把多模态人类资源（尤其教程视频）蒸馏为可执行技能并跨七个商业创作软件领域评估的框架，把来源类型、模态、库规模、选择策略都变成受控变量而非隐藏的实现细节。其次，层次化多模态 Skill Wiki 的表示设计——每个技能组合结构化文本、可执行代码、视觉示例、元数据与出处——使技能库超越扁平检索集合，消融证明纯文本技能库已能提升各领域表现，而完整 Wiki 比扁平纯文本在每个领域多 2.5–8.2 pp。第三，层次先于语言模型的 MetaBrowse 选择策略（$C_K$ 后再 $\pi_\phi$ 子集选择）在五个领域均胜过 BM25、Embed、BM25+Embed、随机和 No-Skill，平均 68.9% vs BM25 的 66.0%。第四，离线/在线复用同一算子并用 $T_{novel}$ 压力测试套件验证在线获取是 gap-filler（+21.6 pp）而非 booster（$T_{standard}$ 仅 +0.7 pp）。第五，制品级评估采用对系统标签盲测的视觉/音频评判，配合盲测人类 A/B 研究，方法学上较为严谨。

独立分析的弱点及改进方向如下。第一，评估后端全部为 GPT-5.5/5.4/5.4 Mini/5.4 Nano 及两个闭源 harness，未涵盖开源模型；不同模型族在工具调用稳定性上差异巨大，建议补充 Llama/Qwen 等开源后端验证技能库增益的模型无关性。第二，技能库构建依赖视觉能力语言模型离线蒸馏，构建算力与库的可维护性（如领域版本演进时如何更新过时技能）几乎未量化；可引入自动化技能新鲜度检测与增量式重蒸馏。第三，MetaBrowse 第一阶段固定用 BM25 词法检索，对术语分布偏移或同义命名敏感，可探索学习式路由作为第一阶段。第四，选择阶段只选子集，未显式建模技能间组合兼容性与冲突，复杂任务中多技能可能互相矛盾；可引入组合校验或冲突消解。第五，$T_{novel}$ 在线获取虽提升 21.6 pp，但在线蒸馏延迟未被讨论，实际部署可能影响体验；改进方向是缓存与预蒸馏常见缺口。第六，评判完全模型化，人类 A/B 仅 200 配对评分、样本有限，建议扩大人类评估规模并报告评判间一致性。

作者隐含与可延伸的方向包括：第一，扩展到更多创作软件领域（如视频剪辑、图形设计、数据分析可视化），验证框架的领域无关性。第二，研究技能库的持续学习与版本管理——当软件 API 演进时如何检测过时技能并自动重蒸馏，以及如何处理技能间的依赖与冲突。第三，将层次化 Wiki 组织与选择策略推广到更通用的智能体记忆系统，例如把技能元组 $s = \langle p, x_{text}, x_{visual}, x_{code}, m \rangle$ 的多模态表示用于机器人操作或真实世界任务技能。第四，在线获取目前默认关闭（仅作 gap-filler），可研究何时自动触发在线获取的判据，以及在线获取技能是否及如何回填到离线库以实现真正可增长的程序性记忆。第五，基于技能库饱和约 200 个的发现，研究领域技能的“最小充分集”与主动学习式技能挖掘，降低构建成本。第六，把技能组合从“子集选择”升级为显式的技能编排/规划，让智能体学会技能间的时序与数据依赖。

复现评估如下。作者提供项目代码（https://aka.ms/Resource2Skill），附录 A 给出每领域库规模与可执行性协议，附录 C 给出 ClaudeCode-H/Codex-H 的 CLI 版本、调用契约与匹配配置，附录 L 给出技能库磁盘实现，附录 B/F 给出评判协议与人类-评判一致性，附录 G 给出配对结果计数与 Wilcoxon p 值，文档完整度较高。数据上每领域有 80 个经筛选 brief 池且与资源语料无重叠，brief 作者对 Wiki 与智能体盲测，方法学严谨。算力方面构建阶段需视觉能力语言模型蒸馏大规模多模态资源，推理阶段四个后端均为闭源 GPT-5.x，所有调用温度 0、推理努力 low，门槛较高。复现难度中等偏高：核心算法（蒸馏算子 $f_\theta$、谓词 $\mathcal{A}_D$、MetaBrowse 两级选择、MCP 执行）思路清晰可复刻，但完整复现依赖闭源后端与 harness、大规模多模态资源语料，且构建算子与领域谓词的具体提示/实现细节可能未完全开源，七领域后端（尤其 UE5、Blender、Reaper、CAD）的渲染与评判路径工程量巨大。