Work2Skill：从人类 GUI 操作经验中归纳可复用的智能体技能 Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction

完整流程如下。步骤一（采集配置）：演示者按任务指令在基准官方环境中操作；录制器以动作触发关键帧——点击、拖拽释放、滚动结束、热键、窗口/标签切换、达到 8 字符的打字里程碑等都会触发候选帧，结果帧在稳定窗口内自适应捕获（要求连续两次稳定采样），默认帧间隔下限 500ms、每动作最多 2 张结果帧、每会话 64 帧预算。远程 Linux 的点查询候选按「激活窗口 > 命名交互控件 > 其他命名节点 > 更深节点 > 更小面积」排序；导出时以触发时间戳关联动作，2.5 秒内最近动作回退，缺失目标可在 3 秒窗口内由邻近可访问性事件回填；主机时钟差超过 2 秒拒绝录制。步骤二（对齐与打包）：各录制段以首帧为单调时间戳锚点，暂停/恢复边界计入偏移；导出为 episode 目录结构（见 evidence schema），动作记录含 sequence_index、action_id、kind、media_time_ms、caption、target_label 等字段。步骤三（筛查）：先剔除无法有效演示的不可行任务，再人工复核任务成功与录制完整性，丢弃遗漏关键操作或终态错误的演示，最终保留 350 条（MyPCBench 平均每条 119.11 秒、32.23 个动作、24.20 张证据图；OSWorld 平均 80.04 秒、34.57 个动作、23.91 张图）。步骤四（归纳）：智能体加载 skill-creator 策略→读 task.json→list_directory/glob 盘点→read_visual_evidence 批量看代表图→有疑问时 get_video_metadata 后用 watch_video/extract_video_frames 定点采样→write_file 写 SKILL.md→回读修订→finalize_extraction 校验（要求读过 task.json、每个技能写后有读、视频采样前读过元数据）；案例中 GPT-5.5 用 30 次工具调用、检视 22 张图片、对 156.47 秒视频两次采样完成一条技能。步骤五（下游执行）：技能全文作为 块追加到执行器系统提示，执行器依据技能与当前观察选择 GUI 动作，直到终止或 100 步上限。

技术新颖性可从四个维度评估。数据层面：WorkDemo-350 是首个面向可复用技能归纳的同步多模态人类桌面演示数据集——先前工作或靠智能体自交互学技能（SkillWeaver），或蒸馏自己的执行轨迹，移动端有 LearnGUI/LearnGUI 基准，但桌面端缺乏对齐 AX 证据的人类演示公共资源；OpenAI 的 Record & Replay 与 Claude 的 Record a skill 是产品功能而非可研究的开放数据。机制层面：把 agentic video understanding 的主动证据获取正式引入技能归纳，并用严格消融量化每种模态的贡献（去索引图片 −10.63 Score、去 KeyLogs −21.88pp SR、纯文本 79.09、纯视频 75.81，均显著低于全证据 85.27），这类「证据价值」的系统测量在此前演示学习文献中是缺失的。提示工程层面：用「简洁系统提示 + 详细 authoring policy」替代规定阶段的流水线提示，Pipeline Prompt 对比（81.30 vs 85.27）支持了一个有意思的假设——预定义探索路线可能反而收窄模型考虑的证据范围。工程层面：技能遵循 Agent Skills 惯例（SKILL.md + YAML frontmatter），经共享文本接口注入任意执行器，与原生 agent pipeline 完全解耦，这使得跨模型迁移实验（归纳模型与执行模型分离）在方法学上干净可行。finalize_extraction 的结构校验（写后必读、元数据先于采样）则提供了可审计的运行时证据链。

弱点一：数据规模与多样性不足。350 条演示全部来自两个公开基准的固定任务，而论文动机恰恰强调「企业内部软件、个人工作流」这类长尾场景，真实组织特有的报销门户、CRM、ERP 流程完全没有覆盖。改进方向：把 WorkRecorder 开放为众包采集工具，配合自动质量筛查（任务成功自检、录制完整性校验）扩展到数千条、覆盖垂直行业软件，并建立隐私脱敏流程。弱点二：一任务一技能、全文注入。当前把任务匹配的 SKILL.md 全文塞进执行器上下文，任务数增长后 token 成本线性上涨且技能间可能冲突。改进方向：建立带向量检索的技能库，执行时按任务语义选择性加载（类似 MMSkills 的选择性检视思想），并研究多技能协作时的参数传递与优先级。弱点三：无执行反馈闭环。技能写完即冻结，执行失败不会反哺修订。改进方向：结合 CUADebug 式的失败诊断，在执行后定位是技能缺陷还是执行器缺陷，自动发起针对性修订，形成「归纳→执行→诊断→进化」闭环。弱点四：AX 可得性是硬前提。macOS 与 Windows 上大量自绘 UI、游戏、Electron 应用的辅助功能支持残缺，论文也承认快照可能滞后于动作时刻。改进方向：研究视觉-AX 融合的不确定性估计，让智能体在语义缺失时主动标注证据可信度并要求更仔细的视频复核。弱点五：评估粒度粗糙。MyPCBench 只有 64 任务，SR 每个任务 1.56pp，小差异难以显著；可扩充任务数量或采用更细粒度的加权评分。

作者在结论中隐含的方向是把框架推广到更多平台与更广迁移场景。基于本文成果可以延伸的具体方向包括：一、在线技能进化：把「执行失败→轨迹诊断→技能修订」做成自动循环，与 SkillRL、AutoSkill 等自进化技能工作对接，让技能库随使用持续改进。二、层级化技能组合：当前每个技能对应一个连贯能力，复杂任务需要多技能编排，可研究技能间的输入输出契约、参数传递协议与冲突消解规则。三、多演示归纳：同一任务收集多条人类演示，对比提炼稳定不变式、剔除个人习惯与误操作，甚至量化演示者间一致性作为技能置信度。四、把 WorkRecorder 的「动作-AX-视频」对齐管线复用为训练数据引擎：对齐的人类演示可直接用于 GUI 智能体的行为克隆或强化学习，而不只是文本技能归纳。五、跨用户技能共享：研究组织级技能库的隐私脱敏、权限与个性化适配（同一流程在不同公司的字段差异）。六、平台扩展：把采集器移植到 Windows（UIA）与移动端（与 LearnGUI 移动基准对接），验证跨平台证据 schema 的通用性。七、技能正确性验证器：在沙箱中以低成本试执行技能做预检，弥补 finalize_extraction 只查结构不查语义的缺口。

开源情况良好：代码与数据在 https://github.com/china-qijizhifeng/Work2Skill，WorkDemo-350 数据集约 8.48 小时视频加动作轨迹与证据图片，WorkRecorder 的架构、采集策略、目标匹配规则、时间对齐细节在附录 A–B 有非常具体的描述（ScreenCaptureKit/H.264、CoreGraphics 事件钩子、AT-SPI 两秒周期采样、六层四百节点上限、500ms 帧间隔等实现默认值全部给出），归纳与执行的完整提示词、skill-creator 策略全文、Pipeline Prompt 基线、10 个工具的接口定义、286 个 OSWorld 任务 ID 列表也都在附录公开，透明度很高。复现门槛评估为中等偏高：最大的人力成本是需要人类演示者按筛查标准重新录制约 350 条演示（论文未说明是否随代码发布全部原始 episode）；算力方面，归纳与执行主要依赖 GPT-5.5、Opus-4.8 的 API（推理 effort=high、温度 0、200k 上下文、归纳 100 迭代/执行 100 步上限），按附录 G 的工具调用统计（每任务 12.94–25.08 次调用、每任务归纳 token 约 13 万–37 万），4 个模型 × 2 个基准 × 4 种方法 × 350 任务的全网格评测 API 开销不小；Qwen3.5-35B-A3B 与 9B 可本地部署但需多卡；此外还需搭建 OSWorld 官方 QEMU 环境和 MyPCBench 环境来跑官方评估器。对只想验证核心结论的用户，建议从 64 任务 MyPCBench 子集与单一模型开始，预算可控。