← 返回 2026-06-01

COLLEAGUE.SKILL:通过专家知识蒸馏自动生成AI技能 COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation

Tianyi Zhou, Dongrui Liu, Leitao Yuan, Jing Shao, Xia Hu 📅 2026-05-29 👍 123 2026-07-13 08:36
AI代理 人机协作 可解释AI 技能生成 知识蒸馏

将人类专家的痕迹(文档、聊天、决策)自动蒸馏为可检查、可修正的AI技能包

前置知识

LLM Agents

大型语言模型代理是通过连接LLM与外部工具、记忆系统和反馈循环构建的智能体,能够执行多步骤任务、调用API并与环境交互。代理通过ReAct、Toolformer等范式实现推理与行动的交替,通过渐进式披露机制按需加载技能和参考材料。

COLLEAGUE.SKILL的目标产物就是可被LLM Agents加载和调用的技能包,理解代理的模块化扩展机制是理解该系统设计意图的基础。

Agent Skills标准

Agent Skills是一个标准化的技能包格式,定义技能为以SKILL.md文件为中心的目录,包含元数据、指令、可选脚本和参考材料。技能通过frontmatter声明元数据,通过progressive disclosure机制让代理先看到元数据,在调用时才加载详细指令。

COLLEAGUE.SKILL完全遵循并扩展了这个标准,生成的SKILL.md、manifest.json等文件都是基于该规范,理解标准有助于理解系统的artifact设计。

Trace-to-Skill Distillation

痕迹到技能的蒸馏是指从人类或角色的异构痕迹(如文档、聊天记录、决策历史、邮件、截图等)中提取可复用的知识、判断标准、心理模型和交互模式,并将其封装为结构化的技能包。这不同于行为克隆,它生成的是可检查、可修正的artifact而非隐藏模型。

这是COLLEAGUE.SKILL的核心技术路径,理解这一概念有助于区分该系统与传统的persona系统和记忆系统。

Dual Representation

双轨表示是COLLEAGUE.SKILL的关键设计,将生成的技能分为能力轨道和有界行为轨道。能力轨道存储实践方法、心理模型、决策启发式和经验教训;行为轨道存储表达偏好、交互规则、边界约束和修正记录。两者可独立调用,也可组合使用。

这种分离解决了persona系统中常见的三个混淆问题:事实知识、程序判断和表面风格,使技能更加可控和可检查。

研究动机

现有方法在处理person-grounded知识时面临显著挑战。当一个团队成员离职时,其本地判断、审查标准、事件启发式和沟通规范往往随之消失;公共人物的心理模型通常分散在访谈、演讲、文章和公共决策中,缺乏系统的提取和封装;个人交互模式则可能隐藏在私有聊天记录中,难以转化为可复用的知识。现有的记忆和persona系统只能捕捉这些证据的片段,技能框架提供了便携的打包格式,但缺乏从异构痕迹到可检查、可修正、代理可用技能的端到端工作流程。系统无法将分散在代码注释、事件笔记、聊天决策中的审查标准转化为可被新团队成员调用的技能包,也无法将公共人物的长篇访谈中的推理风格转化为有明确证据边界的心理模型库。

本文的目标是本文的目标是构建一个自动化的trace-to-skill蒸馏系统,能够从目标人物或角色的材料中生成版本化的技能包。该技能包包含两个协调轨道:用于实践、心理模型和决策启发式的能力轨道,以及用于沟通风格、交互规则和修正历史的有界行为轨道。生成的技能包可以被检查、调用、通过自然语言反馈更新、回滚、跨代理主机安装,并可选择性地准备受控分发。系统需要使person-grounded技能表现为便携、可修正的包,而不是不透明的提示词或隐藏记忆。

与已有工作不同的是,本文的独特切入角度是将person-grounded trace-to-skill蒸馏明确地构建为一个artifact问题,而非行为克隆或身份模拟问题。系统不声称生成的技能是某人的忠实模型,而是声称选定的痕迹可以转化为具有明确文件、元数据、入口点、修正记录和生命周期操作的技能兼容artifact。这种关注artifact而非模型行为的视角,使研究对象更加具体:可以在下游人类主体或任务性能研究可用之前,检查artifact的结构、源边界、更新行为和部署兼容性。系统同时处理colleague、celebrity/public-figure和relationship三种领域预设,每种预设使用相同的artifact工作流程但采用不同的证据和同意假设。

核心方法

COLLEAGUE.SKILL系统采用五阶段流水线架构。第一阶段是痕迹收集,支持Feishu、DingTalk、Slack、微信SQLite导出、邮件归档、PDF、截图、Markdown和直接粘贴等多种来源。收集器将材料规范化为本地知识目录并保留源边界。第二阶段是预设路由,根据colleague、celebrity、relationship三种应用预设选择相应的提示词束、证据检查、同意假设和生命周期元数据。第三阶段是双轨蒸馏,通过分析器提取关于持久能力、心理模型和有界交互风格的证据,然后分别构建能力轨道和行为轨道的结构化Markdown。第四阶段是artifact写入器,将元数据规范化为包含身份、预设族、源上下文、分类、artifact名称、引擎和工具链元数据、生成溯源、生命周期状态和兼容性字段的版本化schema(当前为schema v3),然后渲染SKILL.md、work.md、persona.md、work skill.md、persona skill.md、manifest.json和meta.json七个文件。第五阶段是产品化,支持直接调用、安装到支持的代理主机、通过自然语言反馈修正、回滚、删除,或当源权限和元数据允许时准备画廊分发。

核心创新点是将person-grounded技能生成为一个有明确artifact contract的版本化软件对象,而非单一提示词或隐藏记忆。该artifact contract定义了七个文件的职责:SKILL.md是组合可调用技能,work.md和persona.md是可编辑的源文档,work skill.md和persona skill.md是独立可调用的子技能,manifest.json提供安装和画廊元数据,meta.json记录生命周期状态。这种设计使技能具备五个操作属性:便携性、可检查性、可组合性、可修正性和可治理性。与现有persona系统的本质区别在于,COLLEAGUE.SKILL生成的是显式的、可审查的文件集合,而非隐藏在检索存储或模型行为中的表示。

方法步骤详情

创建工作流程从用户提供别名、可选配置字段和目标人物或角色的源材料开始。应用预设根据colleague、celebrity或relationship场景专业化此创建路径。对于colleague,提示词强调工作实践和审查判断;对于celebrity/public-figure技能,celebrity预设添加对第一人称著作、访谈、决策、表达风格、外部接受和时间线证据的研究通过;对于relationship技能,relationship预设改变提示词焦点和同意假设而非改变artifact contract。生成提示词然后运行两个概念轨道:能力轨道提取持久的工作方法、专家启发式或源grounded心理模型;行为轨道在预设边界内提取表达和交互模式。构建器渲染结构化Markdown,写入器将结果打包到上述定义的artifact contract中。修正和更新工作流程识别自然语言反馈如他不会那样说或她应该在这里反驳。如果修正涉及专家工作,它产生相关部分的Markdown补丁;匹配的二级标题替换相应部分,不匹配的部分被追加。如果修正涉及表达或交互行为,它产生归一化的修正记录{scene, wrong, correct}。写入器归档当前版本,应用补丁或修正,增加生命周期版本,并重新生成所有派生artifact。版本管理器可以列出归档版本、备份当前artifact、回滚到先前版本和清理旧归档。

技术新颖性

技术新颖性体现在四个方面。第一,artifact层面的形式化:将person-grounded技能生成为具有明确文件结构、元数据、入口点、修正记录和生命周期操作的版本化包,使技能可以从本地使用移动到受控安装,并在适当情况下进行社区共享。第二,双轨表示的解耦:将能力和有界行为分离为可独立调用的轨道,避免了现有persona系统中事实知识、程序判断和表面风格的混淆。第三,领域预设的模块化设计:colleague、celebrity和relationship三种预设是同一个人grounded artifact工作流的领域特化,而非独立系统,添加新预设如self、author或team成为配置和提示词设计变更而非新程序。第四,产品化作为研究约束:安装器、清单、画廊元数据、回滚状态和删除路径使artifact对用户和主机可读,而非将其保留为私有提示词,这为未来研究创建了具体比较句柄:研究人员可以在不反向工程隐藏记忆的情况下比较源范围、修正记录、调用模式和发布标签。

COLLEAGUE.SKILL architecture for automated person-grounded skill generation. The shared distillation core renders portable agent-skill artifacts; domain presets add source requirements, evidence checks, consent assumptions, and lifecycle or gallery metadata.
Figure 1: COLLEAGUE.SKILL architecture for automated person-grounded skill generation. The shared distillation core renders portable agent-skill artifacts; domain presets add source requirements, evidence checks, consent assumptions, and lifecycle or gallery metadata.
Application presets layered on the COLLEAGUE.SKILL person-grounded skill pipeline. The shared artifact workflow branches into colleague, celebrity, and relationship presets with different evidence scopes, governance requirements, and invocation aliases.
Figure 2: Application presets layered on the COLLEAGUE.SKILL person-grounded skill pipeline. The shared artifact workflow branches into colleague, celebrity, and relationship presets with different evidence scopes, governance requirements, and invocation aliases.
Lifecycle loop for generated skills. Corrections and patches create new versions while preserving rollback points.
Figure 3: Lifecycle loop for generated skills. Corrections and patches create new versions while preserving rollback points.

实验结果

论文报告了COLLEAGUE.SKILL的开源部署和社区生态系统数据。在2026年5月28日,公共仓库拥有约18.5k GitHub stars,约1.8k forks,104次提交和165位社区贡献者。公共画廊列出215个技能、55个元技能和165位贡献者,画廊元数据还记录每个技能卡的star计数。由于这些计数异步同步且可能滞后于当前GitHub状态,论文报告的总量级为超过100k累积画廊stars。论文明确指出这些统计数据仅作为公共分发表面的证据,而非采用质量或任务影响的度量。三个应用案例展示了共享trace-to-skill工作流在不同领域的外观:colleague技能使用私有或企业材料如设计文档、聊天决策、审查评论和事件笔记来蒸馏可复用工作实践;celebrity技能使用六维研究通过和质量检查来强调心理模型、引用和明确边界;relationship技能展示同一工作流在敏感人际领域的应用,强调本地所有权、删除、明确免责声明和选择加入共享。论文强调这些是设计导向的artifact工作流示例,而非行为等价性主张。

Runtime artifact contract emitted by the shared writer.
Table 1: Runtime artifact contract emitted by the shared writer.
Observed public deployment counters on 2026-05-28. Counts summarize repository activity, gallery scale, and cumulative public signals; they indicate deployment and distribution surface rather than task performance, behavioral fidelity, or adoption-quality metrics.
Figure 4: Observed public deployment counters on 2026-05-28. Counts summarize repository activity, gallery scale, and cumulative public signals; they indicate deployment and distribution surface rather than task performance, behavioral fidelity, or adoption-quality metrics.

局限与改进

论文明确承认COLLEAGUE.SKILL将person-grounded技能视为可编辑artifact而非忠实模拟、身份替代或同意代理,留下了源匹配、任务性能、情感安全和用户信任校准开放。真实部署将取决于源质量、提取质量、模型行为和人类审查。修正可以随时间改进artifact,但也可能编码编辑器偏见或使有争议的痕迹看起来比实际更确定。论文未报告行为保真度的定量评估,如colleague技能是否捕获与源专家相同的审查问题、capability-only变体是否在没有persona风险的情况下保留效用、relationship技能是否鼓励过度依恋、修正是否在没有回归的情况下改进行为、以及公共figure扩展是否引用证据而非幻觉动机。

独立分析的弱点

系统的第一个弱点是缺乏行为保真度的定量评估。论文仅报告了部署和分发表面的统计,但没有测量生成的技能在下游任务中的实际性能,例如colleague技能是否真正帮助新团队成员达到与离职专家相当的审查质量。改进方向是设计人类主体研究,比较full、capability-only和persona-only变体在匹配源证据下的表现,因为每个变体暴露不同的风险-效用权衡。第二个弱点是源质量和提取质量的依赖性。系统假设输入的痕迹足够丰富和准确,但实际上异构痕迹可能包含噪音、偏见或不完整信息,影响提取的心理模型和判断标准的质量。改进方向是添加质量检查和置信度评分机制,当证据薄弱时降低置信度而非用通用persona文本填充空白。第三个弱点是修正机制的潜在偏见累积。虽然修正记录提供了审计历史,但连续的修正可能编码编辑器偏见或使有争议的痕迹看起来更确定。改进方向是实现修正投票机制和冲突解决协议,允许多个利益相关者对修正达成共识。

未来方向

作者提出未来工作应该在不模糊源质量、同意、溯源和安全边界的情况下,测量有用的判断和交互质量。具体而言,应该设计评估协议,比较不同部署设置、artifact变体和应用领域下的源范围、修正记录、调用模式和发布标签。基于成果可延伸的方向包括:扩展更多的应用预设如self(个人技能蒸馏)、author(作者写作风格和推理模式)和team(团队协作规范);改进celebrity/public-figure预设的证据质量检查和引用机制;增强relationship技能的同意验证、访问控制和保留限制;开发跨主机安装的标准化协议;以及研究技能包的演化和竞争动态。

复现评估

COLLEAGUE.SKILL已作为开源仓库部署,项目站点和画廊公开可访问。论文提供了GitHub仓库地址和项目站点地址。仓库包含完整的实现代码、文档和示例输出。系统支持多种源材料格式,包括Feishu、DingTalk、Slack、微信SQLite导出、邮件归档、PDF、截图、Markdown和直接粘贴,这些格式在大多数工作环境中都易于获取。论文报告了165位社区贡献者和104次提交,表明项目有活跃的社区参与。然而,论文未提供具体的算力需求、数据集细节或复现步骤,缺乏标准化的基准测试使得难以与其他系统进行定量比较。