技能并非一刀切：大语言模型智能体的模型感知技能对齐 Skill is Not One-Size-Fits-All: Model-Aware Skill Alignment for LLM Agents

MASA的方法步骤分为两个阶段：阶段一（通用技能搜索）使用爬山法优化影响所有任务类型的通用技能集。每次迭代包括四个步骤：使用当前最佳通用技能集在所有任务类型上运行目标模型，计算调整奖励，其中调整奖励等于任务成功减去lambda乘以无事发生率，任务成功是0或1，无事发生率是环境状态不变的步骤比例，lambda控制惩罚强度；教师LLM收集失败轨迹，生成结构化失败归因，聚焦于通用行为缺陷而非任务特定过程缺口；给定当前最佳技能集、失败归因、模型能力画像和前K个最高奖励的技能集，教师输出修订的通用技能集；评估新候选技能集，只有当其奖励更高时才接受。搜索在最多10次迭代或3次迭代无改进后终止。阶段二（任务特定技能搜索）对每个任务类型独立运行树搜索，每个节点持有候选任务特定技能集，每条边对应教师重写。每棵树运行10次迭代，每个节点评估使用100个回合。最终输出是模型特定技能库，包含优化的通用技能集和每个任务类型的优化任务特定技能集。

MASA的技术新颖性体现在三个方面：搜索策略的层次化分解，将技能对齐分解为通用技能和任务特定技能两个层次的搜索，分别使用爬山法和UCB1驱动的树搜索，平衡计算效率和建模精确性。从计算角度，编辑通用技能需要在完整任务套件上评估，而编辑任务特定技能仅影响单个任务类型；从建模角度，通用技能编码跨任务的高层行为指导，任务特定技能编码特定环境的领域过程。模型能力画像作为条件信号，模型能力画像包含架构元数据、训练来源和能力画像，为技能重写提供丰富的模型特定信息，使技能表述能够匹配模型的理解和推理风格。与仅使用参数数量作为代理不同，能力画像捕捉模型的综合特征（架构、训练数据、对齐流程等），解释了为什么相同参数规模的模型可能偏好不同的技能表述。技能重写器的摊销优化，将进化流水线的搜索过程摊销到轻量级神经网络中，训练数据包含搜索中间过程、跨模型迁移、一次性教师重写和增强变体，使重写器能够处理部署时遇到的各种输入条件，实现新任务和新环境的快速适配。

独立分析的弱点包括五个方面：计算开销，技能进化流水线需要数百到数千次完整环境rollout，对于大型环境（如WebShop）或复杂任务（如多跳QA）计算成本较高。虽然技能重写器可以在部署时摊销此成本，但对于新模型家族的初始适应仍需要大量计算资源。改进方向可以探索更高效的搜索策略（如分层搜索、并行评估、早停机制），或者使用代理环境（如模拟器、简化环境）进行初步搜索。模型能力画像的依赖，模型能力画像的构建目前依赖于公开文档和少量初步实验，对于缺乏详细文档的模型可能不够准确。改进方向可以开发自动化的模型能力评估方法（如标准化测试套件、自动化行为分析），或者从模型权重中提取特征（如注意力模式、隐藏状态分析）来补充公开文档。环境依赖，技能进化流水线依赖于提供自动奖励信号的环境，对于开放网络任务或现实世界应用等缺乏内置奖励信号的场景需要设计外部评估器或人类注释。改进方向可以开发弱监督或自监督的奖励信号（如基于用户反馈、任务进度估计、一致性检查），或者学习环境模型来模拟奖励信号。技能表述的自然语言限制，当前方法专注于重写技能的自然语言表述，但某些模型可能更适合其他格式（如代码、结构化表示、视觉提示）。改进方向可以探索多模态技能表述（如文本加代码、文本加图像），或者根据模型偏好自动选择最合适的格式。技能库的静态性，当前方法将技能库视为静态知识源，但智能体的能力可能随时间推移而变化（如通过持续学习、在线适应）。改进方向可以开发动态技能库更新机制（如在线技能进化、技能遗忘机制、技能版本控制），使技能库能够跟随智能体的能力演进。

作者提出的未来研究方向包括三个方面：扩展到更多模型家族，将技能进化和重写器扩展到覆盖更多模型家族——包括开源权重（如Llama、Mistral）和专有模型（如GPT-o3、Claude）——以及更多样化的环境，进一步增强技能重写器的泛化性。支持缺乏内置奖励信号的环境，将框架应用于缺乏内置奖励信号的领域（如开放网络任务或现实世界应用），需要设计外部评估器或人类注释，使框架能够服务更广泛的智能体应用。开发自动化评估方法，对于闭源模型，开发高效的评估方法来降低通过付费API进行环境rollout的成本。基于成果可延伸的未来研究方向包括五个方面：多模态技能库，探索将技能表述扩展到多模态格式（如文本加代码、文本加图像、文本加视频），使技能库能够支持多模态智能体（如视觉问答、具身智能）。技能库的持续学习，开发在线技能进化机制，使技能库能够根据智能体的交互经验持续更新和优化，适应动态环境和任务。技能库的共享和迁移，建立技能库的共享平台（如Hugging Face风格的模型或数据集共享），使不同研究和应用可以共享和复用技能库，促进技能库生态的发展。技能库的理论分析，从理论角度分析技能表述与模型能力之间的关系，建立技能对齐的理论框架，指导实际算法设计。技能库的安全性和鲁棒性，研究技能库的安全性和鲁棒性问题（如对抗攻击、误导性技能、技能偏见），开发检测和缓解机制。

作者公开了代码，包括技能进化流水线、技能重写器训练和实验配置。实验使用的环境都是公开基准（ALFWorld、WebShop、NQ、TriviaQA、PopQA、HotpotQA、2Wiki、MuSiQue、Bamboogle），模型也是公开可用的（Qwen3-4B、8B、14B、32B、DeepSeek-V4-Pro）。技能进化流水线的超参数在附录中详细描述：阶段一的最大迭代次数为10，耐心参数为3，top-K为5；阶段二的每棵树运行10次迭代，每个节点评估使用100个回合。技能重写器的训练细节在附录中描述：使用Qwen3-4B进行全参数SFT，BF16精度，AdamW优化器，学习率为1乘以10的负5次方，余弦调度，预热比例0.1，梯度检查点，有效批量大小4，5个轮次，最大序列长度4096。训练数据包含769个样本（所有三个环境）或499个样本（仅WebShop加Search），数据增强包括噪声输入（噪声比例0.3）、部分输入（保留比例0.6）和跨模型迁移对。复现难度为中等。主要挑战在于技能进化流水线需要数百到数千次完整环境rollout，计算成本较高。技能重写器的训练相对简单，可以使用公开的预训练模型和训练数据。总体而言，论文提供了足够的细节和公开代码，使得研究者可以复现主要实验结果。