经验造就技能：通过自演化技能记忆实现可泛化的医疗智能体推理 Experience Makes Skillful: Enabling Generalizable Medical Agent Reasoning via Self-Evolving Skill Memory

SkeMex的完整流程包含四个主要步骤。第一步是价值感知技能检索，在剧集开始时执行。首先给定初始查询提取临床类别标签(如鉴别诊断或治疗规划)，约束任务级分支移除相关临床上下文外的技能。然后应用多通道筛选获取候选子集，使用相似度和历史可靠性保持重排序效率。每个候选用语义、效用和时间信号评分：分数为语义相似度、类别条件下效用和记忆强度的加权和。最后进行分支感知top-K选择平衡三个分支。第二步是轨迹到技能蒸馏，通过两轮过程实现。分析轮提取可重用模式、识别先前注入技能的采用信号并确定写入意图(CREATE、PATCH或NONE)，还分配候选技能的目标分支。变异轮将模式转换为新技能草稿或根据预测意图对现有技能应用局部更新。缓冲区过滤基础设施错误、机械重复和琐碎成功，保留包含有意义多步推理或信息丰富失败的轨迹。第三步是效用驱动技能估值，用窗口级估值而非每样本更新。为每个临床类别维护奖励的指数移动平均，轨迹优势定义为奖励减去类别基线。采用事件使用贡献函数分配信用，区分正向采用、负向采用和忽略三种情况，包含风险敏感正则化防止高效用技能积累不安全行为。最后通过聚合窗口内所有采用事件的贡献更新技能效用。第四步是闭环自演化记忆治理，每N个窗口应用一次。合并冗余技能，弃用低效用技能，将持续有效的技能提升到成熟状态，当分支超过容量时移除最低效用技能。

SkeMex的技术新颖性体现在多个方面。首先，三分支记忆架构是新颖的设计，现有工作通常使用单一技能库或未分离的案例存储，而SkeMex明确将通用推理、任务特定知识和行动级操作分开组织，这种分离在医疗领域尤为重要，因为临床决策涉及不同抽象级别的知识。其次，价值感知检索结合语义相似度、效用和记忆强度三个信号是新颖的，现有方法主要依赖语义相似度，而忽略了技能在相关临床上下文中的历史有效性和时间衰减特性。第三，窗口级估值结合类别感知基线和优势估计是新颖的，降低了医疗任务难度差异带来的噪声，确保公平的信用分配。第四，风险敏感效用正则化是新颖的，防止高效用技能通过积累不安全行为来维持高效用。第五，闭环的读取-写入-评估-治理生命周期将轨迹蒸馏、效用估计和仓库治理整合为一个统一的框架，实现持续改进。最后，完全解耦的记忆演化与模型训练是新颖的，在不修改参数的情况下实现经验驱动的学习，使智能体在医疗环境中更可扩展和可适应。

SkeMex存在几个具体可改进的弱点。第一，类别路由依赖对初始查询的准确分类，但对于复杂或边界模糊的临床问题，单一类别标签可能不充分。改进方向可以是多标签分类或软路由，允许一个查询涉及多个临床类别。第二，效用估计在早期阶段可能不稳定，特别是新技能的效用初始值如何设定。改进方向可以是引入先验知识初始化效用，或使用贝叶斯方法量化效用估计的不确定性。第三，技能合并策略当前依赖启发式规则，可能在某些情况下产生不合理的合并结果。改进方向可以是学习合并策略或使用更复杂的相似度度量。第四，缓冲区管理使用软隔离策略保持成功和失败轨迹的平衡，但这个平衡比例如何自适应调整可能需要改进。改进方向可以是动态平衡策略，根据当前技能库的需求调整缓冲区组成。第五，框架主要关注文本技能表示，对图像和其他模态的支持有限。改进方向可以是多模态技能表示学习，将视觉特征与文本描述结合。第六，治理操作的频率固定为每N个窗口，但不同临床场景可能需要不同的治理频率。改进方向可以是自适应治理触发机制，基于技能库质量指标动态调整治理时机。

作者提出的未来工作方向包括：扩展技能表示以支持更丰富的临床模态，探索技能库的跨域迁移机制，以及将框架应用到真实临床环境中。基于论文成果，可以延伸以下研究方向：首先，研究技能库的时序演化规律，分析技能如何随时间被采用、修改或弃用，这有助于理解经验积累的动态过程。其次，探索技能迁移策略，当智能体遇到新临床领域时，如何选择性地迁移相关技能，避免负迁移。第三，研究多智能体协作场景下的技能共享机制，多个医疗智能体如何通过共享技能库实现集体学习。第四，将框架与主动学习结合，让智能体主动选择哪些轨迹值得存储，而非仅依赖缓冲区过滤。第五，探索可解释的技能表示，使技能内容不仅可执行，还可被人类审查和验证，这在医疗等高风险领域特别重要。第六，研究技能库的压缩和优化技术，在长时间运行后如何保持技能库的紧凑性而不损失关键经验。第七，探索与人类医生的知识整合机制，如何将专家知识编码为技能并持续更新。最后，评估框架在不同医疗子领域的适用性，如影像诊断、药物研发、个性化治疗等，可能需要调整技能表示和效用估计方法。

论文声称所有数据和代码将公开发布，这是复现的重要基础。实验使用多个公开基准数据集，包括AgentClinic、LiveClin、MedJourney、LiveMedBench、HealthBench、MediQ、MedXpertQA、MMMU和MMMU-Pro，这些数据集的可获得性有利于复现。骨干模型使用DeepSeek-V3.2和Qwen3.6-Plus，语义索引使用text-embedding-3-large，这些都是公开可用的模型。超参数设置详细报告，包括top-K=6、$\lambda_{sim}=0.4$、$\lambda_u=0.4$、$\lambda_h=0.2$、学习窗口30个轨迹、$\lambda_+=1.0$、$\lambda_-=0.1$、$\lambda_{harm}=0.5$、余弦预热调度$\eta_i^{(w)}$从0.05到0.20。然而，复现仍面临挑战。第一，医疗基准数据集可能需要许可证或访问权限，特别是包含真实临床数据的数据集。第二，工具集成可能复杂，论文提到使用医疗搜索、知识查询、临床计算、多模态分析和推理自调节工具，这些工具的实现细节可能不完整。第三，多模态基准的处理需要图像处理管线，可能引入额外复杂性。第四，在线评估需要流式任务序列的处理逻辑，可能需要仔细实现。第五，技能蒸馏和治理涉及复杂的逻辑，虽然论文提供了概述，但实现细节可能需要推断。总体而言，如果代码和数据按承诺发布，复现是可行的，但需要一定的工程能力和对医疗领域的理解。算力需求取决于骨干模型的选择和基准规模，使用商用API或本地部署都是可能的选项。