面向智能体数据分析的无监督技能发现 Unsupervised Skill Discovery for Agentic Data Analysis

DataCOPE的工作流程可以分为以下步骤。首先在迭代轮次r，Data-Analytic Agent在当前技能S的r条件下对探索集Dexplore中的每个任务u采样N条轨迹，形成轨迹集合T的r等于τ的i u r的集合，其中i从1到N。然后Unsupervised Verifier分析这些轨迹，提取非特权信号并将轨迹组织成K个结构化组G的r。对于报告式任务，验证器使用Adaptive Checklist Verifier。Checklist Agent为每个任务生成任务特定的检查列表Cu等于c1到cL。每个检查列表项被表述为可检查的问题答案标准，针对任务定制，指定报告预期解决的分析洞察或要求。对于报告y的u r i，验证器分配检查列表得分q的u r i等于Score作用于y的u r i和Cu等于s作用于y的u r i和c对c属于Cu求和除以Cu的大小，其中s作用于y的u r i和c测量报告满足检查项c的程度。结果得分提供无监督质量信号，而不是金标准正确性标签。根据平均分数将轨迹分为相对正向组G的r加和相对负向组G的r减。对于推理式任务，验证器使用Answer Agreement Verifier。对每个任务u在迭代r，智能体生成N条具有最终答案y的u r i从i等于1到N的轨迹。应用聚类操作符基于类型特定的相等度量如精确匹配来划分这些答案。为每个答案簇选择代表性轨迹，优先选择更少交互轮次和执行异常的轨迹。计算每条轨迹的自一致性得分即其分配的答案簇的相对大小作为辅助不确定性信号。将轨迹按答案簇和自一致性组织成结构化组。接下来Skill Manager对比轨迹组并蒸馏技能。对于报告式任务，对比高分和低分报告组，提取可重用策略并抑制低分报告中观察到的重复弱点，更新报告生成技能S的r加1π等于ψω作用于S的rπ、G的r加和G的r减。当检查列表评分不再提升时，切换到检查列表侧优化，使用高分报告作为对比案例识别检查列表遗漏项，更新检查列表生成技能S的r撇加1ϕ等于ψω作用于S的r撇ϕ、G的r撇减和G的r撇加，注意这里对比方向反转。对于推理式任务，对比不同答案簇的代表性轨迹，识别发散的推理行为和重复的失败模式，使用这些对比信号更新智能体侧技能。最后将更新后的技能注入回Data-Analytic Agent，开始下一轮迭代。这个过程持续直到收敛，最终技能bS被固定并在测试集Dtest上评估。

DataCOPE的技术新颖性体现在多个方面。首先它提出了首个完全无监督的数据分析技能发现框架，不依赖任何金标准答案、成功标签或人工标注，这在以监督为主的技能发现领域是重要突破。现有技能合成和精炼方法通常依赖可观察的质量信号来识别有用行为和失败。这些信号可能来自成功演示、失败案例或人类反馈。在数据分析场景中，这些信号通常不可用或难以构建。其次框架设计了两种针对不同任务类型的无监督验证器。Adaptive Checklist Verifier通过交替优化报告生成和检查列表生成来避免验证器过拟合，这在概念上类似于GAN的对抗思想但应用在验证器智能体交互上。Answer Agreement Verifier将答案聚类和自一致性结合，既利用了共识信号又引入了不确定性估计，比单纯依赖共识更鲁棒。第三框架引入了对比式技能蒸馏的思想，不是从单个轨迹提取模式，而是从对比的轨迹组中提取差异化的行为模式，这使得技能更能捕获关键的区别性特征。最后框架展示了跨任务格式的泛化能力，同样的框架架构可以同时适用于报告式和推理式两类差异很大的数据分析任务，证明了验证器引导加对比蒸馏范式的通用性。框架在Deep Data Research和DABStep两个类别的数据分析基准上评估，在这些设置中DataCOPE始终提高保留性能优于基线。跨越四个模型设置平均，DataCOPE在报告式和推理式任务上分别提高平均得分百分之9.71和百分之32.30。

独立分析来看DataCOPE存在以下弱点。首先框架对探索轨迹的质量非常敏感。如果基础智能体在探索阶段生成的轨迹质量较差验证器提取的信号可能充满噪声导致技能蒸馏效果不佳。改进方向可以是引入预探索阶段使用更强的智能体或更保守的采样策略生成初始轨迹或者引入轨迹质量预过滤机制。其次迭代优化的非单调性表明框架缺乏有效的早停机制和回退能力。当前框架在后期迭代时可能破坏之前学到的有效模式改进方向可以是引入性能监控和自动回退机制当验证器评分下降时回退到之前的技能版本。第三对于推理式任务当主导答案簇不正确时框架可能收敛到错误的共识。改进方向可以引入更复杂的答案簇质量估计例如基于簇内轨迹的复杂性使用工具的类型执行异常率等辅助信号而不仅仅依赖自一致性。第四报告式任务的检查列表可能遗漏重要的评估维度导致智能体过拟合到不完整的检查列表。改进方向可以是引入检查列表多样性机制同时维护多个互补的检查列表或者引入外部知识源如领域特定指南来丰富检查列表。第五框架的计算开销较大需要多次轨迹采样和迭代优化。改进方向可以是引入更高效的采样策略如基于不确定性的主动采样并行化轨迹生成和验证或者引入增量式技能更新避免完全重新蒸馏。技能粒度分析显示使用全部9个发现的技能达到最佳性能达到百分之62.82的准确率。相比之下使用2或3个技能表现甚至比使用单个技能更差。技能不再足够通用以提供广泛指导但又太粗糙无法覆盖不同任务所需的多样化推理模式。随着技能数量从3增加到6最后到9性能逐渐恢复并改进表明DABStep受益于足够多样化和细粒度的技能集。

作者提出的未来研究方向包括探索更多样化的验证信号例如跨任务的一致性与外部知识库的对齐基于工具使用模式的启发式信号等。扩展框架到更多格式的数据分析任务例如交互式数据分析流数据分析多模态数据分析等。研究跨技能协作机制让多个技能协同工作解决复杂任务。研究动态技能粒度选择机制根据任务复杂度自动选择合适的技能粒度。基于论文成果可以延伸的未来研究方向包括研究技能的可解释性和可维护性让发现的技能更易于人工审查和调试。研究技能的个性化机制根据用户偏好或领域特征定制技能。研究技能的迁移机制让在一个数据集上学到的技能能够迁移到不同但相关的领域。研究技能的在线更新机制让技能能够在部署后持续从新的执行轨迹中学习和改进。研究技能的组合和分解机制让复杂技能能够分解为更基础的子技能或从简单技能组合成复杂技能。研究技能的安全性和鲁棒性确保技能不会引入有害行为或放大模型偏差。研究技能的评估标准建立更全面的技能质量评估体系。我们进一步研究发现的技能在固定交互预算下的成本效益。为了控制比较Claude Code和ReAct智能体都限制在15个交互轮次。如表所示发现的技能一致地降低token消耗同时提高不同智能体支架的任务准确性。在无技能设置下Qwen3.5-397B with ReAct消耗的token明显少于Claude Code表明它为数据分析探索提供了更高效的token替代方案。加入发现的技能后两个智能体表现出几乎相同的token消耗而它们的准确率变得更加接近。这些结果表明技能提供了可重用的过程指导抑制冗余探索并提高不同智能体支架的效率。

论文的复现难度中等偏高。优点方面论文详细描述了实验设置包括基准指标基线实现细节等这些信息有助于复现实验。论文提到使用公开可用的基准数据集这些数据集可以获取。论文描述了框架的组件和工作流程提供了算法伪代码级别的描述这有助于理解实现细节。然而缺点方面论文使用了多个专有模型包括Claude Sonnet 4.6、Claude Sonnet 4.5、GPT-5-2、DeepSeek-V4-Pro、Qwen3.5-397B这些模型可能需要付费API访问或特定的企业许可这增加了复现的门槛和成本。论文没有发布开源代码这意味着复现者需要从头实现框架这需要大量工程工作。论文没有提供发现的技能示例这使得难以直观理解技能的内容和质量。论文的实验需要大量计算资源包括多次轨迹采样迭代优化多个模型评估这需要相当的计算预算。论文的一些实现细节如具体的提示词超参数设置聚类算法的具体实现等可能没有完全披露这可能导致实现细节差异影响性能。总体来说有经验的团队在获得必要的API访问权限和计算资源后应该能够复现主要结果但门槛较高。关于实现细节基线Skill Creator使用Claude Code驱动Claude Sonnet 4.6实现。对于我们的提出方法Data-Analytic Agents和Checklist Agent都使用Qwen3.5-397B-A17B而Skill Manager也使用Claude Code驱动Claude Sonnet 4.6。在探索期间Data-Analytic Agents的采样策略因任务类型而异。我们为Reporting任务每个实例准确采样一条轨迹为Reasoning任务每个实例采样十条轨迹。