通用代理能够自动化数据整理吗？ Can Generalist Agents Automate Data Curation?
研究通用编码代理在自动化训练数据整理循环中的能力与局限
前置知识
数据整理
数据整理是指对训练数据进行系统性优化的一系列操作，包括数据筛选、过滤、去重、重写、混合等过程。在深度学习时代，数据质量对模型性能的影响日益重要，数据整理已成为与模型架构设计同等重要的设计变量。本文将数据整理定义为策略搜索过程：代理需要根据评估反馈，迭代地提出、实现和修订数据策略。
本文的核心研究对象就是数据整理的自动化，理解这一概念是理解全文研究问题和实验设计的基础。
数据隔离原则
数据隔离原则是指在评估数据方法时，固定模型架构、训练流程和评估套件，将数据策略作为唯一的控制变量。这一原则借鉴自DataComp基准测试，旨在消除其他因素的干扰，使研究能够专注于数据策略本身的有效性。
CURATION-BENCH的设计遵循数据隔离原则，这是确保评估结果可解释性和可比性的关键前提。
EL2N
EL2N（Early Learning Loss on the Network）是一种基于训练动态的数据筛选方法，它通过记录模型训练早期每个样本的损失值来识别重要样本。EL2N假设在训练早期损失高的样本更有价值，因为这些样本模型尚未充分学习。该方法与类似的GraNd方法都是利用训练过程中的动态指标来进行数据选择，而非仅依赖静态特征。
本文中最强的数据策略就是基于EL2N的改进版本，理解这一方法有助于理解代理如何通过方法脚手架发现高性能策略。
研究动机
现代AI开发中，训练数据已成为关键设计变量，但数据整理过程仍高度依赖人工。实践者需要反复提出、实现、评估和修订数据策略，以应对噪声评估反馈。这一迭代搜索过程消耗了大量人力成本，并且没有一种数据筛选技术是普遍有效的，不同任务和数据分布需要不同的策略组合。
本文的目标是本文的核心目标是探究通用编码代理能否自动化这一数据整理循环。具体而言，评估通用代理（非专门设计用于数据整理的终端系统）在迭代数据策略发现中的能力，以及什么样的额外指导能帮助代理做出更好的数据策略决策。
与已有工作不同的是，本文的独特切入角度在于填补了现有研究空白：数据中心基准（如DataComp）固定模型和训练流程，但只评估静态数据策略的最终效果；自主ML研究代理评估迭代行为，但通常优化训练配方而非数据分布。CURATION-BENCH首次将训练数据整理作为迭代策略搜索过程进行评估，不仅关注最终精度，还关注代理的搜索过程质量。
核心方法
CURATION-BENCH是一个以代理为中心的基准测试，采用数据隔离原则：固定模型架构、优化器、训练进度和评估套件，代理的唯一控制变量是整理后的数据。代理在Docker化终端工作空间中操作，通过检查候选池、实现数据策略、提交整理后的数据集，观察来自固定训练和评估的反馈，并修订策略。基准记录每次迭代的整理脚本、数据清单、审计结果、训练输出和评估日志，支持轨迹诊断分析。
本文的核心创新点是提出了评估代理在数据整理中搜索过程质量的框架。不仅评估最终精度，还用四个标签（新策略家族、有证据支撑、有效、浅层操作）注释每次迭代，揭示代理是在系统性探索还是仅做局部调整。研究发现代理存在持续的执行-研究差距：能够可靠运行循环但主要调整局部策略变体，即使提供策略指南和论文参考文献也是如此。
方法步骤详情
CURATION-BENCH的任务定义为τ = (M0, Dpool, B, T, E, C)，其中M0是初始模型，Dpool是候选训练池，B是数据预算，T是固定训练流程，E是评估套件，C指定约束条件。代理编写数据策略π，将池映射到整理后的数据集Dπ = π(Dpool)，|Dπ| ≤ B。在每次迭代t，代理编辑整理脚本πt，实现候选数据集Dt，通过CLI提交。提交经过验证门控：验证模式和预算，运行污染审计，只有通过后才启动训练。接受的提交从M0使用T进行训练，通过E评估，返回给代理聚合和每个基准的分数。
技术新颖性
本文的技术新颖性在于首次系统性地评估了通用代理在自动化数据整理中的能力。与现有工作相比，CURATION-BENCH不是要求代理执行已知的数据筛选方法，而是要求代理自主决定使用哪个方法家族、如何在预算限制下实现、如何检查证据以及如何修订策略。这种对代理研究过程的评估，而非仅对最终结果的评估，填补了自主数据研究的评估空白。
实验结果
在主要LLaVA-665K/LLaVA-1.5-7B任务上，所有开放提示代理平均都优于最佳随机运行。Claude Code表现最佳，达到33.7分，相比最佳随机运行的32.5分和ICONS/ARDS的33.3/33.2，恢复59%的全数据增益，仅使用约1.5%的665k数据池。Codex和Qwen接近10k人工设计基线，而Kimi改进了随机但仍低于基线。轨迹分析揭示代理通常实现最低成本版本的想法：源比例变化、响应长度阈值、元数据过滤或种子变化。这些局部移动可能仍提高分数，但将搜索限制在同一策略家族内。脚手架研究显示轻度脚手架扩大考虑但不可靠改善执行策略，重度脚手架强制代理操作化先验工作，可打开数据策略空间的高上行区域。最佳适应论文策略达到34.9分，使用十分之一数据超过开放提示代理和评估的100k ARDS基线。扩展迭代实验显示在固定数据预算下，较长的整理搜索继续有回报，平均性能在10到50次迭代范围内持续改进而非明显平台期。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LLaVA-665K数据筛选（10k预算） | 8个基准平均分 | Claude Code: 33.7 (59% full gain) | Random: 32.5 (45%), ICONS: 33.3 (54%), ARDS: 33.2 (52%) | +1.2分 (+14% gain vs best random) |
| DataComp Small CLIP预训练 | 38个任务平均分数 | Claude Code达到超过最强过滤基线（top 30% CLIP L/14分数） | top-30% CLIP L/14-score filtering | 建立明显边际优势 |
| 适应论文脚手架（10k预算） | 8个基准平均分 | 34.9 (63% gain) | ARDS 100k: 34.1 (64%), ICONS 100k: 34.5 (69%) | 使用十分之一数据超过100k基线 |
局限与改进
作者承认局限性：实验主要在视觉语言指令调优中实例化CURATION-BENCH，包括一个较小的CLIP风格预训练实例和一个重写扩展。对于预训练混合、代码、数学、领域特定指令调优或评估可靠性较低的设置，结论可能不同。脚手架比较也不是完整的析因研究：重度脚手架结合了方法基础、结构化日志记录、更强的程序约束等多个成分，因此识别的是有用的设计模式而非隔离单一因果成分。此外，轨迹标签需要注释，虽然使代理行为更易理解，但也引入了自己的判断，应与标准和示例一起报告。
独立分析的弱点
论文的主要弱点是重度脚手架虽然改善了策略探索，但显著降低了代理的自主性。适应论文脚手架要求每次非基线迭代必须引用特定先验方法，这限制了代理发现完全新颖方法的可能性。另外，轨迹诊断系统需要人工注释标准，这在大规模应用中可能成为瓶颈。代理在开放提示条件下的浅层操作（如"这有帮助，所以再加更多"）表明代理缺乏形成任务特定假设的能力，即使提供策略指南和论文参考文献也难以改变。最后，研究主要集中在视觉语言任务上，对于其他模态或任务类型的泛化性尚未充分验证。
未来方向
作者提出的未来研究方向包括：在预训练混合、代码、数学、领域特定指令调优或评估可靠性较低的设置中扩展CURATION-BENCH的实例化。可以探索更多样化的脚手架设计，系统性地隔离重度脚手架的各个成分以确定因果效应。另一个方向是研究代理在更长时间跨度（超过50次迭代）中的表现，以及如何平衡自主性和性能。从应用角度，可以研究将代理辅助的数据整理与人类专家审查相结合的混合模式，既利用代理的计算能力又保持人类监督。还可以探索代理在数据重写、增强等更丰富数据操作上的能力。
复现评估
论文的代码和基准已在GitHub上公开（https://github.com/feiyang-k/curation-bench），这大大提高了复现性。实验使用了公开可用的数据集（LLaVA-665K、Vision-Flan、DataComp-Small）和预训练模型（LLaVA-1.5-7B、Qwen2-VL-2B、SmolVLM等）。论文详细描述了实验设置，包括训练配置、污染审计方法和评估协议。主要实验涉及多个代理的多次会话，每个会话10-50次迭代，这需要相当大的计算资源。对于希望复现结果的实验室，可能需要相当的计算预算，但实验的可并行性有助于缓解这一问题。
论文图表
