AutoDataBench：面向自动化研究加速的数据智能评测平台 AutoDataBench: A Data-centric Testbed for Accelerating Auto Research
构建受控测试床，系统评测大模型理解并改进训练数据的数据智能
前置知识
数据智能（Data Intelligence）
指 LLM 理解和改进训练数据的能力，本文将其拆成三个维度：数据诊断与修复（发现并修复标注错误）、数据组织（挖掘难负例、调配数据混合比例）、数据构造（从原始语料提取事实生成训练样本）。评估时不仅看优化后的模型性能，还看 LLM 能否预判数据干预对训练效果的影响。
这是全文的核心研究对象：三个任务、两种评估视角（优化性能与数据效应预测）都围绕这一概念的三个维度展开，不理解它就无法理解任务设计动机。
函数调用与 AST 准确率
函数调用任务要求模型根据用户请求和工具 schema 生成正确的函数调用。AST 准确率把生成的调用解析为抽象语法树后与目标比对，参数名、类型、取值需完全一致；本文对简单、多重、并行、并行多重、无关五类样本取宏平均（macro-averaged）。
任务1 以五类宏平均 AST 准确率作为优化反馈指标，分布外评测使用 BFCL 榜单，理解该指标才能看懂数据修复实验的分数含义。
InfoNCE 对比学习与难负样本
对比学习通过拉近查询与正例、推远负例训练检索向量，InfoNCE 损失形如 $\mathcal{L} = -\log \frac{\exp(\mathrm{sim}(q,p^+)/\tau)}{\sum_i \exp(\mathrm{sim}(q,p_i)/\tau)}$。难负样本指与查询表面相似但实际不相关的文档，挖掘它们能显著提升判别力，但把相关段落误标为负例会反噬训练效果。
任务2 在固定 InfoNCE 管线下要求 LLM 自行挖掘难负例并平衡数据来源，是理解检索任务设计与 nDCG@10 反馈机制的前提。
特权上下文蒸馏（Privileged-Context Distillation）
一种知识注入方法：冻结的教师能看到支持性上下文 $c$、问题 $q$ 和答案前缀，在位置 $t$ 的分布为 $P_t = P_T(\cdot \mid c, q, y_{<t})$；学生只看问题和前缀 $Q_t = P_S(\cdot \mid q, y_{<t})$，训练用前向 KL 散度对齐两者分布，从而把上下文中的知识蒸馏进学生参数。
任务3 的固定训练管线就是这种蒸馏，LLM 构造的 context-question-answer 三元组质量直接决定知识注入与保留效果。
ID 与 OOD 评测（benchmaxxing 探测）
分布内（ID）指标用于优化反馈和 checkpoint 选择，分布外（OOD）隐藏评测集只在优化结束后评估选出的 checkpoint。若模型策略过度拟合 ID 反馈导致 OOD 下降即为 benchmaxxing：如检索任务中 GPT-5.6-Sol 的 ID 均值最高（40.46）但 OOD 最低（26.15）。
ID/OOD 分离是本文探测刷分行为的核心机制，检索任务上的排名反转结论完全建立在这一设计之上。
中训练（Mid-training）
介于预训练与监督微调之间的继续训练阶段。本文从 Qwen2.5-Coder-14B 基座出发，以 5B token 预算做中训练（对照组用原始混合语料，实验组额外混入 80M token 的 Auto-Research 轨迹，占 1.6%），随后两组做完全相同的 SFT 再比较下游表现。
第 4.5 节基准即数据引擎实验以中训练为载体，衡量基准优化轨迹向下游代码能力的迁移价值，是论文第四个贡献的实验基础。
研究动机
现有的自动研究基准（如 MLE-bench、RE-Bench、PaperBench、AI Scientist）允许智能体同时改动训练框架、超参数、算力预算和数据等多个因素，性能提升无法归因到具体研究能力，数据智能因此长期被淹没。而数据质量与组成对模型性能影响巨大（DataComp-LM 已证明数据策展可带来显著收益），评估不同数据方案又需要昂贵的真实训练实验。已有的数据类工作也各管一段：DataComp-LM 固定训练管线只比较数据策略，DCA-Bench 只评数据质量问题的发现，PostTrainBench 允许动训练方法，Curation-Bench 只覆盖 SFT 类配方搜索。业界因此缺少一个把非数据因素全部冻结、能明确回答前沿 LLM 能否理解并改进训练数据这一问题的受控评测环境。
本文的目标是本文要构建 AutoDataBench：一个数据中心的受控测试床，在统一的智能体框架下冻结训练管线、可用工具和资源预算，只让被评测的 LLM 改动训练数据，用下游模型的真实训练表现衡量其数据智能。具体目标有四：其一，设计覆盖数据诊断修复、数据组织、数据构造三个维度的任务，横跨监督微调、对比学习、蒸馏三种训练范式；其二，在同一框架下系统评测 GPT、Claude、Kimi、DeepSeek、GLM、Qwen 六个家族共七个前沿模型（每个模型-任务组合三次独立运行，共 63 轮）；其三，用隐藏的分布外评测探测泛化与 benchmaxxing 行为；其四，验证基准优化轨迹能否反过来作为中训练数据，即基准即数据引擎。
与已有工作不同的是，本文的独特切入是把数据决策本身变成被评测对象。与自动研究基准允许全方位改进不同，AutoDataBench 通过数据中心性实现因果归因：训练框架、工具集、基座模型、预算全部固定，性能差异只能来自数据干预的优劣。其次，它在优化性能之外引入两个互补视角：一是隐藏 OOD 评测机制，专门识别刷分行为——例如检索任务中 ID 最强的 GPT-5.6-Sol 在 OOD 上反而垫底；二是行为学预测探针，强制 LLM 在训练前记录预测分数、不确定区间和理由，再用预测与实测的对照检验其是否真正理解数据干预的效果而非仅靠试错。最后，论文反转评测基准的角色，把 63 轮优化轨迹变为 8M token 的可迁移中训练语料，评测环境与训练数据引擎合二为一。
核心方法
直觉上，想知道 LLM 会不会喂好数据，就该把其他一切冻结、只让它动数据。技术上，AutoDataBench 为每个任务指定源数据、基座模型、固定训练流程与资源预算：每次运行限单张 NVIDIA A800、24 小时墙钟、至多 20 轮训练-评估，累计提交数据量不超过单轮上限的 10 倍。被评 LLM 被明确禁止逐条处理样本，必须编写代码并调用辅助模型（Qwen3-4B 负责批量生成与校验、Qwen3-Embedding-0.6B 负责嵌入处理）完成规模化数据处理，以此聚焦数据集级分析而非逐例标注式操作。每轮流程为：检查数据、实施干预、提交数据集、固定管线训练、获得 ID 指标反馈、调整策略；ID 最优 checkpoint 再送隐藏 OOD 评测，完整优化轨迹全程留痕供行为分析。
核心创新是与已有基准的三点本质区别。第一是数据中心性：MLE-bench 等 Agent 可改动一切，改进无法归因；本文冻结非数据因素，且每轮训练都从同一初始 checkpoint 在相同超参下重启，使前后数据干预可严格对比，性能差异完全归因于数据决策。第二是三维度任务设计：数据诊断修复（被腐蚀的工具调用数据）、数据组织（难负例挖掘与来源混合）、数据构造（从语料生成 QA），分别实例化 LoRA 微调、InfoNCE 对比学习、特权上下文蒸馏三种训练范式，插拔式框架可继续接入新任务。第三是行为学探针：提交数据后、训练前必须记录预测分数、不确定区间和理由，再与观测结果对照，首次为 LLM 是否具备超越试错的数据效应推理提供了可量化的行为证据。
方法步骤详情
任务1（数据修复）：用 XLAM 函数调用集构造约 40k 样本，7 种概率腐蚀算子污染 42.19%（参数缺失、值篡改、错配、错误标签等）；LLM 在 16k 预算内筛选修复、去重、调配类别比例，LoRA 微调 Qwen2-1.5B-Instruct，以五类宏平均 AST 准确率为反馈，OOD 为 BFCL。任务2（检索数据组织）：提供 RLHN 818k 锚点-正例对，LLM 用 25B token 辅助预算挖掘难负例，每轮至多 600k 对，固定 InfoNCE 管线训练 6 层 MiniLM，以 5 个 ID 检索集的 nDCG@10 均值为反馈。任务3（知识注入）：从 1930 年后维基语料构造 context-question-answer 三元组，Talkie 13B（1931 年前 260B token 预训练）作冻结教师与待训学生，按 $P_t = P_T(\cdot|c,q,y_{<t})$ 与 $Q_t = P_S(\cdot|q,y_{<t})$ 做前向 KL 对齐，以 1000 条 Novel 事实的似然多选准确率优化，Retention 为隐藏 OOD。
技术新颖性
与 MLE-bench、RE-Bench 等端到端研究工程基准相比，本文把评测对象收窄为数据智能这一单一能力，并通过固定管线实现因果归因；与 DataComp-LM 比较固定数据策略不同，这里评的是 LLM 智能体在多轮反馈下的迭代决策过程；与 Curation-Bench 只研究固定配方下的数据策略搜索不同，本文横跨 SFT、对比学习、蒸馏三种范式，并叠加隐藏 OOD 与预测探针两种机制。插拔式的任务-框架-工具定义使其可扩展到 LLM 后训练之外的学习范式。双角色定位也是新颖点：63 条标准运行的轨迹本身构成 8M token 语料，经 10 倍上采样混入中训练后，评测基准同时成为高质量训练数据的生成引擎，这种评测与数据引擎合一的设计在基准研究中并不多见。
实验结果
核心发现有五点。一、总体排名：Kimi-3 以 Overall 60.68 居首，优势在知识注入（60.60，超专家 48.40 达 +12.20）；GPT-5.6-Sol 在工具调用（81.98）和检索（40.46）的 ID 均值领先。二、工具调用：七家模型 ID 均在 80.82–81.98，远超随机基线 70.45、近 oracle 81.65，但 BFCL 泛化仍低于 oracle 的 60.23。三、检索 ID-OOD 排名反转：GPT-5.6-Sol ID 最高（40.46）却 OOD 垫底（26.15），Qwen-3.7-Max OOD 最高（30.18），且均低于基线 31.13 与专家 34.76，暴露 benchmaxxing 行为。四、迭代行为：63 轮标准运行中 61 轮优于初始数据集，平均增益 8.11/6.46/4.91 分。五、预测探针：检索上预测与实测 MAE 仅 0.64 与 1.55；但预测模式在 6 组组合中 4 组降低最优分，知识注入最严重（GPT 47.50 对 54.10，Kimi 48.90 对 60.60），预测构成额外负担。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 工具调用数据修复（ID） | 五类宏平均 AST 准确率 | GPT-5.6-Sol 均值最高 81.98，单次最优 82.45（Kimi-3） | 随机抽样基线 70.45，oracle-clean 参考 81.65 | 较随机基线 +10.4~12.0 分，逼近 oracle-clean |
| 工具调用泛化（OOD） | BFCL 单轮宏平均准确率 | 均值最高 59.32（Kimi-3），单次最高 61.12 | 随机基线 55.18，oracle-clean 60.23 | 较基线 +4~6 分，但仍未超过 oracle-clean |
| 检索数据组织（ID） | 5 个 ID 数据集 nDCG@10 均值 | GPT-5.6-Sol 均值 40.46 | 随机负例基线 34.38，专家参考 40.62 | +6.08 分，接近专家水平 |
| 检索泛化（OOD） | 5 个隐藏数据集 nDCG@10 均值 | Qwen-3.7-Max 最高 30.18，GPT-5.6-Sol 最低 26.15 | 随机基线 31.13，专家参考 34.76 | 所有模型均低于基线与专家，出现排名反转 |
| 知识注入（ID） | Novel 多选似然准确率 | Kimi-3 均值 60.60 | 无训练参考 39.10，专家参考 48.40 | 超专家 +12.20 分，所有模型不低于专家 |
| 知识保留（OOD） | Retention 隐藏集准确率 | Claude-4.7 最高 50.37 | 未适配模型 47.84，专家 48.55 | 仅 +2.53，GLM-5.2（47.15）低于未训练模型 |
| 数据引擎：SWE-bench Multilingual | 解决率 (%) | 33.33 | 对照中训练 27.67 | +5.66 |
| 数据引擎：CRUXEval Input | 输入预测准确率 (%) | 74.12 | 对照中训练 72.00 | +2.12（轨迹仅占中训练 token 的 1.6%） |
局限与改进
作者承认的局限：工具调用的 OOD 迁移始终低于 oracle-clean 参考；检索的强 ID 表现不保证 OOD 优势，排序甚至反转；要求预测会拖累优化，4/6 组合最优分低于标准均值；知识获取与保留的排名不一致，GLM-5.2 的 Novel 达 57.60 但 Retention 仅 47.15、低于未训练模型的 47.84，说明数据构造可能以牺牲旧知识为代价。我自己的观察：三个任务的基座都很小（1.5B、6 层 MiniLM、13B Talkie），结论对前沿规模模型的适用性存疑；专家参考线只跑一次、无方差估计，与其对比的显著性不明；24 小时墙钟预算对 API 延迟不同的模型不公正；数据引擎实验只有单一基座（Qwen2.5-Coder-14B）和仅 8M token 的轨迹语料，且上采样 10 倍存在重复暴露风险，迁移结论的稳健性有待更多设置验证。
独立分析的弱点
独立分析出四个弱点。一、预测负担：强制每轮记录预测分数、区间和理由挤占优化推理，6 组中 4 组最优分下降（如 Kimi-3 知识注入 48.90 对标准 60.60）；改进方向是仅在抽样轮次预测，或把预测与优化解耦为独立的元认知评估。二、腐蚀分布可能被先验覆盖：7 种腐蚀算子（参数缺失、值篡改、标签错误等）是常见的合成噪声模式，前沿模型可能凭预训练知识直接识别，导致 ID 逼近 oracle、任务区分度不足；改进是引入未见过的腐蚀类型或真实脏数据。三、预算度量不公平：按 24 小时墙钟计时，API 速度差异会转化为不等的有效计算量；改进是按 token 成本或统一成功评估次数计费。四、数据引擎证据单薄：仅一个基座、一个规模、一个下游域，8M token 轨迹上采样 10 倍也可能引入重复暴露伪影；应在多域多规模上重复验证，并报告与随机轨迹对照的消融。
未来方向
作者提出的方向：利用插拔式设计接入更多任务类型与训练范式（如 RL、多模态学习），以及深化对数据效应推理的研究，探索迭代反馈能否持续改进 LLM 对数据干预的预判。基于成果可延伸的方向包括：其一，把 AutoDataBench 变成自我改进闭环——模型生成数据、训练、评估、再生成，验证数据智能能否复利累积；其二，研究预测校准度与优化成绩的相关性，把预测探针发展为无需训练的低成本模型能力代理指标；其三，将 63 条优化轨迹蒸馏进更小的开源模型，降低复现与研究门槛；其四，结合影响函数等数据归因方法指导干预选择；其五，针对 benchmaxxing 探索 OOD 感知的正则化或早停策略，并研究多智能体协作的数据策展。
复现评估
开源情况较好：论文给出 HuggingFace 组织页与 GitHub 仓库（huggingface.co/AutoDataBench、github.com/AutoDataBench/AutoDataBench），所用基座与辅助模型全部开源可得（Qwen2-1.5B-Instruct、Qwen3-4B、Qwen3-Embedding-0.6B、6 层 MiniLM、Talkie 13B），数据源公开（XLAM 函数调用集、RLHN、BEIR 系列检索集、BFCL、维基百科）。算力方面，单次基准运行只需单卡 A800 加 24 小时，但被评对象需访问 GPT、Claude、Kimi 等七个前沿模型的 API，构成外部依赖且成本不低；数据引擎实验需 TP=8、CP=4、DP=16 共 128 GPU 完成 5B token 中训练加 3 轮 SFT，门槛显著更高。总体评估：基准评测复现难度中等，轨迹复现依赖商业 API，数据引擎部分需要可观的集群资源。
论文图表
2×3 面板对比 GPT-5.6-Sol 与 Kimi-3 在三个任务上的预测分数与实际观测分数轨迹（横线为标准运行的最优分均值）。检索任务预测最准，两者平均绝对误差分别为 0.64 和 1.55 分；预测在早期评估之后逐渐逼近实测，说明模型能利用反馈校准定量预期；但预测模式下 6 组组合中 4 组的最优分低于标准运行均值，知识注入差距最大。
这是回答论文关键问题——LLM 能否预测数据干预效果——的直接证据，同时揭示预测负担这一反直觉发现。