DataChef：通过强化学习烹饪最优数据配方实现大语言模型适配 DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning
用强化学习自动端到端生成LLM适配的数据处理配方，性能媲美顶级闭源模型。
前置知识
数据配方（Data Recipe）
数据配方是指用于将原始数据源转换为可用于模型微调的训练数据集的完整数据处理流水线。它不仅包含最终生成的数据集 d = g(D)，还包含生成该数据集的可执行代码脚本 g，其中 D 是原始数据源集合。一个典型的数据配方可能包括数据筛选、去重、格式化、数据合成、数据混合等多个处理步骤，以 Python 脚本的形式实现。
这是本文的核心概念，整个论文围绕如何自动生成高质量的数据配方展开，理解它才能理解任务定义和评估方式。
强化学习与可验证奖励（RLVR）
RLVR 是一种强化学习范式，使用可验证的奖励信号来训练语言模型。与传统 RLHF 依赖人类偏好不同，RLVR 使用明确可验证的信号（如代码执行结果、数学答案正确性等）作为奖励。本文将这一范式扩展到数据配方生成领域，使用下游模型性能作为可验证的奖励信号。
RLVR 是本文训练框架的核心技术基础，论文需要将其适配到数据配方生成这一全新场景中，面临数据缺失和监督信号昂贵两个关键挑战。
GRPO（Group Relative Policy Optimization）
GRPO 是 DeepSeek-Math 提出的一种策略优化算法。对于每个任务，它采样一组 G 个候选策略输出，然后计算每个输出的组相对优势 A_i = (R_i - μ) / (σ + δ)，其中 R_i 是奖励，μ 和 σ 分别是组内奖励的均值和标准差。优化目标是最大化带裁剪的重要性采样比率和 KL 正则化项的加权和。
GRPO 是 DataChef 强化学习阶段采用的具体优化算法，理解其机制有助于理解训练过程中的策略更新方式和稳定性保障。
冷启动（Cold Start）
冷启动是指在强化学习训练之前，先用监督微调（SFT）对策略模型进行初始化。本文采用解耦生成方式构造 SFT 数据：由强推理模型（Qwen3-Next-80B-A3B-Thinking）生成自然语言计划，再由专用编码模型（Kimi-K2-Instruct）实现为可执行代码，通过拒绝采样保留高质量的执行结果。这种初始化为模型提供了基础的代码生成能力，显著稳定后续 RL 阶段。
消融实验证明，去掉冷启动会导致模型生成过于简单的数据管道，出现奖励劫持现象。冷启动对整体框架的成败至关重要。
代理奖励（Proxy Reward）
理想的奖励信号是使用生成的数据训练下游模型后的性能表现，但这需要完整模型训练，计算代价极高。代理奖励通过一个轻量级的 Data Verifier（基于大语言模型的评判器）来评估生成数据集的质量，将数据实例分为五类（Invalid、Format Error、Incorrect、Task Mismatch、Pass），计算平均分作为数据集质量的估计。实验表明该代理奖励与下游性能的 Pearson 相关系数达到 0.59，远超现有数据评估指标。
代理奖励使得在线 RL 训练变得可行，避免了在每个 RL 步骤中进行完整模型训练，是本文方法能够大规模应用的关键创新。
研究动机
在当前大语言模型发展中，训练数据的组成和质量已被公认为决定模型性能的关键因素。然而，构建有效的训练数据配方仍然严重依赖人工专家的经验和反复迭代。具体而言，现有的数据处理框架如 Data-Juicer 虽然提供了标准化的模块和可扩展的流水线构建能力，但其效率仍然受限于人工设计的处理流程和试错过程。即便是 Data-Juicer Sandbox 提出的 Probe-Analyze-Refine 工作流，也需要通过下游模型训练来获取反馈，每次训练评估都需要大量计算资源。随着数据和模型规模的持续增长，以及处理操作的日益复杂，穷举数据配方的组合空间变得不可行。因此，一个核心问题浮现：AI 系统能否以低成本的方式自动生成用于训练 LLM 的数据配方？
本文的目标是本文提出了一个全新的任务定义：面向 LLM 适配的端到端数据配方生成。给定一个目标基准测试和一组可用的数据源，目标是生成一个完整的数据配方，包括可执行的数据处理流水线和由此产生的训练数据集，用于将基础语言模型适配到目标任务。这个任务要求模型具备复杂的推理能力来分析异构数据源、应用特定领域的处理操作并生成可执行的 Python 代码。论文的具体目标是训练一个名为 DataChef-32B 的模型，使其能够自动生成高质量的数据配方，并在多个基准任务上达到甚至超越人工精心设计的数据配方的性能水平。
与已有工作不同的是，本文的独特切入角度在于将数据配方生成建模为一个端到端的强化学习任务，而非传统的基于规则或基于搜索的方法。与现有工作的关键区别体现在三个方面：第一，不同于 Data-Juicer Sandbox 等方法需要下游训练反馈来优化流水线，本文设计了一个高效的 Data Verifier 作为代理奖励，避免了在 RL 循环中进行完整的模型训练；第二，不同于 AIDE、SELA 等基于提示的方法受限于 LLM 的固有知识，本文通过在线 RL 训练使模型能够从经验中学习和改进；第三，不同于 Kaggle 竞赛等静态评估场景，本文面向开放式的任务设定，接受任意任务和可用数据集作为输入。此外，本文构建了涵盖 19 个领域、31 个基准测试和 257 个数据源的大规模多样化任务池，为这一新任务的研究提供了标准化的训练和评估平台。
核心方法
DataChef 的整体思路可以分两个层面理解。直觉上，这个系统的目标是让一个 AI 模型学会「做饭」——给它食材（原始数据源）和菜谱要求（目标任务基准），它要能自动设计出完整的烹饪流程（数据处理流水线），并产出高质量的成品（训练数据集）。技术路线上，系统采用两阶段训练：第一阶段是冷启动的监督微调（SFT），通过解耦的方式（强推理模型生成计划 + 专用编码模型实现代码）构造高质量的示范数据，为策略模型奠定基础的代码生成能力；第二阶段是基于 GRPO 的在线强化学习，使用 Data Verifier 作为代理奖励来指导策略优化。推理时，给定一个任务，策略模型生成数据配方候选集，通过 Data Verifier 评分选择最优配方用于下游模型训练。
本文的核心创新点在于设计了一个高效的 Data Verifier 作为代理奖励函数，使得在 RL 训练循环中无需进行完整的下游模型训练。具体而言，Data Verifier 是一个基于大语言模型的评判器（使用 gpt-oss-120b，仅约 5B 活跃参数），它对生成数据集中的每个样本进行五级评分：Invalid（0 分，缺失关键信息或严重重复）、Format Error（0 分，违反输出格式约束）、Incorrect（0 分，事实错误或答案错误）、Task Mismatch（0.4 分，与目标任务语义无关）和 Pass（1.0 分，高质量样本）。通过随机采样数据集的子集并计算平均分来估计整体数据质量。与现有方法的本质区别在于：IFD、DEITA 等数据选择指标在不同领域间存在严重的相关性变异，甚至出现负相关（如 IFD 在数学任务上为 -0.48），而 Data Verifier 在所有六个评估域中均保持正相关，平均 Pearson 相关系数达到 0.59，4/6 个任务满足 p < 0.1 的统计显著性标准。
方法步骤详情
DataChef 的方法包含以下关键步骤：（1）任务池构建：从 19 个异构领域收集 31 个代表性基准测试，针对每个基准从 HuggingFace 检索相关候选数据集（通过关键词合成、搜索、排序、验证四步流程），构建包含 257 个数据源的资源池。将 25 个种子任务用于训练，6 个保留任务用于评估。通过概率采样策略将 25 个种子任务扩展为 5000 个唯一的训练实例。（2）冷启动 SFT：使用解耦生成过程构造示范数据——强推理模型生成自然语言计划，专用编码模型将其转化为可执行代码，通过拒绝采样保留执行成功且数据质量高的样本。在 Qwen3-32B 上训练 2 个 epoch，学习率 2e-5，批大小 32。（3）RL 训练：对 SFT 检查点使用 GRPO 进一步优化 1 个 epoch，学习率 5e-7，rollout 批大小 128，温度 1.0，每个任务采样 8 个候选配方。每个配方执行后随机采样子集，由 Data Verifier 评估质量，结合执行失败的惩罚系数计算最终奖励。（4）推理：给定任务，生成 N=32 个独立的数据配方，报告平均 Data Verifier 分数（DVSavg@32）和单个配方的下游基准分数（DBS）。
技术新颖性
DataChef 在技术新颖性方面有多个突出贡献。首先，它首次将端到端数据配方生成形式化为一个明确的任务定义，要求模型同时处理数据选择、流水线编排和代码实现，这与以往专注于单一数据处理步骤自动化的工作有本质区别。其次，Data Verifier 的设计借鉴了 rubrics-based rewards 的思想，但将其创造性地适配到数据质量评估场景，使用五级分类评分而非简单的二元奖励，提供了细粒度的质量反馈信号。实验表明，细粒度的 Data Verifier 得分（63.2/46.8）显著优于稀疏的成功/失败奖励（62.7/44.1）。第三，解耦的冷启动策略——将推理和编码能力分离训练——是一个关键的设计选择，消融实验证明这种解耦方式优于端到端的 SFT 初始化。最后，任务增强策略通过概率采样和子集选择将 25 个种子任务扩展为 5000 个训练实例，增强了策略学习的鲁棒性。
实验结果
DataChef-32B 在六个保留任务上的表现令人瞩目。在域内任务上，它在 AIME'25 上达到 DVSavg@32 = 84.7 和 DBS = 30.0，在 PHYSICS 上达到 DVSavg@32 = 61.4 和 DBS = 8.7，在 LiveCodeBench v6 上达到 DVSavg@32 = 45.8 和 DBS = 9.1，域内平均归一化分数达到 89.3（以 SINGLE-SOURCEbest = 100 为基准）。在域外任务上，它在 ClimaQA 上达到 DVSavg@32 = 57.3 和 DBS = 42.1，在 OpenFinData 上达到 DVSavg@32 = 67.0 和 DBS = 63.9，在 CHID 上达到 DVSavg@32 = 7.9 和 DBS = 20.5，域外平均归一化分数达到 75.4。这些结果与顶级闭源模型 Gemini-3-Pro（域内 91.2，域外 76.6）相当，且显著优于其他开源基线。特别值得注意的是，DataChef-32B 的 Oracle 上界（从 32 个候选中人工选择最优配方）在 AIME'25 上达到了 66.7 分，在 ClimaQA 上达到 46.3 分，超越了使用行业级专家策划数据配方训练的官方 Qwen3-1.7B 检查点（AIME'25 33.3，ClimaQA 44.2）。此外，Data Verifier 的相关性分析显示其平均 Pearson 相关系数为 0.59，远高于 IFD（0.42）、DEITA（0.41）、RewardModel（0.37）和 VendiScore（0.29），且在所有六个域中均保持正相关。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PHYSICS（物理推理） | DBS（下游基准分数） | 8.7（DataChef-32B）/ 10.4（Oracle） | SINGLE-SOURCEbest 8.5，Gemini-3-Pro 9.2 | Oracle 超越所有基线，DataChef-32B 与 Gemini-3-Pro 相当 |
| AIME'25（数学竞赛） | DBS（下游基准分数） | 30.0（DataChef-32B）/ 66.7（Oracle） | SINGLE-SOURCEbest 39.6，Gemini-3-Pro 30.0，Qwen3-1.7B 33.3 | Oracle 66.7 超越官方 Qwen3-1.7B 检查点（33.3）达 +100.3% |
| LiveCodeBench v6（代码生成） | DBS（下游基准分数） | 9.1（DataChef-32B）/ 10.3（Oracle） | SINGLE-SOURCEbest 10.3，Gemini-3-Pro 9.1 | 与 Gemini-3-Pro 持平，Oracle 与 SINGLE-SOURCEbest 相当 |
| ClimaQA（气候问答） | DBS（下游基准分数） | 42.1（DataChef-32B）/ 46.3（Oracle） | SINGLE-SOURCEbest 43.6，Gemini-3-Pro 44.3，Qwen3-1.7B 44.2 | Oracle 46.3 超越 Qwen3-1.7B（44.2）和所有自动方法 |
| OpenFinData（金融数据） | DBS（下游基准分数） | 63.9（DataChef-32B）/ 67.1（Oracle） | SINGLE-SOURCEbest 63.7，Gemini-3-Pro 61.8，Qwen3-1.7B 73.4 | 超越 Gemini-3-Pro（61.8）和 SINGLE-SOURCEbest（63.7） |
| CHID（中文成语填空） | DBS（下游基准分数） | 20.5（DataChef-32B）/ 45.7（Oracle） | SINGLE-SOURCEbest 70.3，Gemini-3-Pro 21.9，Qwen3-1.7B 59.8 | 与 Gemini-3-Pro 相当，但 SINGLE-SOURCEbest 在此任务上优势明显 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，作者明确承认，对 LLM-as-a-Judge 代理奖励的依赖虽然提供了通用性，但在特定利基任务上可能牺牲精度。Data Verifier 使用 gpt-oss-120b 作为评判器，其评判质量受限于该模型自身的能力，对于高度专业化的领域（如医疗、法律）可能无法提供足够准确的质量评估。其次，尽管 DataChef-32B 在大多数任务上与 Gemini-3-Pro 相当，但在 CHID（中文成语填空）任务上，所有自动方法的表现都远低于 SINGLE-SOURCEbest（70.3 vs DataChef-32B 的 20.5），这表明对于某些特定任务，人工精心选择单个高质量数据源可能仍然优于复杂的自动化流水线。第三，评估中每个任务仅生成 32 个候选配方，Oracle 选择需要人工审查 top-8 候选，这限制了评估的规模和自动化程度。第四，论文的下游评估统一使用 Qwen3-1.7B-Base 作为基础模型，未验证方法在更大规模模型上的泛化性。最后，Data Verifier 的评分粒度仍然较粗（仅五个类别），对于同为 Pass 级别的样本无法进一步区分质量高低。
独立分析的弱点
DataChef 的弱点可以从多个角度分析。第一，代理奖励的精度问题：虽然 Data Verifier 在整体相关性上优于现有指标，但其在特定域的表现参差不齐（如在 OpenFinData 上仅 0.34，在 CHID 上为 0.83），这意味着在某些任务上奖励信号的指导作用较弱，可能导致策略优化方向不够准确。改进方向是开发针对特定领域的专用评估器，或将多个评估器的信号进行融合。第二，计算成本问题：尽管代理奖励避免了完整训练，但 RL 阶段每个步骤仍需约 20.2 分钟（8 张 H200 GPU 用于策略模型，2 张用于 Data Verifier），总共训练 1 个 epoch 仍需大量计算资源。可以考虑更高效的采样策略或课程学习来降低训练成本。第三，数据配方的可解释性：虽然论文展示了生成的代码示例，但缺乏对配方为什么有效的深入分析。不同任务间的配方模式迁移能力也未被探索。第四，端到端训练与解耦方案的权衡：Table 3 显示将推理和编码解耦（Planner-32B + 外部编码器）在域外任务上表现不如端到端训练（44.1 vs 37.3），但在域内表现更好（64.0 vs 56.7），说明两种范式各有优劣，未来可以探索混合策略。
未来方向
基于本文的成果，可以延伸出多个有前景的研究方向。作者提到的改进方向是开发专用评估器来提供更高分辨率的奖励信号，以替代通用的 LLM-as-a-Judge 方案。此外，可以将框架扩展到预训练数据配方的生成，而不仅限于微调场景；探索多任务联合优化，即同时为多个下游任务生成共享的数据配方；研究配方的可迁移性，即在某个任务上学到的配方模式能否迁移到新任务；将 DataChef 与自动化超参数搜索结合，实现从数据配方到训练配置的全流程自动化；引入人类反馈来进一步精炼 Data Verifier 的评判标准；以及探索将 DataChef 应用于多模态模型（如视觉-语言模型）的训练数据配方生成。
复现评估
本文在复现方面具有较好的条件。代码已在 GitHub 开源（https://github.com/yichengchen24/DataChef），提供了完整的训练和评估代码。数据方面，论文构建了涵盖 257 个数据源的任务池，大多数数据来自 HuggingFace 公开数据集，具有良好的可获取性。算力要求方面，冷启动 SFT 在 8 张 H200 GPU 上训练 2 个 epoch，每步约 2.4 分钟；RL 阶段使用 8 张 H200 GPU 训练策略模型和 2 张 H200 GPU 部署 Data Verifier，每步约 20.2 分钟。评估中所有下游模型使用 Qwen3-1.7B-Base 微调 3 个 epoch，学习率 2e-5，批大小 64。Data Verifier 使用 gpt-oss-120b（约 5B 活跃参数），推理效率较高。总体而言，复现需要中等规模的 GPU 集群（至少 10 张 H200 级别的 GPU），门槛适中。论文提供了详细的提示模板（Figures 7-9）和评估设置，有助于其他研究者复现实验结果。
论文图表
展示了用于 Data Verifier 的完整评分提示，包括四级评估协议：有效性检查（Invalid）、格式检查（Format Error）、正确性检查（Incorrect）、任务对齐检查（Task Mismatch/Pass），以及五级评分标准。
这张图提供了 Data Verifier 的完整实现细节，是复现和理解代理奖励机制的关键。
展示了生成自然语言数据处理计划的提示模板，包括任务描述、基准信息、可用数据集列表，以及对高质量 SFT 数据集的要求（高质量、多样性、相关性）和约束条件。
这是冷启动 SFT 阶段生成自然语言计划的完整提示，对理解解耦生成过程很重要。
展示了将自然语言计划转化为可执行 Python 代码的提示模板，包括可用数据集信息、数据处理计划、工具信息，以及输出格式要求（ShareGPT 格式）。
这是冷启动 SFT 阶段代码实现的完整提示，展示了从计划到代码的转化过程。