用数据编程：面向自改进大语言模型的测试驱动数据工程 Programming with Data: Test-Driven Data Engineering for Self-Improving LLMs from Raw Corpora

第一步是 Builder 阶段的知识抽取与训练数据合成。原文从 117,000 篇教材级文档出发, 经文档级四维分类 (学科、学术层级、推理类型、保留判定) 过滤到 48,000 高质量块, 再用六维质量矩阵 (推理深度、前置密度、场景适用性、反直觉指数、知识综合、断点平滑度, 各 1-5 分) 做块级筛选得到约 15 亿 token 的精炼语料。接下来是 top-down 三层抽取: 先用 LLM 从每个块抽取一条 L3 推理链 (包含步骤、前提、负向约束), 再用滑动窗口把相邻步骤分解成 L2 三元组 (其中指代必须被解析回前序步骤), 最后从 L2 的主客体中 harvest L1 概念并做跨块归一化与去重。重要的是抽取顺序是 top-down 而非 bottom-up, 保证每个 L1/L2 都能被某条 L3 链 reachability 覆盖, 即孤儿节点率为 0。Builder 同时基于 L1/L2 用 6:3:1 的开放题:多选:判断题比例合成 160K SFT 样本, 每个样本带 L2/L1 元数据实现完全可追溯。第二步是 Tester 阶段构建 ProDa-16 评测基准: 每条 L3 链都被改写成多选题 (主要是多选题), 并使用三种对抗性干扰算子生成干扰项: SUBSTADJ 用语义相邻 L1 概念替换链上节点, INVREL 反转关系类型 (例如'促进'变'抑制'), TRUNC 在中间步截断推理。第三步是 Debugger 阶段的失败归因与定向修补: 模型在 ProDa-16 上的每个错误被 LLM judge 分类为 concept_gap 或 capability_deficit, 对前者调用概念强化函数 $f_{\text{refine}}(\kappa_k, \mathcal{N}(\kappa_k), K)$ 生成与相邻概念对比的强化样本, 对后者调用思维链脚手架函数 $f_{\text{CoT}}(g_k, K)$ 生成显式中间步骤的样本, 两者各生成 20 条, 再按错误占比动态分配 160K 总预算, 剩余配额用 L2 ID 不相交的 Round 1 正确样本做经验回放以避免遗忘。

和现有数据合成范式相比 (表 3 总结), Alpaca 和 EasyDataset 完全没有知识规约, DataFlow 有规约但无追溯, ProDa V1 加上了追溯但仍是单向编译, 只有 ProDa V2 形成完整闭环。技术上, 本文的 top-down 抽取 (而非传统 bottom-up NER) 是保证零孤儿节点的关键工程决策, 而三层结构 + 实例级正交 + L2-disjoint 回放是保证补丁精准且不破坏既有能力的组合设计。理念上, 把测试驱动开发作为类比框架而非比喻, 真正落地为可执行的 Builder-Tester-Debugger 三组件流水线, 是把软件工程 discipline 移植到 LLM 训练的少数系统化尝试之一。

(1) 对抽取器质量的强依赖: 三层知识结构是整个系统的脊柱, 而 L3 抽取目前是单条链输出, prompt 提示每个块只能选最重要的推理链, 这会丢失很多次级推理模式, 对跨段落推理尤其不利。改进方向: 允许多链抽取并按重要度排序, 或用结构化多跳 QA 数据集自动验证 L3 链质量。(2) 对闭卷 + LLM judge 的过度依赖: 诊断分类的准确性上限受限于 judge 模型能力, 当 judge 自己也无法识别错误模式时, 整个闭环失效。改进方向: 引入基于 mechanistic interpretability 的细粒度诊断 (例如注意力归因、电路级分析) 作为补充信号, 或者训练一个专门的诊断模型而非用通用 LLM。(3) 修补函数的条件设计粗糙: concept_gap 用对比样本、capability_deficit 用思维链脚手架, 但实际情况经常是混合缺陷 (既有概念模糊又有多步断裂), 当前补丁只针对单一类别。改进方向: 允许补丁生成器在同一节点上同时叠加多种修复策略, 或者根据诊断置信度做加权混合。(4) 数据总量天花板: 160K 的训练总量对 32B 模型偏小, Llama-3.1-8B 之所以能从 30 涨到 63, 一部分是因为 baseline 太弱而非方法多强。改进方向: 引入 RAG 让模型在评测时按需检索知识图谱, 或在 V3/V4 阶段做多轮调试迭代而不是只做一轮。(5) ProDa-16 的多选主导格式限制了开放式推理考察, 思维链被截断到 15 token, 模型基本不能展示过程, 这削弱了'评测 = unit test'的类比力度。改进方向: 引入开放式长答题 + LLM judge 的混合评测, 把推理过程纳入考核。

作者在 Discussion 中明确点名了几个方向: 与 RAG 结合让合成数据始终 grounding 在权威源, 与 mechanistic interpretability 结合做更细粒度诊断, 让每个模块 (Builder/Tester/Debugger) 都可以被独立替换和升级。基于本文成果, 我能想到的延伸包括: (a) 把 ProDa 范式用到 RLHF/RLVR 中, 让偏好数据也来自同一份知识结构, 从而把对齐与领域适配合二为一; (b) 多模态知识结构, 把 L1/L2/L3 扩展到图像、表格、公式, 让领域微调跨模态; (c) 跨语种知识共享, 用英语教材抽取 L3 链后再合成中文训练数据, 缓解非英语领域的高质量语料稀缺问题; (d) 把诊断循环做成在线学习, 模型部署后持续收集失败案例并自动触发新一轮补丁, 实现真正的 self-evolving。

本文开源程度相当高: ProDaLib (227K L1 概念 + 187K L2 三元组 + 44K L3 推理链 + 16K 评测题 + 160K SFT 样本) 已发布在 HuggingFace (OpenRaiser/ProDalib), ProDa Studio IDE 的源码已发布在 GitHub (OpenRaiser/ProDa), 所有 prompt 模板 (知识抽取、训练合成、诊断、补丁生成) 都在论文附录 B/C/D 中完整给出 (图 8、12-26)。训练配置公开: 使用 LLaMA-Factory 框架 + LoRA, bf16 混合精度, 6 个超参表 (Table 14) 给出不同规模下的 rank/alpha/lr。评测使用 OpenCompass + 贪婪解码 + 15 token 上限, 严格 EM 评分。算力方面, 单个模型一轮微调的时间没有明确披露, 但 LoRA + bf16 + 1024 batch + 1 epoch + 160K 样本在 8 张 A100/H100 上一般可以在数小时到一天内完成, 对大多数学术实验室都可负担。复现难度中等偏低: 主要门槛在 L3 链抽取对 GPT-4 级 LLM 的依赖 (普通实验室需要调用 API), 以及 Judge 模型自身的能力 (若用 Qwen-2.5-7B 做 judge, 自身 V1 才 65%, 诊断质量可能受限)。