Reasoning Core：用于符号预训练和后训练的可扩展程序化数据生成套件 Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training

方法步骤的完整描述如下：(1) 任务选择与生成器初始化：通过get_task(name)选择任务家族（28个任务），每个任务对应一个生成器，具有连续难度控制参数。(2) 样例生成：调用generate_example(level=k)生成难度级别为k的样例。对于基于语法的生成，使用gramforge框架，通过概率上下文无关语法或元语法（如生成随机CFG）生成样例字符串。生成过程中应用拓扑控制（bushiness因子）确保结构复杂度而不仅是长度，以及上下文敏感性（状态传播）跟踪变量作用域和循环不变量。(3) 外部求解器验证：生成的问题实例通过外部求解器验证。对于逻辑任务，使用Vampire/E定理证明器；对于规划任务，使用FastDownward；对于方程求解，使用Sympy。求解器通过容器化（udocker/Apptainer）封装，处理非Python依赖。(4) 难度控制：难度旋钮参数化地调整底层生成参数（如表达式树深度、变量数量、计划长度）。离散参数使用随机舍入实现连续控制。(5) 踪迹生成：当可能时，添加推理踪迹。例如，对于数学任务，将TPTP证明重新格式化；对于算术任务，通过递归自底向上评估表达式树并记录中间步骤自动生成推导过程。(6) 并行生成：使用多线程管道，单线程工作器通过文件锁协调，跨CPU核线性扩展。超时随难度级别自动缩放，检测并杀死停滞的外部进程以避免资源泄漏。平衡键机制限制每批中任务声明特征（通常是答案标签）的频率，防止退化分布。(7) 输出：返回包含prompt（自然语言或结构化格式）、答案（可能包含多个有效答案）、可选metadata（推理踪迹、难度级别等）的样例对象。同一个score_answer接口可用于评估SFT训练的答案或为RLVR提供奖励信号。

技术新颖性体现在多个方面。首先是任务设计的泛化性：与现有工作使用固定领域或模板不同，Reasoning Core的PDDL任务采样随机领域覆盖完整STRIPS问题类，逻辑任务使用完整一阶逻辑与等号，语法任务支持任意CFG而非特定语言。其次是gramforge框架的三个关键增强：拓扑控制通过bushiness因子强制横向扩展而非只有垂直增长，确保生成的样例保持结构复杂度；上下文敏感性支持状态传播，允许一致跟踪变量作用域和循环不变量，这对生成过程式代码至关重要；预加载语法套件包括TinyPy（Python代码合成）、简化英语语法、TPTP一阶逻辑语法、regex语法和CFG元语法。第三是高效数据生产机制：超时自动随难度级别缩放，平衡键机制限制特征频率，并行生成管道跨CPU核线性扩展。最后是推理踪迹的自动生成：对于有形式化证明的任务（如TPTP），重新格式化证明为自然语言推理链；对于算术任务，通过自底向上评估表达式树生成逐步推导。这些新颖性使得Reasoning Core能够在预训练规模生产具有可靠正确性保证的高泛化性符号数据。

独立分析的弱点包括：(1) 任务覆盖偏向结构化符号领域，缺乏对更开放-ended推理任务如创意写作、比喻理解或伦理推理的支持。改进方向：扩展到半结构化任务，如带模糊约束的规划或概率逻辑推理。(2) 预训练实验规模较小（<100M参数），无法揭示在大规模模型（如数十亿参数）上的效果。改进方向：在大规模模型上验证预训练益处，探索符号数据比例如何随模型规模变化。(3) 缺乏RLVR实验，虽然暴露了可验证奖励函数但没有展示强化学习的实际效果。改进方向：实施RLVR实验，探索多任务混合和课程平衡策略。(4) 难度控制虽然连续，但论文没有深入分析不同任务难度参数的最优分布。改进方向：研究自适应难度调整，根据模型性能动态调整难度曲线。(5) 虽然有推理踪迹，但踪迹的多样性和质量可能不均匀。改进方向：系统化踪迹生成策略，确保踪迹覆盖多种推理路径和表示风格。

作者提出的未来工作包括：跨域泛化调查：研究符号推理原语（如系统搜索、组合推理、符号操作、规划）如何转移到不那么正式的设置如法律推理、科学假设评估、排序代理工具调用或结构化论证。大规模RLVR实验：由于学习这些高泛化性分布的任务样本密集，严格的RLVR评估需要大规模rollout、仔细多任务混合和复杂课程平衡策略。基于成果可延伸的未来工作包括：(1) 多模态扩展：将符号推理与视觉或语言以外的模态结合，生成多模态推理任务。(2) 神经符号架构：设计能更好利用符号预训练数据的模型架构，如专门的符号推理模块或注意力机制。(3) 数据课程学习：研究符号数据和自然语言数据的最优混合比例和呈现顺序，实现高效的课程学习。(4) 元学习生成器：使用元学习自动优化生成器参数，产生更适配特定模型的任务分布。(5) 跨语言和文化适应：扩展到非英语符号推理任务，探索跨语言泛化性。

复现评估：Reasoning Core的代码和数据在MIT许可证下公开发布，GitHub仓库为github.com/sileod/reasoning_core，HuggingFace数据集为hf.co/collections/reasoning-core/datasets。预训练数据集包含5B token（10M示例），后训练数据集包含2B token（1M示例）。论文详细描述了生成管道和超参数设置。监督微调实验在三个数据集（FineWeb、SYNTH、Dolci）上进行，使用<100M参数的模型（Monad-56M和Ettin-68M），每个运行在单个Nvidia A30 GPU上耗时约一天。这对于大多数研究实验室来说是可以访问的算力要求。论文提供了完整的实验细节：优化器（Prodigy）、批大小（16）、上下文窗口（1024 token）、训练epoch（1）、温度（1）、top-p（1）等。零样本评估使用GPT-5家族，使用默认超参数，推理努力设置为中等，系统提示要求输出格式在和之间。数据生成使用48线程在Intel(R) Xeon(R) Gold 5320上，每个子集约3天。复现难度中等，主要挑战在于外部求解器的设置（需要容器化处理非Python依赖）。论文提供自定义wrapper和udocker/Apptainer使用说明。代码库简洁且易于检查，支持确定性重新评估以防止数据中毒。总体而言，Reasoning Core的复现性良好，开源情况完整，数据和算力要求适中，实验设置透明可重复。