自我改进预训练：使用后训练模型来预训练更好的模型 Self-Improving Pretraining: using post-trained models to pretrain better models

方法分为两个主要流程。第一部分（自我改进预训练）的步骤如下：（1）数据分割：将预训练数据流分割为大小N等于128 token的块，当前块为suffix，之前的上下文为prefix；（2）后缀改写：使用强后训练模型（如GPT-OSS-120B或微调的Llama3.1-8B-Instruct）对suffix进行改写，生成更高质量或更安全的版本；（3）Rollout生成：从当前策略模型采样K等于16个不同的rollout；（4）Judge评估：使用强模型对原始suffix、rewrite和所有rollout进行成对比较或点对点评分，分别评估安全性、事实性和整体质量；（5）RL训练：使用在线DPO或RF-NLL进行训练，选择最高分作为chosen，最低分作为rejected。第二部分（思维中期训练）的步骤如下：（1）数据增强：使用教师模型在预训练数据的语义适当位置插入推理轨迹，创建交错格式的数据；（2）SFT中期训练：在一半增强数据上进行标准下一token预测，教模型学会交错推理的格式；（3）RL中期训练：在另一半数据上进行强化学习，模型生成推理和续写，由judge评估续写质量作为奖励。

本文的技术新颖性体现在多个层面。首先，在训练范式上，打破了预训练到后训练的严格分离，提出在预训练阶段就引入RL优化，这与传统的只在后训练阶段进行对齐的做法根本不同。其次，在方法设计上，同时使用rewriter和judge两个角色的组合是新颖的：rewriter提供完美的训练目标（在训练早期尤其重要），judge提供动态的比较信号（随训练进展调整）。第三，在训练动态上，观察到从依赖rewrite或原始suffix到奖励rollout的自然过渡（如图8所示），这种自适应机制是独特的。第四，在思维中期训练部分，提出的交错推理格式不同于传统的链式推理，更灵活地将推理插入到自然文本中。最后，在实验设计上，系统性地比较了多种训练变体（SFT与RL、不同候选组合、不同rollout数量），提供了深入的消融分析。

本文有几个值得关注的弱点和改进方向。首先，成对比较的效率问题：当前方法对K个候选进行所有两两比较需要O(K的平方)次judge调用，实验表明使用pivot方法（只与一个参考比较）会导致性能下降。一个改进方向是开发更高效的批量评估方法，比如基于锦标赛的选择策略或层次化的比较结构。其次，judge的单一标准问题：分别优化安全性、事实性和质量可能会产生冲突（如论文提到优化安全性不等于优化事实性）。改进方向是开发统一的judge prompt或训练一个多任务judge。第三，rewriter的保守性：对于安全的suffix，rewriter被训练为精确复制（exact match reward），这可能限制了数据增强的多样性。可以考虑允许轻微的质量提升性改写而非严格复制。第四，思维中期训练中教师模型生成推理位置的选择可能不是最优的，可以考虑让模型自主学习何时插入推理。

本文提出了多个有前景的未来研究方向。首先，作者提到可以将安全性、事实性和质量的优化合并到单一训练中，通过组合奖励或统一的judge prompt来实现。其次，将框架扩展到推理能力训练是一个自然的延伸，已经在第二部分中初步探索了通过交错推理来增强推理能力。第三，控制token的引入可以实现更细粒度的安全性控制，允许模型根据需要生成安全或不安全的内容，而不是简单地移除不安全的能力。第四，随着预训练数据逐渐耗尽（数据墙问题），使用强模型作为judge的方法可能比简单增加数据量更有效。第五，可以探索在更大规模模型上的效果，以及如何将这种自我改进循环迭代多次（用训练好的模型作为下一轮的judge或rewriter）。最后，将方法应用到多模态预训练也是一个有潜力的方向。

本文的复现性评估需要考虑几个方面。在开源情况方面，论文使用了Llama系列模型（开源）和GPT-OSS-120B（未开源的强模型），这意味着完全复现需要访问类似的强后训练模型。在数据方面，使用的SlimPajama和RedPajama数据集是公开的，DAPO-Math-14k也是公开数据集。在算力方面，主要实验使用64个GPU训练2000步（继续预训练）或21000步（从零预训练），这需要相当大的计算资源。在复现难度方面，方法本身相对清晰，但judge和rewriter的训练数据生成过程较为复杂（需要合成数据、过滤、GRPO训练等步骤）。好消息是，实验表明微调的8B模型作为judge虽然效果略差但仍然可行，这意味着不需要访问最大的闭源模型也可以复现核心方法。论文还提供了详细的超参数设置和训练细节，有助于复现。