因果语言模型的短暂改道：改进编码器的领域继续预训练 A Causal Language Modeling Detour Improves Encoder Continued Pretraining

完整方法分四步。步骤 1：初始化与数据准备。Base 模型从 ModernBERT（英语）或 ModernCamemBERT（法语）开始，Large 同理；法语用 10B token（7B 法语生物医学文献 + 2B 合成医疗 QA + 400M E3C 临床病例 + 600M EMA 药品说明书），英语用 10B 或 50B token（Biomed-Enriched 60–80% + 医疗指令 20% + MIMIC-III 20%），数据按 FineWeb-Edu 风格用 Qwen3-235B 打分并上采样高质量段落。步骤 2：Phase 1 CLM 训练。把双向 attention mask 替换为 causal mask，损失换成 next-token prediction（100% 位置都有监督），训练 10B（Base 法语/英语）或 25B（Large 法语）或 50B（Large 英语）token，peak lr $2\times10^{-4}$，AdamW $\beta_1=0.9, \beta_2=0.98$，weight decay $10^{-5}$，global batch 384 条序列（约 3.1M token），bf16 混合精度，4×H100。步骤 3：Phase 2 MLM decay。恢复 bidirectional attention，mask 率 15%，训练 token 量是 Phase 1 的 10%，学习率按 $1-\sqrt{t/T}$ 调度从峰值降到峰值的 10%，无 warmup，优化器状态保留。步骤 4：评估与分析。8 个法语任务（FrACCO-30/100、CANTEMIST、DISTEMIST、MedDialog、DiaMED、EMEA NER、Medline NER）和 11 个英语任务（ChemProt、Phenotype、COS、Social History、DEID、AnatEM、BC5CDR、JNLPBA、NCBI、GAD、HoC）上做 9（法语）/5（英语）seed 的 macro-F1 评估；用 500 篇 held-out 文本按层计算 linear CKA 发散度 $1-\text{CKA}$，与 seed-noise baseline 对比；做 3 个 freeze 干预实验和 layer transplantation 验证因果机制。

技术新颖性集中在四点。其一，'临时 CLM detour + 短 MLM decay'作为通用继续预训练范式，区别于从零预训练的 biphasic 方案和交替 epoch 方案，证明了目标切换不一定要贯穿整个训练。其二，在 10B–50B 规模、8192 token 长上下文、跨语种（英/法）的真实生物医学场景中系统验证有效性，并刷新多个 SOTA。第三，CKA 与 freeze 干预的组合实验设计：先通过 CKA 定位'CLM 在低层影响最大'，再通过 freeze 反向验证'冻结低层则收益消失、冻结中层则收益保留'，把观察性结论升级为因果证据。其四，layer transplantation 揭示了'训练中必要 ≠ 训练后可定位'，低层 CLM 印记必须和后续层的协同训练一起存在才能发挥作用，这与 transfer learning 中'lower layers carry reusable features'的直觉形成对比。

独立看有三个明显弱点。第一，论文把成功归因于'低层被重塑'，但没有进一步打开黑箱：CKA 给出的是表征相似度，不是功能解释。低层 0-7 具体编码了什么新特征、为什么这些特征对生物医学有用，作者没有做 probing 或 attention head 分析，只停留在'低层变得不一样'。改进方向是对低层做 token-level probing，看 CLM 后低层是否学到了新的词级领域特征或子词结构。第二，layer transplantation 给出'训练中必要 ≠ 训练后可定位'的有趣结果，但只测了 3 个层组、1 个任务，没在更多任务/更细粒度（如单层、attention vs MLP）上做系统化扫参，结论比较粗。改进方向是按单层和子模块（attention-only、MLP-only）扫描移植效果，并加上 task-specific 微调后的移植对比。第三，最佳 decay 比例 10% 的扫参只测了 3 个法语任务，没有在英语或更长训练上验证，且 1.0pp 的差异统计显著性未给出。改进方向是跨语种、跨规模、跨任务族复现 10% sweet spot，并给出 confidence interval。第四，CLM 阶段的 mask 设计、超参数（mask rate、sequence length、batch size）是不是最优，本文没有 ablation，因为沿用了 ModernBERT 的原设置但加了 causal mask，理论上 causal mask 下某些超参应该有不同最优值。

作者明确提出的方向有三条：(1) 验证 CLM detour 在低资源生物医学语言（意大利、西班牙、葡萄牙语）上的扩展性，预测这些语言因 ModernBERT 同源预训练语料覆盖不足会有更大收益；(2) 探索 CLM detour 在非生物医学领域（法律、金融、代码）的有效性，验证'领域差距越大收益越大'这一假设的普适性；(3) 在 encoder/decoder 同家族架构上做受控对比，确认 2.6× 架构不对称性的真实性。基于成果可延伸的方向至少有四：(a) 把 CLM detour 推广到目标检测/视觉编码器，测试这一范式是否跨模态通用；(b) 研究 CLM detour 与 LoRA、adapter 等参数高效方法的兼容性，看低层重塑能否通过局部参数实现；(c) 探索更长或更复杂的训练目标序列（如 MLM -> CLM -> span corruption -> MLM）是否叠加收益；(d) 用 mechanistic interpretability 工具分析低层具体学到了什么，建立'训练目标 -> 表征变化 -> 下游提升'的完整因果链。

复现评估整体偏积极但成本不低。完全开源的部分：作者明确承诺发布 ModernCamemBERT-bio 和 ModernBERT-bio（Base + Large，4 个模型权重），模型 checkpoint 即可直接用于下游任务；论文 3.2 节给出了详细超参数（peak lr $2\times10^{-4}$，AdamW $\beta_1=0.9, \beta_2=0.98$，weight decay $10^{-5}$，batch 384 sequences ≈ 3.1M tokens，bf16，4×H100，linear warmup 100M tokens）；3.3 节给出了 freeze 干预的实现细节（forward 之后 zeroing gradients）。半开源的部分：训练数据中 Biomed-Enriched 已经在前作 Touchent et al. 2025 中发布，但 7B token 的法语生物医学主语料和 2B 合成医疗 QA 是否完全公开未在本文中明确说明；E3C 临床病例和 EMA 说明书分别来自 Magnini et al. 2020 和欧盟公开数据，理论上可获取；CKA 计算脚本未单独发布。算力门槛：法语 Base 10B+1B token + 9 seeds × 8 tasks 微调，法语 Large 25B+2.5B token + 9 seeds × 8 tasks 微调，英语 Large 50B+5B token + 5 seeds × 11 tasks 微调，加上 3 个 freeze 干预、layer transplantation 和 CKA 实验，总算力估计需要数十到上百 H100·天，门槛偏高。复现难度：方法本身简单（只改 mask + 损失），但要拿到论文中具体的 F1 数字需要复现整个数据筛选（Qwen3-235B 打分、上采样）和训练流程。综合评价：模型权重可立即使用，但从头复现训练结果需要较大算力和对数据流水线的精确复刻。