KletterMix：攀登向高质量德语预训练数据 KletterMix: Climbing Toward High-Quality German Pretraining Data
翻译英文预训练混合语料为德语，构建725B token语料库并验证。
前置知识
预训练数据混合（pretraining mixture）
语言模型在最高训练量阶段使用的原始文本语料，决定了模型能学到的知识、领域、风格。现代数据集强调来源多样性、去重、过滤和混合设计，而不仅是规模。
本文核心就是把精心设计的英文预训练混合语料ClimbMix的整体结构转移到德语。
COMETKiwi 无参考质量估计
一种无需人工参考译文的质量估计模型，可直接对源文本-译文配对打分。本文用它对采样子集打分，作为语料级翻译质量诊断信号，并以此训练廉价代理模型。
理解本文如何在725B规模上做翻译质量控制的关键。
退火（annealing）
在预训练后用高质量小数据集做后期训练的阶段，常用于锐化模型、提升下游表现。本文用退火实验隔离出哪个语料更适合做最终训练方向。
退火实验是本文最有说服力的对照，证明KletterMix不只是更好的初始化语料。
Chinchilla 缩放定律
DeepMind提出的经验法则：为达到计算最优，每个参数应配约20个token训练数据。本文据此为0.6B模型选用12B-token训练预算。
解释了为何训练实验固定在0.6B模型和12B token。
研究动机
高质量预训练数据是现代语言模型质量的核心决定因素之一，但德语资源远不如英语成熟：它们往往规模更小、策划不够精细、文档薄弱，且很少通过受控训练实验来验证有效性。具体而言，现有德语语料常来自噪声较大的网络爬取（如mC4、OSCAR的德语子集）、嵌入在多语料库中、或只附带有限文档说明。作者指出，即便像GermanWeb、LLäMmlein、German Commons这样的近期努力在原生德语网络策划上取得进展，原生爬取本身也无法自动复现最强英文预训练数据集那种来源多样性、混合设计和文档标准；而激进的过滤又可能在仍残留大量噪声的同时移除有用的长尾内容。
本文的目标是本文目标是构建KletterMix：一个725B token规模的高质量德语预训练与退火语料库，作为可复用数据制品服务NLP社区。设计目标是把一个最先进英文预训练混合语料ClimbMix翻译成德语，同时保留文档边界、文档标识符、元数据、来源组成和主题多样性。这使其既具备现代预训练数据集的规模与多样性，又能与英文源语料做直接对照。作者还希望通过COMETKiwi和代理模型的语料级质量分析、以及受控预训练和退火消融实验，系统性地文档化和验证这个翻译语料库，证明精心策划的翻译数据能否实质性加强德语预训练数据生态。
与已有工作不同的是，本文的独特切入角度在于：把机器翻译当成一个数据集构建问题，而非简单的数据增强步骤。与收集更多原生德语网络文本的常规路线不同，作者选择把强英文预训练混合语料在来源平衡、混合设计上的工程决策整体转移到德语。关键区别是保留文档级结构和对齐元数据——每条翻译记录都含原始文档标识符、未改动的元数据字段和上下文桶信息，使英德之间能做语料级对照分析（长度比、来源组成、簇级质量、元数据保持）。同时作者明确直面翻译数据的风险（translationese、语义漂移、源语言偏差、长度病态），用无参考质量估计COMETKiwi加上廉价的仅目标侧代理模型做可扩展质量诊断与过滤。
核心方法
整体思路是：与其从零爬取德语网络，不如把精心设计的英文预训练混合语料ClimbMix通过高质量机器翻译搬运成德语，并尽力保留其混合结构。技术路线是一条五阶段流水线：源记录归一化、长度感知路由、保文档翻译、可扩展分片执行、后置质量估计。直觉上，长文档需要更大上下文窗口而短文档会浪费预算，所以先按源长度把文档分到不同上下文桶；翻译时若单文档放得下就整篇翻译，放不下就做带上一块译文上下文的句子级切块翻译；最后用一个仅看德语译文的廉价代理模型给全语料打分，标记低质量翻译。
核心创新点是仅目标侧代理质量标注的部署决策。全语料用COMETKiwi逐条打分太贵，所以作者先用COMETKiwi对一个分层采样的试点子集打分作为教师标签，再训练一个梯度提升回归代理，仅从德语译文本身（GlotLID语言识别信号加文本形态特征：长度、词形多样性、重复度、平均token长度、字符构成比例）预测COMETKiwi分数。因为代理不需要英文源文档，它能直接给已发布的德语译片打分，省去昂贵的全语料源文本回灌。这与多数把翻译当数据增强、靠源对齐过滤的做法本质不同：它把质量估计做成可扩展的语料级信号，且明确承认代理无法直接度量语义充分性，仅作排序与过滤信号；代理在18,275篇不相交文档上与COMETKiwi高度一致。
方法步骤详情
步骤：(1)源记录归一化——源语料存为分片JSONL，每条记录含文档标识符、英文源文本、来源簇/位置/长度等元数据，全程保留。(2)长度感知路由——按源长度把文档分入4k/16k/20k/32k/64k+等上下文桶，每桶有专属源/目标预算，减少填充与调度浪费。(3)保文档翻译——文档若在桶源预算内则整篇直译；否则先切句再贪心打包成定长源块，单句超长则在token级回退切分；切块按序翻译，块$t$提示含上一块$t-1$德语译文截断窗口作上下文，最后按序拼接。(4)可扩展分片执行——多worker并行处理不相交子集，写中间尝试文件、整片全部完成才定稿，中断后从最后一条完成记录续跑，端点不可用时重排队。(5)后置质量估计——用COMETKiwi给分层采样试点子集打分，训练仅目标侧代理对全语料打分，按$\hat{q}_{\text{proxy}}\geq0.50/0.55/0.60$构造三个12B-token过滤集。目标生成预算$\ell_{\max}^{\text{tgt}}=\min(L_{\max},\lceil\alpha\ell_{\text{src}}+\beta\rceil)$。
技术新颖性
技术新颖性体现在三点。第一，把翻译视为数据集构建问题而非数据增强：保留文档边界、标识符、来源簇、上下文桶和元数据，使德语语料可沿与英文源相同的结构轴（长度分布、长度桶一致性、簇级代理分数）被文档化，这是已有机器翻译预训练工作（如TransWebEdu、Translation-based pretraining）较少系统做的。第二，仅目标侧代理的工程决策让质量标注成本与源文本回灌解耦，可对已发布译片直接打分。第三，动态目标侧预算公式$\ell_{\max}^{\text{tgt}}=\min(L_{\max},\lceil\alpha\ell_{\text{src}}+\beta\rceil)$兼顾短块不过度分配、长块降低截断风险。此外，作者把代理分数既用作发布诊断又用作固定预算训练集的过滤消融变量，并通过受控预训练与退火实验而非仅语料级指标来验证效用。
实验结果
核心发现分三层。(1)训练动力学：在12B-token匹配预算下用Qwen3-0.6B训练，KletterMix全训练过程的训练损失和留出验证损失都持续低于FineWeb2-DE和GermanWeb，说明信号还能迁移到留出德语文本。(2)下游基准（Table 1四任务Core Avg）：所有KletterMix系列行都高于基线——未过滤KletterMix为38.7略高于FineWeb2-DE的38.3，验证挑选的Filt0.60过滤集达最佳40.2；GermanWeb仅36.8。任务级模式稳定：KletterMix在HellaSwag(34.4)和ARC-C(26.5)始终最强，GermanWeb在MMLU(30.0)最强、FineWeb2-DE在PIQA(70.0)最强。(3)退火对照最具说服力：从同一FineWeb2-DE检查点退火到KletterMix得Core Avg 39.4（较源+1.1、较GermanWeb分支+1.8），增益集中在HellaSwag(31.5→34.2)和ARC-C(23.0→25.2)。PIQA仅100样本、标准误较宽，小差距需谨慎。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Core Avg（MMLU+PIQA+HellaSwag+ARC-C，独立预训练） | 5-shot准确率 | 40.2（KletterMix-Filt0.60）/ 38.7（未过滤） | GermanWeb 36.8 / FineWeb2-DE 38.3 | +3.4 / +1.9点（Filt0.60对比GermanWeb/FineWeb2-DE） |
| HellaSwag（德语，独立预训练） | 5-shot准确率 | 34.4（未过滤）/ 34.6（Filt0.60） | GermanWeb 31.2 / FineWeb2-DE 31.5 | +3.2 / +2.9点 |
| ARC-C（德语，独立预训练） | 5-shot准确率 | 26.5（未过滤）/ 27.5（Filt0.60） | GermanWeb 23.1 / FineWeb2-DE 23.0 | +3.4 / +4.4点 |
| Core Avg（FineWeb2-DE退火分支） | 5-shot准确率 | 39.4（FW2-DE→KletterMix） | 37.6（FW2-DE→GermanWeb） | +1.8点（HellaSwag 31.5→34.2，ARC-C 23.0→25.2） |
局限与改进
作者承认：语料源自英文，可能继承来源的题材、文化、地理、风格、版权偏差；机翻可能引入translationese、语义漂移、不自然德语风格、术语不一致及长专业文档失败；COMETKiwi和代理都只是可扩展诊断，无法替代人工评估、下游评估或对问题域的人工审阅；训练结果受限于0.6B架构、12B-token预算和匹配的单次运行对比。我自己补充几点观察：PIQA仅100个评估样本导致Core Avg标准误偏宽，KletterMix领先的结论在统计上并不稳健，需多种子重复验证；代理仅看译文、无法直接度量语义充分性，对URL-only文档、样板文字、重复内容、隐性语义漂移这类失败覆盖不足；Filt0.60在MMLU(28.5)反而低于未过滤版(29.0)，说明更严过滤并非在所有任务上单调有益，过滤阈值本质是验证挑选而非普适质量法。
独立分析的弱点
弱点一：评估统计功效不足。所有训练对比是匹配单次运行，PIQA仅100样本使Core Avg标准误较宽，KletterMix领先在小差距上不可靠。改进方向：多种子重复、更大PIQA评估集。弱点二：仅0.6B模型、12B token，结论能否外推到7B+和百B token未经验证，翻译质量对模型规模的敏感度未知；应做参数规模与预算缩放研究。弱点三：代理只读译文、无法捕捉语义充分性，对URL-only文档、样板、重复、隐性语义漂移覆盖不足；可引入源-译对齐特征或轻量神经QE蒸馏。弱点四：单一源语料（英文ClimbMix）加单一翻译模型，翻译风格同质、可能引入translationese和源语言偏差；可做多源混合、多翻译模型集成并对齐风格。弱点五：缺少对德语形态、复合词、大小写、地区变体的专门评测；应补充德语原生基准。
未来方向
作者提出的方向：更强的过滤，针对长度和语言识别诊断未完全覆盖的翻译失败（URL-only文档、样板、重复内容、隐性语义漂移）；人工审阅与基准评测以更好刻画自然度、事实保持和跨域下游效用；把同一保文档翻译流水线扩展到法语、意大利语、西班牙语等其他语言，系统比较翻译预训练混合与原生网络语料何时互补。基于成果可延伸的方向：一是研究代理过滤与源对齐QE的组合策略，找到成本-质量平衡；二是把保文档翻译加结构化元数据的思路用于构建多语种对齐评测资源（同结构、同主题），用于跨语言迁移研究；三是探索更小模型可用的代理蒸馏或在线过滤；四是利用KletterMix的保文档标识符做受控的哪部分语料驱动哪种能力的数据归因实验，验证HellaSwag与ARC-C增益来自连贯文档结构的假设。
复现评估
复现性较好但非完全开放。代码托管在匿名仓库anonymous.4open.science，数据集发布在HuggingFace（AIML-TUDA/KletterMix）并保留文档标识符、元数据、来源簇和长度桶，便于受控对照研究。翻译流水线细节（模型、精度、投机解码配置、提示、服务设置）在附录A给出，分片执行支持中断续跑，元数据保留使输出可追溯到源。但完整复现存在障碍：725B规模翻译需大量GPU端点和算力（论文为机构级项目，受BMWE、BMFTR、Lamarr、TrustLLM、Aleph Alpha Lab1141资助），个人难以负担；代理训练依赖COMETKiwi教师标注需GPU；训练实验用Megatron-LM在0.6B规模、12B token仍需可观算力。此外训练为单次运行、无多种子，严格复现下游数字会有波动。整体属于数据与代码开放、算力门槛高。
论文图表
