通过分词器优化推进波兰语建模：Bielik v3 7B 与 11B 系列 Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

具体步骤如下。Step 1 训练 APT4 分词器：保持 32K 词表，针对波兰语形态、数字、标点做精细调整。Step 2 准备 20B-token 子集，从 Bielik 11B v3 语料按相同分布采样。Step 3 FOCUS 初始化：在辅助 embedding 空间里，对每个新 token 找到最相关的 k 个原 token，用 Sparsemax 估计稀疏系数 $\alpha$，新 embedding 即 $E_{\text{new}}(t) = \sum_{i} \alpha_i E_{\text{old}}(t_i)$。Step 4 Stage 1 部分冻结 4B tokens：仅更新 embedding、lm_head 与最外各两层共四层 transformer。Step 5 Stage 2 全量微调 16B tokens。Step 6 后训练：SFT 3 epoch × 20M 样本 → DPO-P 3 epoch × 114K 偏好对 → GRPO × 143K 推理样本。Step 7 7B Minitron 由 11B 蒸馏剪枝后走相同流水线。

技术新颖性主要体现在三方面。第一，把 FOCUS 从纯 embedding 初始化方法升级为'分词器替换工程'的核心组件，并给出与 partial freezing 的协同方案——之前的 WECHSEL、OFA 等更关注跨语言迁移而非同一语言内部的 tokenizer 优化。第二，'部分冻结 + 边界层更新'的 Stage 1 设计只允许最外两层与 embedding 一起动，最大限度保留预训练知识，且这种'焊'新词表到旧模型内部表征的策略在公开文献中较少单独强调。第三，给出了一个端到端可复现的流水线：FOCUS → 4B 局部更新 → 16B 全量 → SFT → DPO-P → GRPO，且明确报告了在 9 个基准上与原分词器版本的差距幅度（多数任务在 1-3 分以内），方便后续工作做对比。

独立分析有四处可改进。第一，分词器效率的提升幅度没有转化为推理速度的量化收益——文章只报告 fertility ratio 改善但未给出 tokens/s、latency、显存占用的实际推理指标；建议补一组 end-to-end 推理 benchmark 来证明'省上下文'真的能换成'省算力'。第二，FOCUS 初始化对辅助 embedding 空间质量敏感，本文使用静态多语言 embedding，对小语种或新词覆盖可能不足；可探索用现代多语言 LLM 内部 hidden state 作为语义锚点。第三，Stage 1 的'4 层 + embedding + lm_head'是手工设定，未做消融实验；可以扫描不同的 (freeze 比例, 边界层数) 组合，找到 Pareto 最优点。第四，PL 版本在 INCLUDE-base-44 与 Belebele 的欧洲语言子集上掉分明显，提示词表过度专注波兰语侵蚀了多语言先验；未来可采用更细粒度的'共享 sub-token + 波兰扩展 token'的混合方案以兼顾两者。

作者在结论里把整套方法定位为可复现蓝图，暗示未来可应用到其他语种。延伸方向包括：(1) 把'FOCUS + 两阶段继续预训练 + 三段后训练'流水线推广到捷克语、乌克兰语、印地语等其他形态丰富但低资源的语言，特别是和 EuroLLM、Apertus 等欧洲开源模型生态联动；(2) 探索 64K-128K 更大词表与 32K 词表之间的 Pareto 曲线，量化'fertility ratio 改善'与'多语言覆盖退化'的交换比；(3) 把 Stage 1 的'边界层数'做成自适应策略，例如按词表重叠率或嵌入矩阵 Frobenius 范数变化自动决定解冻范围；(4) 引入分词器-模型联合训练目标（如 fertility-aware loss），让模型在预训练阶段就显式奖励高密度 token 化；(5) 发布更多语言学可解释性分析，例如在词性标注、依存句法等任务上对比分词粒度对模型结构化预测能力的影响。

复现友好度较高：模型权重以 Apache 2.0 许可发布，评估全部采用开源工具 lm-evaluation-harness，benchmark 选取也是公开的 Open PL LLM Leaderboard、Polish EQ-Bench、CPTUB、Open LLM Leaderboard、INCLUDE-base-44、Belebele、FLORES。训练数据是 Bielik 11B v3 原始语料的 20B-token 子集（采样分布一致），SFT 用 20M 指令样本、114K 偏好对、143K GRPO 样本，数据规模与配比均明确给出。算力方面明确致谢波兰 PLGrid（ACK Cyfronet AGH）的算力支持。复现难点主要在 (a) 7B 蒸馏与 11B 继续预训练本身需要数百张 GPU 级别算力，对个人研究者门槛较高；(b) FOCUS 初始化所需的静态多语言 embedding 来源未指明具体版本；(c) 后训练阶段的偏好数据与可验证奖励 prompt 没有公开明细，难以完全 bit-reproduce。