SLAI T-Rex：在昇腾超算集群上对 DeepSeek-V4 系列进行全参数后训练 SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

完整流程分如下步骤。步骤一（瓶颈剖析）：在 910C 上对 DeepSeek-V4-Pro 训练一步做 profiling，得到 206503 个计算 kernel、39.84 秒设备端计算，识别出 SparseAttnSharedkvGrad（16.86%）、MatMulV3（12.77%）、GroupedMatmul（9.50%）等重头算子，以及 Cast/ViewCopy 等长尾。步骤二（并行优化）：对注意力层用 TP=2、MoE 层用 ETP=1（与 EP 折叠成一个组）、流水线用 VPP=8 而非 DualPipeV（后者会翻倍显存且只优化占通信 14.5% 的 All-to-All）；MoE 分发用异步 A2A 并把共享专家前向提前到 before_ep_alltoall 同步空泡里。步骤三（显存优化）：用 swap_numel 分块的双缓冲 swap 优化器，在 host/NPU 间流水线搬运 AdamW 状态。步骤四（AuraKernel 调优）：对稀疏注意力反向，把相邻 query 批量化、密集访问压缩 KV 块以削减 GM 访存，再用 BF16 存储重 FP32 中间量；对 RMSNorm/MHC 用 2D head blocking、显式 FP32 累加、三段流水线重写。步骤五（算子融合）：把 mHC、受限 SwiGLU 反向、统一 RoPE 各自的 eager 链/通用 Triton kernel 重写为 UB 常驻的 AscendC kernel，并做混合精度改写（去掉全阶段 FP32 上转）。步骤六（OR-CPT 数据）：参数化生成器产出优化实例→Gurobi 独立求解→质量过滤→业务回译→正向建模→静态/契约检查→执行比对目标值（容差 1e-4）→修复去重，约 100K 样本池按领域主导配比（OR+数学+代码+通用英语）采样。步骤七（SFT）：自蒸馏飞轮经 L1/L2/L3 三级 IR 生成 DP/DT/DPS 三种问题模式，10K Clean-CoT 数据经 Cleaner→Reviewer→验证四重门（最终导出 8881 条）；两阶段渐进训练：Stage I 纯代码目标（lr 5e-7）、Stage II 全建模（lr 1e-6）并掺 10–15% 通用指令数据锚定通用能力。步骤八（评估）：用 Pass@1/Pass@4/5-shot 在 NL4OPT、OptiBench、B4O-Feasible、B4O-ORGEval 评估，并用迁移增益 $\Delta_{ ext{transfer}}(b)=S_{ ext{CPT+SFT}}(b)-S_{ ext{SFT}}(b)$ 分离 CPT 贡献。

技术新颖性体现在五方面。其一，首个在昇腾 SIMD 平台对万亿参数 MoE 做全参数后训练的系统级实践，给出可复现的并行/通信/显存/算子联合优化 recipe。其二，AuraKernel 把 OR 数学建模引入算子 agent：用 clock-cycle 级性能模型和稳态流水线假设，把算子调参变成带 L0/L1/UB 容量、核划分、对齐约束的约束优化问题，而非黑盒搜索；并用 K-Search 的树状世界模型和兄弟优先级反传 $ ext{score}(\ell')\leftarrow ext{score}(\ell')+\eta g_\ell/\hat g_\ell$ 让真实 NPU 测量持续校准 LLM 先验。其三，自演化记忆取代静态知识库——作者明确指出静态知识库反而会约束 LLM 在非传统平台上的探索空间，转而用硬件验证反馈持续蒸馏 skill。其四，算子融合的“数学契约 + 前端工件记录 + 硬件执行契约”三件套审查法，让融合成为保数学等价的改写而非零散 peephole 优化，且首次把受限 SwiGLU 的路由梯度约简也吸收进同一 kernel。其五，OR 数据的求解器验证双向合成 + 多级泄漏控制 + 契约感知 CoT 清洗，是少有的把“可执行性”和“结构等价”都纳入数据质量门控的领域专精流水线。

独立分析，弱点及改进方向如下。其一，方法高度绑定 DeepSeek-V4 的特定架构（mHC、受限 SwiGLU、稀疏注意力、MTP）与 Gurobi，泛化到其他 MoE/注意力变体或其他求解器时数据契约和算子都需重做——改进方向是抽象出与架构无关的“数学契约-前端工件-硬件边界”三件套模板与求解器无关的中间表示。其二，AuraKernel 的 cycle 级性能模型对 L2 命中率建模粗糙、存在残余误差——可引入运行时反馈在线校正 L2 系数，或用学习式缓存命中预测替代静态回归。其三，Pro 上 CPT 未单独消融，因果证据薄弱——应在 Pro 上补做 Route A/B 受控实验，并报告 CPT 数据配比、token 数与计算开销。其四，5-shot B4O-Feasible 仍劣于基线，说明 SFT 在多 prompt regime 下的鲁棒性不足——可引入多解码设定的混合训练或测试时自洽校验。其五，对非线性/比值/二次项建模的修复能力有限——改进方向是作者已暗示的“非线性修复 + 专用非线性/Gurobi 合成数据”，并可引入求解器反馈的强化学习微调（他们计划扩展到 AgenticRL）。其六，OR 基准本身偏 LP/MILP 建模，对真正的长尾工业场景（如随机规划、鲁棒优化、大规模排班）覆盖不足——应扩充更难的、带不确定性的 OR 任务族。其七，纯 OR 数据致通用能力掉 10–15 分，说明保留配比仍偏激进，可做更细粒度的课程学习与回放。其八，评估主要靠准确率，缺乏对模型“何时该放弃”等可靠性指标的考察。

作者明确提出的方向包括：把后训练工作流扩展到 agentic 强化学习（AgenticRL），用 OR 数学建模自动探索多维并行配置（在显存、通信、编排约束下自动化搜索并行策略），继续扩大求解器验证的 CPT/SFT 语料并扩展到更多 OR 问题族和通用基准，强化对非线性表达、比值约束、二次项、Gurobi 特有建模模式的结构验证，并计划单独发布优化后的 AscendC kernel。基于成果可延伸的方向有：把 AuraKernel 的 OR 求解器+K-Search 范式推广到其他非 CUDA 平台（如 TPU、Groq、国产 AI 芯片）和推理算子；把双向求解器验证合成扩展到其他“可验证”领域（如形式化证明、SQL、电路设计、控制综合）；研究 CPT 数据配比与课程的自适应调度；把“可执行 vs 结构正确”的双层评估范式移植到代码生成与定理证明；探索 swap 优化器与重计算、卸载的联合最优；把 skill 蒸馏机制做成跨模型共享的算子优化知识库。

复现性整体较好但有门槛。作者承诺发布关键工件：prompt 模板、格式契约规范、课程调度配置、监控回调，以及 Cleaner/Reviewer/Diagnostic Resolver 等可配置的 prompt+规则驱动模块（它们不发 明自动规则，保证可审计），并计划单独发布优化的 AscendC kernel。CPT/SFT recipe 在附录 B 给得很详细（CPT：seq_len 65536、GBS 128、AdamW lr 1e-6 cosine、CP=16/EP=32、swap optimizer；SFT：seq_len 8192、GBS 128、lr 5e-6、PP=4/EP=32、Ulysses CP），训练曲线（800 步无 NaN/跳过、lm loss 收敛到 0.079）也有报告，证明 8 节点 128 卡 910C 上可稳定复现。但实际复现门槛很高：需要 CloudMatrix384 SuperPOD + 910C NPU 硬件（普通研究者难获取），需要 DeepSeek-V4-Flash/Pro 权重（Pro 1.6T 的获取和托管成本极高），需要 Gurobi 商业授权，需要自行重跑 AuraKernel 的算子优化 campaign。CPT 数据池约 100K、SFT 10K 规模适中，但合成引擎的参数化生成器注册表是否完全开源未明说。对小团队而言，Flash 部分（更小模型）的复现难度远低于 Pro 部分。