使用分布式GPU预训练大语言模型：一种内存高效的去中心化范式 Pretraining A Large Language Model using Distributed GPUs: A Memory-Efficient Decentralized Paradigm

SPES的完整训练流程分为四个步骤。第一步是专家分配：将 $M$ 个专家参数 $\Phi$ 划分为 $N$ 个不相交子集分配给 $N$ 个节点，每个节点 $\eta_i$ 获得共享模块参数 $\psi_i$ 和专属专家参数 $\Phi_i$，未被分配的专家 $\bar{\Phi}_i$ 保持冻结。第二步是本地训练：在每个通信轮次 $t$ 的开始，节点 $\eta_i$ 接收上一轮的全局模型参数 $\theta^{(t-1)}$，然后在其本地数据 $D_i$ 上执行 $H$ 步AdamW更新，只更新 $\psi_i$ 和 $\Phi_i$，梯度和优化器状态只针对这些参数维护。第三步是稀疏同步：本地训练结束后，各节点上传更新过的参数，共享参数通过FedAvg聚合（$\psi^{(t+1)} = \frac{1}{N}\sum_{i=1}^{N}\psi_i^{(t)}$），专家参数直接从其所有者节点赋值（$\phi_j^{(t+1)} = \phi_{j,o(j)}^{(t)}$），聚合后的全局参数广播给所有节点。第四步是专家合并warm-up（仅在训练初期执行）：对每个专家 $j$，计算其输入投影层 $w_j^{in}$ 与其他专家的余弦相似度 $A_{j,k}$，选择最相似的 $K$ 个专家 $Q_j = \text{TopK}(A_{j,k})$，通过 $\tilde{\phi}_j^{(t)} = \phi_j^{(t)} + \frac{\alpha}{K}\sum_{k \in Q_j}(\phi_k^{(t)} - \phi_j^{(t)})$ 合并参数，合并强度 $\alpha$ 线性衰减至零，合并仅在前 $T_w = 12500$ 步内执行，间隔 $T_i = 300$ 步。

SPES在技术上具有多方面的新颖性。首先，在去中心化训练范式上实现了从"全模型同步"到"稀疏专家同步"的转变：DiLoCo和Photon要求每个节点训练并同步完整模型，而SPES利用MoE的模块化特性实现了专家级别的分布式训练，这是一个根本性的架构创新。其次，专家合并warm-up策略是首次在去中心化MoE训练中引入跨节点的专家知识共享机制，通过余弦相似度识别相似专家并使用任务算术合并，在不增加通信开销的前提下改善了稀疏训练的token利用率问题。第三，SPES与其他并行策略具有互补性：当每个节点有多张GPU时，SPES可以与FSDP等节点内分片策略结合使用，实现"节点间按专家分片 + 节点内按参数分片"的两级内存优化。最后，SPES提供了理论收敛分析，证明了在L-光滑性假设下，SPES的收敛速率为 $O(1/T)$，且专家合并warm-up带来的额外扰动是可衰减的。

首先，SPES的专家合并warm-up依赖于余弦相似度来识别相似专家，这是一种相对粗糙的相似度度量。在训练早期，专家的输入投影层尚未充分分化，余弦相似度可能无法准确反映专家间的功能关系。一个改进方向是引入基于专家在验证集上激活模式的相似度度量，或者使用可学习的路由信息来指导合并。其次，当前的静态专家分配策略在训练全程不变，缺乏对专家训练进度的自适应调整。可以考虑引入动态重分配机制，根据各专家的梯度范数或损失变化来调整分配，让训练困难的专家获得更多节点的支持。第三，SPES在同步时使用简单的FedAvg聚合共享参数，对于节点间数据分布差异较大的场景，这可能导致聚合后的模型偏向某些节点的数据分布。可以借鉴SCAFFOLD等联邦学习算法，引入控制变量来修正客户端漂移。第四，实验未充分探索SPES与更先进优化器的结合，如DiLoCo的后续工作NoLoCo已提出无需All-Reduce的训练方法，SPES与其结合可能进一步降低通信开销。

作者提出的主要未来方向包括验证SPES在更大模型（如13B、34B甚至70B）和更长训练时间下的可扩展性，以及将框架扩展到多模态推理和生成任务。基于SPES的成果，还可以延伸以下研究方向：第一，探索SPES与更先进的MoE架构（如MoE++中的零计算专家、DeepSeekMoE的极致专家特化）的结合，进一步提升模型效率。第二，研究非IID数据场景下SPES的鲁棒性，这在真实的去中心化环境中（如不同地理位置的节点拥有不同语言/领域的数据）至关重要。第三，将SPES与参数高效微调（如LoRA）结合，在去中心化环境中实现"SPES预训练 + 联邦LoRA微调"的全流程方案。第四，探索SPES在MoE模型的持续学习中的应用，允许新节点带着新专家加入训练网络，实现模型能力的持续扩展。第五，研究SPES框架下的隐私保护机制，如差分隐私或安全聚合，使得框架适用于敏感数据场景。

SPES的可复现性较好。作者已将代码开源在GitHub（https://github.com/zjr2000/SPES），并基于主流的OLMo预训练代码库实现，使用自定义的gRPC跨节点同步协议。数据方面，2B和7B模型使用公开的Ultra-FineWeb、SlimPajama、OLMo-Mix-1124子集等数据集训练，9B upcycled模型使用Nemotron Pretraining Dataset，所有数据均可公开获取。算力需求方面，2B模型需要16张48GB GPU（L40S），7B模型需要4节点乘8张A800 GPU，9B模型同样在4节点A800集群上训练，对中等规模的实验室来说是可负担的。消融实验详细报告了关键超参数（$\alpha=0.1$、$T_w=12500$、$T_i=300$、$K=4$、$H=50$）的搜索范围和最优值，降低了调参难度。总体而言，一个拥有16张48GB GPU和普通以太网连接的研究团队即可复现2B模型的实验，复现难度为中等。