← 返回 2026-07-02

ELDR：面向PD解耦MoE服务的专家局部性感知解码路由 ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving

Sangjin Choi, Sukmin Cho, Yifan Xiong, Ziyue Yang, Youngjin Kwon, Peng Cheng 📅 2026-07-01 👍 31 2026-07-13 08:37

LLM服务 MoE推理 PD解耦架构专家局部性负载均衡

利用预填充阶段的专家激活模式优化MoE模型解码路由，降低TPOT 5.9-13.9%

前置知识

Mixture-of-Experts (MoE)

混合专家模型是一种将大语言模型拆分为多个专门化子网络（专家）的架构。每个token通过门控机制路由到少数几个专家，而非所有参数，从而在不增加计算量的情况下扩展模型容量。MoE层包含多个专家FFN和一个MoE门控，每步只激活top-k个专家（如top-8）。

本文核心问题就是MoE模型在PD解耦服务中的解码阶段如何高效路由，理解MoE的稀疏激活机制对论文创新点的把握至关重要。

Prefill-Decode (PD) Disaggregation

预填充-解码解耦架构将LLM推理的两个阶段分离到不同的worker池上运行。Prefill阶段并行处理prompt，计算密集；Decode阶段顺序生成token，内存带宽密集且延迟敏感。典型配置如xPyD表示x个prefill worker和y个decode worker，避免长prefill阻塞decode。

ELDR正是针对PD解耦架构设计的解码路由策略，理解这种架构才能明白为什么需要在prefill→decode交接点做路由决策。

专家局部性

指MoE模型中，相似领域或任务的请求倾向于激活相似的专家子集。例如代码请求激活某组专家，数学请求激活另一组专家，而非均匀分布。这种局部性使得同领域请求共享decode worker时，每步需要加载的不同专家数量更少。

专家局部性是ELDR的核心洞察，论文通过实验证明同域批次比混合域批次激活专家数少17-21%，这是路由优化的基础。

TPOT (Time-per-Output-Token)

每个输出token的平均生成时间，衡量decode阶段延迟的核心指标。在PD解耦架构中，TPOT主要受decode worker内存带宽限制，特别是MoE层需要从HBM加载所有激活专家的权重。

TPOT是ELDR优化的主要目标，论文中所有性能改进都以TPOT降低百分比来衡量。

Hungarian-balanced K-means

传统K-means聚类只最小化簇内距离，可能导致簇大小不均。Hungarian-balanced K-means通过匈牙利算法实现全局最优分配，约束每个簇最多包含⌈N/K⌉个点，在保持局部性的同时平衡负载。

ELDR使用此算法进行离线聚类，既要将相似请求聚在一起（局部性），又要避免某些decode worker过载（负载均衡）。

研究动机

在Prefill-Decode解耦的MoE模型服务中，现有的decode路由器只平衡负载，这对MoE模型来说是不足的。实验发现，在Qwen3-30B-A3B模型上，将活跃专家数从16增加到128会使MoE层延迟增加4.7倍（批大小64固定），而固定专家数增加批大小对延迟几乎没有影响。根本原因是MoE的稀疏性在decode阶段反转：每个token只路由到少数专家，但整个批次需要加载所有激活专家的权重，批次中不同专家的并集决定了延迟，而非token数量。同领域decode批次每步激活的专家数比混合批次少17-21%（任务工作负载）和3-10%（语言工作负载），但现有负载均衡路由器无法感知这种专家组合差异。

本文的目标是设计一种新的decode路由策略，能够利用专家局部性来降低MoE解码延迟，同时保持负载均衡。具体目标是在不改变模型输出、不修改专家选择的前提下，通过智能的请求分配让每个decode worker处理相似专家使用模式的请求，从而减少每步需要加载的不同专家数量。

与已有工作不同的是，现有工作的局限在于：MoE专家并行（EP）工作关注worker内的专家负载平衡，而非跨worker的请求路由；缓存感知路由器利用KV cache重用但将decode workers视为可互换；批次感知方法通过近似修改专家选择来提升速度，但会损失精度。ELDR的独特切入点是：将专家局部性作为PD解耦MoE服务的第二路由轴，与传统的负载平衡轴结合。关键洞察是prefill阶段的专家激活与decode阶段高度相关（相关系数0.70-0.92），这使得在请求交接点就能预测其decode时的专家使用模式，实现无损的专家局部性感知路由。

核心方法

ELDR（Expert-Locality-Aware Decode Routing）通过分析prefill阶段的专家激活模式来预测decode时的专家使用，然后基于预测结果将请求路由到最合适的decode worker。方法分为两个阶段：离线阶段收集校准请求的专家签名，使用平衡K-means聚类将签名空间划分为K个区域（每个decode worker一个），每个区域内的请求具有相似的专家使用模式；在线阶段在prefill→decode交接点，计算请求的专家签名与各worker中心的相似度，在局部性带内选择负载最轻的worker进行路由。整个过程与prefix cache兼容，通过块粒度的签名缓存保证缓存命中时签名的正确性。

核心创新在于将专家局部性作为可预测的路由信号，并与传统负载平衡结合。具体体现为：（1）专家签名设计：使用IDF重新加权的离散top-k计数而非连续门控分数，通过Spearman秩相关ρ量化签名质量，确保签名距离能准确预测decode时的专家重叠度；（2）两阶段路由决策：离线平衡聚类捕获请求结构，在线局部性带路由应对实时负载变化，τ=0.1的带宽度在局部性和负载间取得平衡；（3）prefix cache一致性：将签名存储在KV cache块粒度，缓存命中时自动重用历史签名，无需重新计算prefill。与现有方法相比，ELDR在保持模型输出完全不变（无损）的前提下，实现了5.9-13.9%的TPOT降低，这是通过智能请求分配而非近似专家选择达到的。

方法步骤详情

ELDR的工作流程分为以下步骤：（1）离线校准：运行小规模校准集（1000个请求）通过prefill和decode，收集每个请求的专家激活模式。在每层每个专家上统计prefill token数，得到原始计数矩阵c_r(ℓ)∈N^E。（2）签名构建：对原始计数应用IDF重新加权，每个(ℓ,e)乘以log((|C|+1)/(df(ℓ,e)+1))，其中df统计校准集中该专家在该层激活的请求数。然后通过贪心层选择保留最优N*层（使ρ最大），L2归一化得到最终签名s_r = x_r/||x_r||_2。（3）离线聚类：使用Hungarian-balanced K-means将所有校准签名聚类为K个簇（K为decode worker数），约束每个簇最多⌈N/K⌉个签名，计算每个簇的centroid。此步骤在CPU上10秒内完成。（4）在线签名捕获：prefill执行时，每个KV block实时累积该block tokens的top-k专家选择，存储在签名cache中（与KV cache同索引）。prefill完成后，请求签名为其所有block签名的和。（5）在线路由决策：计算请求签名与K个centroid的cosine相似度，找到最大相似度s*。选择相似度≥s*-τ的所有worker（局部性带），在其中选择当前负载（in-flight请求数）最轻的worker。（6）KV传输与decode：选中worker拉取KV cache并执行decode，由于co-located请求共享专家，每步活跃专家数减少，TPOT降低。

技术新颖性

ELDR的技术新颖性体现在多个层面：（1）路由信号创新：首次将专家局部性作为PD解耦MoE服务的可预测路由轴，证明prefill→decode的专家激活相关性高达0.70-0.92，这之前的工作要么只考虑负载平衡，要么需要完整的decode历史。（2）签名质量量化：提出用Spearman秩相关ρ作为签名设计的无偏评估指标，独立于下游聚类/路由策略，使得离散vs连续、IDF vs原始等选择有客观依据。（3）两阶段决策架构：将需要聚合信息（局部性）和需要瞬时信息（负载平衡）的两个目标分离到离线和在线阶段，避免了单一机制的局限性。（4）prefix cache兼容性：设计块粒度签名缓存，自动处理partial hit/full hit/eviction等各种cache状态，无需额外状态管理，这是之前工作未解决的问题。（5）无损性：ELDR只改变请求分配的worker，不修改token的专家选择，因此模型输出与标准top-k门控完全相同，这是与批次感知方法的关键区别。

**Figure 7**: Signature quality ρ for six candidate transformations

**Figure 8**: Cumulative ρ versus the number of layers kept under greedy layer selection

**Figure 9**: PCA of calibration signatures with Hungarian-balanced centroids

**Figure 10**: ELDR stores expert signatures at KV cache block granularity

实验结果

ELDR在三个MoE模型（Qwen3-30B-A3B、GPT-OSS-120B、Gemma-4-26B-A4B）和两个工作负载（task、language）上的主要发现如下。在task工作负载上，ELDR相比最佳负载均衡baseline（JSQ/P2C）降低median TPOT 7.0-13.9%，降低tail TPOT（P99）3.4-6.0%。在language工作负载上，ELDR降低median TPOT 5.9-10.0%，tail TPOT在Qwen3上降低6.2%，在GPT-OSS和Gemma上略有回归但峰值仍降低9.6%和5.6%。与静态domain标签路由相比，ELDR在task上额外降低1.4-6.9% median TPOT，在language上降低5.7-9.1%，证明细粒度签名聚类优于粗粒度领域标签。实验验证TPOT改进来自活跃专家数减少：在Qwen3-30B-A3B task域上，ELDR平均每步活跃专家数相比Round-Robin减少22.0%。签名设计验证显示IDF重新加权的离散count比连续gate概率额外降低3-14pp TPOT。Hungarian-balanced K-means相比vanilla K-means在保持median改进的同时，避免了tail TPOT高达17.4%的回归。局部性带宽度τ=0.1在所有工作负载上取得最佳trade-off，纯top-1路由（τ=0）在4/6工作负载上导致tail TPOT回归。前缀缓存实验证明ELDR与prefix cache正交组合，TTFT improvement和TPOT improvement可叠加。扩展性测试显示随着decoder pool从8P8D扩展到8P24D，median TPOT降低从8.0%增长到10.2%。在Qwen3-235B-A22B大模型（40 GPU）上，ELDR仍能降低median TPOT 2.7-4.3%，证明方法可扩展到大规模部署。开销分析显示ELDR每请求增加0.86ms（占median TTFT 69ms的1.2%），签名cache占用HBM的0.24%，离线拟合在CPU上10秒内完成。

**Figure 11**: TPOT (median, p99) and median TTFT vs request rate on the task workload at 8P16D

**Figure 12**: TPOT (median, p99) and median TTFT vs request rate on the language workload at 8P16D

**Figure 13**: Mean active experts per decode step on Qwen3-30B-A3B in the task domain

**Figure 14**: TPOT P50/P99 % Δ vs. RR for two signature transforms

**Figure 15**: Mean %Δ vs. RR with different clustering methods

**Figure 16**: Mean %Δ vs. RR at four locality band width τ values

**Figure 17**: Composition with prefix caching

查看结构化数据

任务	指标	本文	基线	提升
Task工作负载（代码/数学/医疗/法律）	Median TPOT降低率	7.0-13.9%	Round-Robin/JSQ/P2C (最佳)	相比最佳负载均衡器降低7.0-13.9%
Task工作负载（代码/数学/医疗/法律）	Tail TPOT (P99)降低率	3.4-6.0%	最佳负载均衡器	相比最佳负载均衡器降低3.4-6.0%
Language工作负载（多语言WildChat）	Median TPOT降低率	5.9-10.0%	最佳负载均衡器	相比最佳负载均衡器降低5.9-10.0%
Qwen3-30B-A3B task域	活跃专家数减少	22.0%	Round-Robin	平均每步活跃专家数减少22.0%
Qwen3-235B-A22B（40 GPU）	Median TPOT降低率	2.7-4.3%	Round-Robin	在大规模MoE部署中仍有效
系统开销	每请求额外延迟	0.86ms	无	仅占median TTFT的1.2%

局限与改进

论文承认的局限性包括：（1）评估范围有限：只在三个开源MoE模型和两个工作负载上评估，未涵盖所有可能的模型架构和真实生产环境的复杂工作负载模式。（2）τ参数调优：论文固定使用τ=0.1，承认这个值可能需要根据具体工作负载调整，但没有提供自动调优机制。（3）校准开销：虽然离线拟合只需10秒，但仍需要运行1000个校准请求，对于频繁变更模型或工作负载的场景可能带来额外成本。（4）极端负载场景：论文在20-100 req/s范围内评估，未测试更高负载或突发流量的行为。（5）硬件依赖：实现在vLLM和AMD MI300X上，未验证在其他框架和硬件上的性能。额外观察到的局限性：（1）签名cache实现依赖GPU内存，对于极大模型可能带来压力；（2）方法假设专家局部性稳定存在，对于完全随机的工作负载可能无效；（3）与intra-worker负载均衡（如EPLB）的正交组合未充分探索。

独立分析的弱点

独立分析的第一个弱点是校准集代表性不足。论文使用1000个请求进行校准，但如果实际工作负载的领域分布发生显著偏移（如突然大量医学请求），基于旧校准的聚类可能导致负载不均。改进方向是实现动态校准更新机制，监控工作负载漂移并定期重新聚类。第二个弱点是τ参数的静态设置。τ=0.1在实验中表现良好，但在负载波动剧烈的场景可能需要自适应调整：高负载时增大τ提升负载均衡，低负载时减小τ强化局部性。改进方向是基于实时负载指标实现动态τ调整。第三个弱点是签名设计的模型依赖性。IDF权重和层选择针对特定模型拟合，更换模型需要重新校准。改进方向是探索模型无关的签名设计，或实现快速模型适配机制。第四个弱点是极端长尾请求的影响。论文假设请求长度相对均匀，但如果某些请求生成极长输出，会长时间占用worker，影响后续路由决策。改进方向是在负载度量中加入剩余token长度估计。第五个弱点是缺乏故障容错机制。如果某个decode worker故障，需要重新平衡聚类，论文未讨论这种场景。改进方向是实现快速重路由和在线重聚类机制。

未来方向

作者提出的未来工作方向包括：（1）扩展到其他模型架构：如稠密模型或其他稀疏架构，探索专家局部性概念的适用性。（2）动态τ调整：根据实时负载和签名置信度自适应调整局部性带宽度。（3）与intra-worker优化结合：如与EPLB等专家并行负载均衡方法组合，进一步提升性能。基于论文成果的可延伸方向包括：（1）多目标优化路由：在TPOT之外考虑能耗、成本等目标，实现帕累托最优路由。（2）跨模型联合路由：在服务多个MoE模型时，利用跨模型的专家局部性进行联合调度。（3）在线学习和预测：使用强化学习在线优化路由策略，基于实时反馈持续改进。（4）边缘部署适配：将ELDR思想适配到资源受限的边缘环境，简化实现降低开销。（5）端到端优化：将路由决策与模型训练结合，学习路由友好的门控机制。（6）公平性考虑：在路由优化中加入公平性约束，避免某些领域请求持续被分配到性能较差的worker。

复现评估

论文的复现难度为中等。开源情况：论文声称在vLLM中实现ELDR，约2000行新增Python代码，但截至论文提交时代码尚未公开，需要联系作者获取。数据：使用公开模型（Qwen3-30B-A3B、GPT-OSS-120B、Gemma-4-26B-A4B）和公开基准（HumanEval、MATH、MMLU医学子集、LexGLUE法律、WildChat），数据可访问性好。算力：实验需要5节点AMD MI300X集群（40 GPU），每GPU 192GB HBM，400Gbps InfiniBand互连。对于一般研究者，如此规模的硬件资源难以获得，但方法核心思想可以在较小规模上验证。实现难度：主要挑战在于修改vLLM的prefill/decode引擎添加签名捕获和路由逻辑，需要深入理解vLLM架构。签名cache和离线聚类相对独立，实现难度较低。校准和评估：需要运行校准集和性能基准测试，但流程清晰。总体而言，核心思想和算法可以在单机多GPU环境上复现验证，但完整规模的性能评估需要昂贵硬件。建议作者开源代码以降低复现门槛。

论文图表

**Figure 1**: Decode-phase per-expert activation relative to the cross-domain mean
该图展示三个MoE模型（Qwen3-30B-A3B、GPT-OSS-120B、Gemma-4-26B-A4B）在任务域（代码/数学/医疗/法律）和语言域（英语/中文/俄语/法语）的解码阶段专家激活模式。热力图颜色表示相对平均激活强度，专家按主导领域排序重排。每个领域都过度激活不同的专家子集，展现清晰的领域特异性。

这张图对理解论文至关重要，它提供了专家局部性存在的直接证据：不同领域的请求激活不同的专家子集，这是ELDR能够通过相似请求co-location减少活跃专家数的根本前提。图中的清晰模式结构也解释了为什么聚类能找到有意义的签名区域。

**Figure 2**: MoE layer latency scales with active experts, not batch size
该图展示在单个MI300X GPU上，MoE层延迟如何随活跃专家数和批大小变化。三个子图分别对应三个模型，横轴是活跃专家数，不同颜色表示不同批大小（32/64/128）。结果显示延迟主要随专家数增长，批大小影响很小。在Qwen3-30B-A3B上，专家数从16增至128使延迟增加4.7倍（批大小64固定）。

这张图揭示了MoE decode延迟的根本驱动因素：活跃专家数而非批大小。这直接驳斥了传统负载均衡（基于请求数）对MoE模型的适用性，证明了ELDR关注专家组合的正确性。4.7倍的延迟增长量化了问题的严重性。

**Figure 3**: Prefill expert activation predicts decode activation
该图展示prefill和decode阶段专家激活的相关性。每个点是一个专家，x轴是归一化prefill激活，y轴是归一化decode激活。图中显示三个模型在task和language工作负载上的相关系数（r），范围0.70-0.92。点集中在对角线附近，说明prefill激活高的专家在decode阶段也高。

这张图证明了ELDR可行性的关键假设：prefill阶段的专家激活能够预测decode阶段的专家使用。0.70-0.92的高相关性为在prefill→decode交接点做路由决策提供了理论依据，这是ELDR能够在线运作的基础。

**Figure 4**: Same-domain batches activate fewer experts per decode step than mixed-domain batches
该图量化同域批次相比混合域批次的活跃专家数减少。条形图展示不同批大小（32/64/128）下，同域批次相比混合域批次的活跃专家数减少比例。在task工作负载上减少17-21%，在language工作负载上减少3-10%，颜色越深表示减少越多。

这张图提供了ELDR性能改进的量化基础：如果同域批次能减少17-21%的活跃专家数，那么通过相似请求co-location应该能带来相应比例的TPOT改进。这也是后续实验中ELDR能达到5.9-13.9% TPOT降低的来源。

**Figure 5**: WildChat request volume is heavily skewed
该图展示WildChat语言工作负载的请求分布。英语占47.6%，中文27.8%，俄语9.2%，法语2.4%，葡萄牙语2.1%，西班牙语1.8%，其他9.2%。英语和中文合计约75%，显示显著的语言倾斜。

这张图解释了为什么纯局部性路由会导致负载不均：如果只是将相似语言请求聚在一起，英语和中文worker会过载。这证明了ELDR需要结合负载均衡的必要性，τ-band设计就是为了应对这种倾斜。

Figure 18: TPOT for Qwen3-235B-A22B on language workload

该图展示在40 GPU上部署235B模型（TP=4, EP=4）的性能。ELDR在所有请求率（24-56 req/s）上都降低median TPOT 2.7-4.3%，tail TPOT降低0.6-2.0%。证明ELDR可扩展到大规模MoE部署。

这张图证明ELDR的可扩展性：在40 GPU的大规模部署、使用专家并行的235B模型上仍然有效。这增强了方法的实用价值和部署信心。

Table 2: Topology generalization on Qwen3-30B-A3B

该表展示在不同decoder池大小下的TPOT降低率。8P8D：TPOT P50降8.0%，P99降2.5%；8P16D：P50降9.8%，P99降0.8%；8P24D：P50降10.2%，P99降1.1%。median改进随decoder数量增长，tail保持稳定。

这张表证明ELDR的可扩展性：更多decoder允许更细的聚类，每个worker的专家覆盖更窄，从而带来更大的median改进。tail稳定性证明平衡聚类在扩展时仍然有效。