通过FUSIONROUTE实现Token级LLM协作 Token-Level LLM Collaboration via FusionRoute
轻量路由器在每个解码步骤选择专家并提供互补logit，实现鲁棒的token级多LLM协作
前置知识
自回归解码（Autoregressive Decoding）
语言模型生成文本的基本范式：给定前缀 $x, y_{\leq t}$，模型在每一步预测下一个token的概率分布 $\pi(y_{t+1} | x, y_{\leq t})$，然后通过贪心解码或采样选择具体token。整个响应序列通过逐步生成构成：$y = (y_1, \ldots, y_T)$。
FUSIONROUTE的核心创新就是在每个解码步骤进行专家选择和logit融合，理解自回归解码是理解本文的基础。
Token级MDP（Token-level Markov Decision Process）
将语言模型解码过程形式化为马尔可夫决策过程：状态 $s_t = (x, y_{\leq t})$ 是当前前缀，动作 $a_t = y_{t+1}$ 是下一个token，奖励函数 $r(s, a) \in [0, 1]$ 映射文本质量得分。价值函数 $V^\pi(s)$ 表示从状态 $s$ 开始遵循策略 $\pi$ 的期望累积回报。
论文的理论分析建立在token级MDP框架上，通过性能差异引理（PDL）分析路由策略的最优性。
性能差异引理（Performance Difference Lemma）
强化学习中的经典结果，刻画两个策略之间的价值差距：$V^{\pi^*}(x) - V^\pi(x) = \sum_{t=0}^{T-1} \mathbb{E}_{y_{\leq t} \sim \pi} [V^*(x, y_t) - \mathbb{E}_{y_{t+1} \sim \pi(\cdot|x,y_{\leq t})}[Q^*(x, y_{\leq t+1})]]$。它表明每一步的决策偏差会累积成最终的性能差距。
论文用PDL证明了纯token级路由的根本局限性，以及FUSIONROUTE的互补生成器如何克服这一局限。
直接偏好优化（DPO, Direct Preference Optimization）
一种无需显式训练奖励模型的偏好对齐方法。给定偏好对 $(x, y_w, y_l)$，DPO通过对比损失直接优化策略参数：$\mathcal{L}_{\text{DPO}} = -\mathbb{E} [\log \sigma(\beta \log \frac{\pi(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi(y_l|x)}{\pi_{\text{ref}}(y_l|x)})]$。
FUSIONROUTE的CDPO阶段修改了标准DPO，加入专家logit作为偏置项来训练路由器的互补生成能力。
研究动机
当前大语言模型面临一个核心困境：单一通用模型要跨领域表现优异，通常需要扩展到训练和部署成本高昂的大规模参数；而较小的领域专家模型虽然高效，却难以泛化到训练分布之外。例如，一个在数学推理上表现优异的模型可能在代码生成上表现平庸，反之亦然。现有协作方法各有局限：混合专家（MoE）需要对所有专家进行梯度访问和联合训练，成本高昂且结构不灵活；多智能体系统（MAS）在响应级别进行粗粒度协作，需要多次完整序列生成，效率低下，且当智能体数量增加时，过长的上下文甚至会降低性能；模型合并方法对超参数敏感且存在参数干扰，无法在变化场景中鲁棒地强调不同专家行为。
本文的目标是本文旨在开发一种token级的多LLM协作范式，使其能够鲁棒、高效、自动地在所有场景下工作。具体目标包括：在每个解码步骤自动选择最合适的专家模型；通过路由器自身的互补logit修正专家预测中的错误；无需昂贵的联合训练或架构兼容性要求；在数学推理、代码生成和指令跟随等多个领域保持或超越专家性能的同时，实现跨域泛化。
与已有工作不同的是，本文抓住了现有token级协作方法的一个被忽视的关键问题：纯专家选择的脆弱性。先前的token级方法（如Collab）依赖外部奖励信号对候选token评分，但当专家模型在某些任务或token上表现不佳时，这种纯选择策略就不够鲁棒。FUSIONROUTE的独特视角是：路由器不仅要选择专家，还要作为补丁生成器提供互补logit——当专家不确定或不可靠时，路由器的信号可以纠正预测。这一设计将专家选择和知识补全统一在单一轻量级框架中，是与已有方法的本质区别。
核心方法
FUSIONROUTE的设计可以用一个类比来理解：想象一个经验丰富的项目经理（路由器）管理多个专业团队（专家模型）。在每个决策点，项目经理不仅决定由哪个团队主导，还会根据自己的判断补充或修正团队的建议。技术上，路由器是一个从基础LLM后训练而来的轻量模型，给定前缀 $(x, y_{\leq t})$，它同时产生两个输出：路由权重 $w_\theta \in \mathbb{R}^n$（决定选择哪个专家）和互补logit $\log \pi_{\theta_{LM}}(\cdot | x, y_{\leq t})$（用于修正专家预测）。最终的下一个token分布通过logit加法融合：$\log \pi_{\text{final}}(\cdot | x, y_{\leq t}) = \log \pi_{\theta_{LM}}(\cdot | x, y_{\leq t}) + \log \pi_{\text{expert}}(\cdot | x, y_{\leq t})$。训练采用解耦策略：先SFT建立路由能力和基础生成能力，再通过CDPO训练互补生成能力。
FUSIONROUTE的核心创新在于将专家选择和互补生成统一在单一框架中，并通过理论分析揭示了纯专家选择的根本局限。论文证明，即使存在近似最优的token级路由策略，仅基于观测最优Q值函数也无法可靠地恢复该策略（Theorem 4.3）。这是因为可识别性失败：观察到最优值沿着 $\pi^*$ 生成的轨迹，不足以确定哪些专家动作真正实现了这些值。FUSIONROUTE通过让路由器提供互补logit解决了这个问题——这扩展了策略的表达能力，使得即使没有单个专家能达到近似最优Q值，组合策略也能逼近最优策略。这一设计的关键优势是：当专家模型已经与最优策略合理对齐时，路由器只需修正有限的偏差状态，学习难度大大降低。
方法步骤详情
FUSIONROUTE的训练和推理分为明确的步骤。推理阶段：(1) 路由器处理输入序列，生成路由权重向量 $w_\theta$ 和互补logit；(2) 选择权重最高的专家 $I^*_\theta = \arg\max_i w_{\theta,i}$；(3) 通过logit加法融合路由器和选中专家的输出，得到最终token分布。训练阶段分为三个子阶段：SFT阶段——在200k样本上训练路由器，使用语言建模损失 $\mathcal{L}_{LM}$ 和路由损失 $\mathcal{L}_{\text{expert}}$ 的加权和，其中路由损失仅在专家预测不一致的信息性token上计算，避免无信息量的共识token主导梯度。CDPO阶段——修改标准DPO，加入专家logit作为偏置项：$\mathcal{L}_{CDPO}$ 包含路由器的对比损失和固定的专家偏置，当专家强时梯度小（少修正），专家弱时梯度大（多修正）。Mix训练阶段——将SFT和CDPO数据混合，SFT样本更新所有参数包括路由层，CDPO样本仅更新基础模型参数 $\theta_{LM}$，确保路由能力不退化。
技术新颖性
FUSIONROUTE与已有技术的本质区别体现在三个层面。第一，与MoE相比：FUSIONROUTE不需要专家模型结构兼容，不需要梯度访问，不需要联合训练，可以在推理时灵活集成任意数量的异构专家。第二，与多智能体系统相比：FUSIONROUTE在token级别而非响应级别进行协作，避免了多次完整序列生成的开销，且不存在上下文过长导致的性能退化。第三，与现有token级方法（如Collab）相比：Collab依赖外部奖励模型对候选token评分，而FUSIONROUTE通过直接在专家数据上微调路由器来学习路由策略，理论分析表明这等价于学习最大化最优Q函数的专家选择，从而用PDL获得更好的性能界。此外，FUSIONROUTE的互补生成机制是独有的，解决了纯专家选择的根本局限性。
实验结果
实验在Llama-3（8B）和Gemma-2（2B）两个模型家族上进行，使用来自MergeBench的数学、代码和指令跟随专家模型。在混合域性能评估中（Table 1），FUSIONROUTE在Llama-3家族上取得最高平均准确率0.566，相比最优专家（Instruct Expert的0.512）提升5.4个百分点，相比Collab（0.502）提升6.4个百分点。具体而言，在GSM8K上匹配数学专家的0.86，但在MBPP上达到0.36（匹配代码专家），HumanEval上0.63（超过指令专家的0.52），IfEval上0.69（接近指令专家的0.72），展现出跨域的鲁棒性。在Gemma-2家族上，FUSIONROUTE同样取得最高平均0.426，大幅领先Collab的0.360。通用数据集评估（Figure 3）显示，FUSIONROUTE在两个模型家族上对微调模型基线的win rate均显著高于所有其他基线，表明其在响应质量、对齐性和流畅性方面的综合优势。消融实验（Table 2）验证了互补logit的贡献：去除互补logit后，Llama-3家族平均准确率从0.566降至0.522，Gemma-2从0.426降至0.384，尤其在代码和指令跟随任务上差距明显。CDPO训练的消融（Figure 4）表明，仅SFT阶段已提供合理初始化，但加入CDPO后win rate大幅提升，证明互补组件有效纠正了专家失败。值得注意的是，FUSIONROUTE在8B规模上相比其他方法的优势更加明显，表明随着模型容量增长，互补路由机制的价值更加突出。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K（数学推理） | Accuracy | 0.82 | 0.82 (Math Expert) | 匹配数学专家，同时在其他领域保持强性能 |
| MATH500（数学推理） | Accuracy | 0.33 | 0.36 (Math Expert) | 略低于数学专家，但大幅领先Collab的0.32 |
| MBPP（代码生成） | Accuracy | 0.36 | 0.34 (Code Expert) | 超越代码专家2个百分点 |
| HumanEval（代码生成） | Accuracy | 0.63 | 0.66 (Code Expert) | 接近代码专家，大幅领先Collab的0.54 |
| IfEval（指令跟随） | Accuracy | 0.69 | 0.72 (Instruct Expert) | 接近指令专家，大幅领先Collab的0.55 |
| Llama-3平均准确率 | Avg Acc | 0.566 | 0.536 (Fine-tuned Model) | 提升3个百分点，超越所有基线 |
局限与改进
论文存在几个值得注意的局限性。首先，实验规模有限：仅在8B和2B两个模型规模上验证，且专家模型数量固定为3个（数学、代码、指令跟随），未探索更多专家或更大规模模型的行为。其次，路由选择假设专家来自同一模型家族（Llama-3或Gemma-2），未验证跨家族异构专家的协作效果。第三，理论分析依赖较强的假设（如全局覆盖假设），虽然论文证明了纯专家选择的局限性，但互补生成器的理论保证仍需在更弱假设下进一步分析。第四，训练数据使用PerfectBlend和OpenHermes数据集，可能引入数据分布偏差，未在更多样化的数据源上验证。此外，路由器的计算开销虽声称轻量，但论文未提供具体的延迟和吞吐量对比数据，对于实时应用的可行性评估不足。
独立分析的弱点
从独立分析角度看，FUSIONROUTE存在几个可改进的弱点。第一，路由权重的计算仅基于最终隐藏状态的线性投影 $\langle W, h_{\theta_{LM}}(x, y_{\leq t}) \rangle$，这种简单的线性映射可能无法捕捉复杂的专家选择模式，特别是在需要组合多个专家知识的场景下，可以考虑引入注意力机制或门控网络。第二，Mix训练阶段将SFT和CDPO数据随机混合，但未设计自适应的混合比例调整策略，在训练后期可能需要更多CDPO样本来精炼互补能力，可以探索课程学习式的调度。第三，论文未考虑专家模型版本更新的场景——当某个专家模型升级后，路由器是否需要重新训练？增量学习或元学习策略可以降低维护成本。第四，互补logit的加法融合假设两个信号空间兼容，但不同架构的专家可能有不同的logit分布特性，可探索更灵活的融合机制（如门控融合或注意力融合）。
未来方向
基于FUSIONROUTE的框架，未来研究可以从多个方向延伸。首先，扩展到更多专家和更细粒度的领域划分：当前仅使用3个专家覆盖数学、代码和指令跟随，可以探索10-20个细分领域专家的协作，甚至实现动态专家池管理。其次，探索FUSIONROUTE在多模态场景的应用：将图像、音频等模态的专家模型纳入协作框架，实现跨模态的token级路由。第三，研究自适应的推理效率优化：当前每个token都需要路由器前向传播，可以通过预测置信度来跳过低不确定性位置的路由计算，或缓存高频路由模式。第四，将理论分析扩展到更弱的假设下：论文已证明全局覆盖假设下的最优性，可以探索在部分覆盖或分布偏移下的性能保证。第五，探索FUSIONROUTE与检索增强生成（RAG）的结合，将外部知识源作为额外的专家参与路由决策。
复现评估
论文提供了较好的复现条件。代码已在GitHub开源（https://github.com/xiongny/FusionRoute），使用标准的Python/PyTorch栈。训练数据方面，SFT阶段使用PerfectBlend数据集的200k样本，CDPO阶段使用OpenHermes数据集的100k偏好对，这些数据集均为公开可用。专家模型来自MergeBench，包含Llama-3.1-8B-Instruct和Gemma-2-2B-Instruct的领域微调版本，均可从HuggingFace获取。算力需求方面，训练基于8B模型，估计需要4-8张A100 GPU进行约2-3天的训练（SFT 1 epoch + CDPO 1 epoch + Mix训练）。复现难度中等，主要挑战在于：(1) 需要准备领域专家模型；(2) CDPO阶段需要构造高质量偏好对；(3) 路由损失中信息性token的选择策略需要实现细节。论文的超参数设置（$\lambda=1/3$, $\beta=0.1$, 学习率$10^{-5}$）较为详细，有助于复现。
论文图表
左侧展示序列级协作的粗糙低效（每个模型生成完整响应后选择），中间展示先前token级方法的不稳定性，右侧展示FUSIONROUTE通过互补路由实现细粒度、高效、鲁棒的token级协作。
这张图直观地展示了FUSIONROUTE的定位——解决了序列级方法的效率问题和先前token级方法的稳定性问题，是理解论文动机的关键入口。
比较FUSIONROUTE完整版本和仅SFT版本的win rate差异，展示CDPO阶段对互补生成能力的关键贡献。
这张图验证了论文的核心主张——互补logit（通过CDPO学习）对最终性能至关重要，是方法有效性的关键证据。
比较去除互补logit后的路由变体与完整FUSIONROUTE的性能差异，展示互补生成机制的贡献。
这张表直接验证了理论分析的结论——纯专家选择存在局限性，互补logit是FUSIONROUTE成功的关键组件。