动态潜在路由：一种通过离散潜在码引导残差流的单阶段大模型后训练方法 Dynamic Latent Routing
DLR通过离散潜在码引导残差流，在低数据下单阶段超越SFT。
前置知识
残差流（Residual Stream）
Transformer 中每一层将输入加到输出形成的累积向量流，可视为各层「读写」的共享工作记忆。对残差流做加性扰动（即 steering vector）是一种轻量级的表示工程手段，可在不破坏输入序列结构的前提下改变模型行为。
DLR 的核心机制是向残差流注入通过离散码索引的 steering 向量，这是它与「额外 token 注入」类方法（如 Pause Token、TokenAssorted）最关键的区别。
动态马尔可夫决策过程（Dynamic MDP）
标准 MDP 中奖励函数是状态-动作的函数，与时间无关；动态 MDP 把奖励改为 $r_t(s,a)$，使其显式依赖时间步 $t$。这种设定下不存在全局最优的静态策略，最优策略必须随时间变化。论文在此设定下证明了「子策略时序拼接可恢复最优目标到达策略」。
这是 DLR 理论基础的设定来源：把 LLM 推理过程中不同阶段的「思考动作」类比为不同子策略，时间维度上的拼接等价于 routing。
SFT（监督微调）
在大模型后训练中，SFT 用人工标注或合成的 (输入, 输出) 监督对直接最大化 $p_\theta(y|x)$，是工业界最常用的后训练基线。其优势是稳定、简单，但依赖大量高质量监督数据，低数据场景下容易过拟合或欠拟合。
本文所有实验都把 SFT 作为主基线，并把 DLR 定位为「低数据下优于 SFT 的替代方案」，因此读者必须理解 SFT 的工作方式与瓶颈。
层级强化学习与子策略（Sub-policy / Options）
经典层级 RL 把动作空间扩展为「options」或「sub-policies」，每个高层动作在低层执行一段固定策略。SMDP（半马尔可夫决策过程）和 MAXQ、Feudal Networks 都属于这一谱系。但这些工作大多缺乏「为什么时间轴上的拼接能带来增益」的理论解释。
GDS 算法给出了这一理论解释（Theorem 13），是 DLR 将「LLM 推理」类比为「子策略拼接」合法性的来源。
VQ-VAE / 离散码本（Discrete Codebook）
通过最近邻查找或 Gumbel-Softmax，将连续向量量化到有限码本中的离散索引。TokenAssorted、Abstract-CoT 等工作把离散码作为「额外 token」插入到自然语言序列中训练。
DLR 也使用离散码本（$C=32$），但码不进入词表，而是直接索引一个 steering 向量。这避免了离散码与自然语言 token 竞争位置嵌入的副作用。
研究动机
现有 LLM 后训练中的离散潜在表示方法（Pause Tokens、TokenAssorted、Abstract-CoT 等）存在两大共性缺陷。第一，它们把离散码作为「额外 token」插入自然语言序列，破坏了预训练序列结构，必须依赖大量 warm-up 才能被模型容忍——Pause Tokens 需要大规模预微调，TokenAssorted 需要多域多轮训练，Abstract-CoT 需要专门子阶段迭代。在低数据后训练场景下（单 epoch）这些方法常常崩溃：GSM8K-Qwen3-0.6B 上 TokenAssorted 仅 15.7%（SFT 46.0%），SciQA-Qwen3-1.7B 上仅 17.3%（SFT 56.4%）。第二，所有方法都需要多阶段训练：码本要么事先固定、要么由单独 VQ-VAE 预标注、要么需要专门 warm-up，没有一种方法能在单一阶段内同时学「用什么码」「码做什么」「码怎么组合」三件事。第三，从理论层面看，为何「时间轴子策略拼接」能帮助 RL 一直没有清晰解释。
本文的目标是本文提出 Dynamic Latent Routing（DLR），目标是在单一训练阶段内联合学习三件事：(i) 一个离散码本 $\{e_k\}$；(ii) 一个路由头 $W_r$，决定每个 token chunk 使用哪个码；(iii) 基础语言模型参数 $\theta$。理论层面，提出 General Dijkstra Search（GDS）算法并在动态 MDP 设定下证明其能恢复全局最优目标到达策略（Theorem 13），为「子策略时序拼接」提供首次形式化保证。工程层面，在 5 个模型 × 4 个 QA 数据集共 24 个 cell 上，DLR 在低数据（单 epoch）设置下全部超过 SFT，平均提升 +6.6 pp，推理类任务上 +7.8 pp，最大单点提升 +18.8 pp（SciQA-Qwen3-8B）。
与已有工作不同的是，DLR 的独特切入角度是「码不作为 token，而是作为残差流上的加性 steering 向量」：给定码 $a_m$，在注入层 $l^*$ 把 $\alpha e_{a_m}$ 加到该 chunk 内所有 token 的隐藏状态上。这既避免了「码占用词表位置」导致的序列结构破坏，也无需 warm-up 阶段，从训练第一步起就保留了预训练模型的自然语言能力。同时，单一目标函数 $\mathcal{L}_{\text{DLR}}$（Eq. 4）把 LM 损失、信息增益、路由策略熵、边际熵正则四项融合，让「search-select-update」三步天然地在一个目标下联合优化，是首个真正端到端单阶段的离散潜在后训练方法。
核心方法
DLR 把 LLM 的推理过程类比为动态 MDP 中的子策略拼接：模型沿着 token 序列生成，每 $K$ 个 token 组成一个 chunk，由一个路由头分配一个离散码 $a_m \in \{0,1,\dots,C-1\}$，该码索引码本中一个可学习的向量 $e_{a_m}$，在注入层 $l^*$ 处加到残差流上。整个训练循环遵循 GDS 范式的神经松弛版：先 SEARCH（采样 $N$ 条候选码序列）、再 SELECT（取让 $\log p_\theta(x|a)$ 最大的那条）、最后 UPDATE（用一个组合损失联合更新码本、路由头和 LM）。这与 GDS 中「优先队列 → 选最优 → 拼接」的逻辑一一对应，只是把显式优先队列换成了可学习的 policy head。
DLR 与之前离散潜在方法（Pause Token、TokenAssorted 等）的本质区别在于：码不被注入词表，而是被加到残差流；训练不是多阶段，而是单阶段端到端；目标函数不是单纯 LM 损失，而是「LM 损失 + 信息增益 + 路由策略负熵 + 边际熵正则」四元组合，使 routing、codebook、LM 在一个梯度信号下联合收敛。Theorem 13 提供理论背书：在动态 MDP 中，搜索 over 子策略拼接的 GDS 算法能够恢复全局最优目标到达策略，因此 DLR 这种「搜索-选择-更新」循环在概念上有最优性保证。
方法步骤详情
DLR 六步：(1) 初始化 $\theta$、码本 $\{e_k\}\subset\mathbb{R}^H$（初值 0）、路由头 $W_r\in\mathbb{R}^{C\times H}$，论文取 $C=32, K=4, N=8$。(2) 路由：注入层 $l^*$ 首 token 用 $z_m = W_r\,\text{sg}(h^{(l^*)}_{mK+1})$ 算 logits，stop-gradient 切 LM→router 梯度。(3) 残流注入：$h^{(l^*)}_t\leftarrow h^{(l^*)}_t+\alpha e_{a_m(t)}$。(4) Search：从温度 $\tau_i$ 分布采 $N$ 条候选码。(5) Select：$a^*=\arg\max\log p_\theta(x|a^{(i)})$，等价 GDS 弹出最高 value。(6) Update：优化 $\mathcal{L}_{\text{DLR}}$ 四项——LM 损失+信息增益+路由熵+边际熵正则，分别保留基座能力、最大化码增益、鼓励多样、把码分布推向 bi-zipfian 先验。
技术新颖性
技术新颖性体现在三点。第一，注入方式新颖：码 → 残差流加性 steering vector，避开 token 注入对预训练序列结构的破坏，省去 warm-up 阶段。第二，训练范式新颖：单阶段端到端联合优化码本、路由头、LM，避免了「码本预训练 → LM 后训练 → 策略对齐」的多阶段流程；目标函数把 skill discovery 的互信息损失 $-\log p_\theta(a|x) + D_{KL}(p_\theta(a)\|p(a))$ 与 LM 损失及信息增益融合，是 LLM 领域首次出现的统一目标。第三，理论新颖：GDS 算法（Algorithm 1）在动态 MDP 下被证明能恢复最优目标到达策略（Theorem 13），首次给出「时间轴子策略拼接具有最优性」的形式化定理，并据此推导出 DLR 目标函数的合理性。
实验结果
5 模型（Qwen3-0.6B/1.7B/4B/8B、Llama3.2-1B/3B）× 4 QA 数据集共 24 cell 上，DLR 全部战胜 SFT、Pause Token、TokenAssorted（Table 1）。平均 +6.6 pp，推理类 +7.8 pp；最大单点 SciQA-Qwen3-8B（SFT 61.8% → DLR 80.6%，+18.8 pp），其次 GSM8K-Llama3.2-1B（+10.2 pp）。TokenAssorted 小模型推理系统性崩溃（最低 13.1%）。消融：码本坍缩（C=1）、搜索关闭（N=1）、路由头不训练均显著降精度。码本多样性（Table 2）：不同码平均余弦 ≤ 0.28，利用率 31–100%。因果（Table 3、4）：steering 缩放置零使精度下降 6.2–17.4 pp；单码消融平均损失 0.71–2.74 pp。算术案例：30 码自发分配给 Quirke 子任务，进位结构在码序列上肉眼可读；最难 6 深度进位级联 DLR 比 SFT 高 +50 pp，单码 swap 在 27–31% 样本上修错预测。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K 数学推理（Qwen3-8B） | 测试集准确率 (%) | DLR 84.3% | SFT 78.9%；TokenAssorted 63.0%；Pause Token 79.4% | +5.4 pp 相对 SFT；+21.3 pp 相对 TokenAssorted |
| ScienceQA 知识推理（Qwen3-8B） | 测试集准确率 (%) | DLR 80.6% | SFT 61.8%；TokenAssorted 69.7%；Pause Token 65.2% | +18.8 pp 相对 SFT；最大单点提升 |
| StrategyQA 多步推理（Qwen3-4B） | 测试集准确率 (%) | DLR 68.7% | SFT 65.8%；TokenAssorted 39.3%；Pause Token 37.6% | +2.9 pp 相对 SFT；显示在隐式推理上 DLR 仍稳定 |
| CSQA 常识推理（Qwen3-4B） | 测试集准确率 (%) | DLR 84.0% | SFT 82.5%；TokenAssorted 80.6%；Pause Token 80.2% | +1.5 pp 相对 SFT；饱和数据集上提升较小 |
| GSM8K 低资源场景（Llama3.2-1B） | 测试集准确率 (%) | DLR 41.1% | SFT 30.9%；TokenAssorted 14.2% | +10.2 pp 相对 SFT；低数据下 SFT 仍弱 |
| 六位数加法 4-deep 进位（2L/1H/128d Transformer） | 测试集准确率 (%) | DLR 95.5% | SFT 大约 45%（参考最深 6-deep 进位 +50 pp 反推） | 在最难 6 深度进位级联上比 SFT 高 +50 pp |
局限与改进
作者在 §7 与 Appendix I.8 显式提到三点局限。第一，实验规模集中在 ≤ 8B 的开源模型上，DLR 在 70B+ 规模上是否仍单调增益、单阶段训练是否仍稳定，尚未验证。第二，路由头需要 stop-gradient 切断 LM→router 的梯度回流（Eq. 2），这意味着 router 只能从「码带来的似然增益」间接学习路由信号，对超长上下文或长程推理场景，路由策略可能滞后于 LM 状态。第三，码的「因果负荷」虽然被证实（单码消融最大 -1.72 pp），但码本是否真的对应人类可理解的「推理子步骤」仍依赖 case study 与事后分析，论文未能给出可大规模自动化的码-功能映射管道。本人观察到的额外限制：(a) 推理开销增加 $N=8$ 倍的 forward pass（要采样 8 条候选码），相比 SFT 单次前向成本上升明显；(b) $C=32, K=4$ 是手工超参，论文 App. F 的扫描虽显示对结果不极度敏感，但并未提出自动选择策略；(c) 评估数据集以 QA 为主，未覆盖开放生成、对话、代码等典型后训练任务。
独立分析的弱点
独立分析可改进之处有四。(1) 推理成本：每个训练步需要 $N=8$ 次前向以采样候选码序列，相比 SFT 单次前向贵 8×，工业部署成本难以承受。改进方向：把码采样做成单次 forward + 树形解码（beam search 复用 KV cache），或用蒸馏把 DLR 模型压回单次前向的 SFT 等价物。(2) 超参敏感：$C=32$、$K=4$、$N=8$、$\alpha_{\text{policy}}$、$\alpha_{\text{reg}}$ 在 App. F 中仅做小范围扫描。改进方向：引入元学习 / 贝叶斯优化自动搜索，或基于模型 hidden dim 大小推导自适应规则。(3) 路由头只用 chunk 首 token 的隐藏状态预测整 chunk，可能错过 chunk 内部细粒度上下文；改进方向是 chunk 内 token 平均池化或 cross-chunk attention。(4) 实验仅 5 个开源模型 + 4 个 QA 任务，未在非 QA 任务（摘要、对话、代码）上验证；尤其缺少与 RLHF/DPO 对比，改进方向是补做 chat 场景实验。
未来方向
作者在 §7 与 §6.1 暗示了三类延伸方向。第一，把 GDS 的理论结果与 DLR 工程实现进一步形式化：当前 Theorem 13 仅给出「拼接可恢复最优策略」的存在性定理，但缺乏对「多少子策略足够」「如何选抽象比 $K$」的样本复杂度上界；未来可推导 PAC-Bayes 或 regret bound，给出 $C$、$K$ 与样本量的关系式。第二，把路由码作为模型编辑的「命名接口」：论文已展示在算术任务上单码 swap 可修错 27–31% 预测，未来可推广到 safety unlearning（关闭某个码 → 屏蔽一类有害行为）和持续学习（新增码 → 学新能力）。第三，把 DLR 与 SAE、auto-interp 结合：码天然离散且命名，传统 SAE pipeline 所需 $10^8$ 量级特征标注与聚类后处理可以省略，直接对码做语义归因。本人建议的额外方向：(a) 扩展到多模态模型；(b) 与 mixture-of-experts 结合，让每个码对应一个 expert 子网络；(c) 探索路由码的层级结构（码的码、码的组合规则），让模型学到「算子代数」式的组合能力。
复现评估
复现信息较完整：基座（Qwen3-{0.6B,1.7B,4B,8B}、Llama3.2-{1B,3B}）、超参（单 epoch、$lr=10^{-5}$、effective batch size 8、$C=32$、$K=4$、$N=8$）、硬件（2×H100）、数据集（GSM8K 1319、SciQA 2224、StrategyQA 687、CSQA 1221）以及 bootstrap 95% CI。Algorithm 2 给出执行流程；$\alpha_{\text{policy}}$、$\alpha_{\text{reg}}$ 在 App. F 有消融扫描。三处可改进：(1) 未声明代码仓库链接，需自行实现；(2) 注入层 $l^*$ 选择规则未明确，需做敏感性扫描；(3) bi-zipfian 先验 $p_{\text{bi-zipf}}(a)$ 在 Appendix D 给出但实现细节需查附录。整体复现难度中等偏上，主要工作量在路由头+码本+stop-gradient 的反向传播图。算术案例 2L/1H/128d Transformer 是验证 DLR 思想的首选实验。
论文图表
