语义路由：探索扩散Transformer的多层LLM特征加权机制 Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers

本文方法的具体步骤如下：第一步，使用预训练的Qwen3-VL-4B-Instruct作为文本编码器，提取其全部L层隐藏状态序列$H^{(l)} \in \mathbb{R}^{N \times C}$，其中$N$为文本序列长度，$C$为LLM隐藏维度。第二步，对每层特征施加LayerNorm以消除跨层级的尺度差异，得到$\text{LN}(H^{(l)})$。第三步，根据所选融合策略计算门控logits：对于TCFG，首先使用正弦编码嵌入连续时间$t$得到$\phi(t)$，然后通过小型MLP计算logits $z_t = g_\psi(\phi(t))$；对于深度自适应融合，为每个DiT块$d$学习独立的logit向量$z_{t,d} = \beta_d$；对于联合融合，为每个块$d$设置独立的门控函数$z_{t,d} = g_{\psi_d}(\phi(t))$。第四步，通过softmax归一化将logits转换为凸组合权重$\alpha_{t,d} = \text{Softmax}(z_{t,d})$。第五步，使用凸组合权重聚合多层特征得到融合表示$H_{\text{cond}}(t, d)$。第六步，将融合后的文本表示输入DiT骨干第$d$个Transformer块的交叉注意力模块。TCFG模块使用128维正弦编码作为时间步输入，整体架构增加的参数和计算开销极小。

本文的技术新颖性体现在多个层面。首先，统一框架的设计使得三种融合策略成为同一接口的实例化，这在方法论上是新颖的——以往工作往往单独提出某种融合策略，缺乏严格控制的对比。其次，深度自适应融合（S2）的简单性与有效性形成鲜明对比：仅需为每个DiT块学习一个L维logit向量（本文中L=36，D=24，总参数量可忽略），就能在GenAI-Bench Counting任务上获得+9.97的巨大提升，这揭示了一个重要洞察——可学习性只有在与深度维度结构对齐时才能有效释放。第三，对时间维度融合失败的机制性诊断具有独立的方法论价值：首次揭示了在CFG下名义时间步与有效SNR之间的漂移，以及由此导致的语义滞后现象。反事实验证（通过余弦窗口调制的人工时间步提前）不仅确认了诊断的正确性，还暗示了未来轨迹感知条件化的可能方向。第四，关于权重动力学的分析揭示了有趣的选择模式：LLM首尾层总是被忽略，倒数第二层主要在早期时间步起作用，中间层呈现邻域抑制现象（特定层获得高权重而相邻层被抑制），这些模式的可解释性增强了方法的可信度。

本文存在几个值得关注的弱点。首先，时间维度融合的失败诊断虽然准确，但解决方案仅停留在反事实验证层面，未提出实际可用的轨迹感知融合方案。改进方向可以是开发基于实际推理状态（如当前latent的PSNR或MSE估计）的自适应时间步映射函数，而非依赖名义时间步。其次，深度自适应融合（S2）的参数化过于简单（每个块一个固定logit向量），未能利用时间步信息。可以探索轻量级的块特定时间条件门控，在保持S2稳定性的同时引入适度的时间自适应性。第三，评估指标偏重文本-图像对齐，缺乏对生成多样性和模式覆盖的评估，可能掩盖了某些融合策略在多样性方面的潜在问题。第四，实验设置中CFG scale固定为6.0，未分析不同CFG强度下各策略的鲁棒性，这在实际应用中可能影响策略选择。第五，LayerNorm的选择缺乏消融实验，未与其他归一化策略（如RMSNorm、无归一化）进行对比。第六，TCFG模块的128维正弦编码和MLP结构未进行超参数敏感性分析，最佳架构设计尚不清楚。

作者和本文成果可延伸的未来研究方向包括以下几个方面。首先，开发轨迹感知的条件化机制是最直接的后续工作：可以利用推理过程中的中间状态信息（如latent的去噪程度估计）来动态调整时间步映射，而非使用名义时间步。其次，将语义路由思想扩展到视频生成领域，引入时间一致性约束，探索多帧间语义路由的协调机制。第三，研究自适应路由与模型压缩的结合，通过分析权重分布来识别对特定生成阶段不重要的LLM层，实现推理时的层裁剪。第四，将深度自适应路由与深层融合方法（如FuseDiT的K/V复用）结合，可能产生协同效应。第五，探索在微调阶段逐步调整路由策略的课程学习方案，使模型在训练早期学习粗粒度路由，后期逐渐细化。第六，将框架应用于多模态条件化场景，如图像编辑、风格迁移等任务，验证语义路由的通用性。最后，从理论角度分析轨迹不匹配问题，建立CFG强度与最优时间步偏移之间的解析关系。

本文在复现方面具有较好的条件。代码已在GitHub开源（https://github.com/zooblastlbz/SemanticRouting），这为复现提供了重要基础。使用的文本编码器Qwen3-VL-4B-Instruct和VAE（来自Stable Diffusion 3）均为公开可用的预训练模型。训练数据为LAION-400M的3000万子集，原始数据集公开可用，但合成密集描述使用的Qwen3-VL-32B-Instruct模型较大，复现时可能需要相当的推理资源。训练设置明确（AdamW优化器，学习率1e-4，批量大小512，500k步），但批量大小512对于学术实验室可能需要多GPU并行。DiT骨干约2.24B参数，整体训练计算量较大。评估基准（GenAI-Bench、GenEval、UnifiedReward-2.0）均为公开工具，评估使用的Qwen3-VL-235B-A22B-Instruct作为评判模型也是公开的。总体而言，代码开源加上明确的超参数设置使得方法层面的复现相对可行，但完整训练流程需要显著的计算资源。