基于Roofline建模的设备端LLM硬件协同设计缩放定律 Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs
用Roofline建模结合损失缩放定律，实现设备端LLM架构的精度-延迟帕累托优化
前置知识
Roofline模型
Roofline模型是一种用于分析计算内核性能瓶颈的可视化工具。它通过算术强度（Arithmetic Intensity）I = F/M（每字节浮点运算数）来判断计算任务是受限于硬件的计算能力（compute-bound）还是内存带宽（memory-bound）。给定硬件峰值计算吞吐量 π_H（FLOPS）和持续内存带宽 β_H（Bytes/s），理想延迟为 T = max(F/π_H, M/β_H)。该模型能够直观展示不同操作在硬件上的运行效率，帮助识别优化方向。
本文的核心方法论之一就是使用Roofline模型来预测不同LLM架构在目标硬件上的推理延迟，从而无需实际运行所有候选架构即可评估其性能。
缩放定律（Scaling Laws）
缩放定律描述了模型规模、训练数据量和计算资源之间的定量关系。经典的缩放定律（如Chinchilla定律）表明验证损失可以建模为模型参数量、数据量和计算量的幂律函数。本文扩展了这一概念，将架构超参数（如深度、宽度、MoE稀疏度）纳入损失建模，使得可以直接从架构设计预测模型质量。
理解缩放定律是理解本文如何建立架构参数与模型损失之间解析关系的基础，这是实现硬件协同设计的关键第一步。
混合专家模型（Mixture of Experts, MoE）
MoE是一种稀疏激活的模型架构，包含多个专家网络，每个token只激活其中K个专家。激活率 ρ = K/E 表示激活专家数与总专家数的比值。MoE的优势在于可以在保持每token计算量不变的情况下大幅增加模型总参数量，从而提升模型容量。Top-K路由策略决定了每个token被分配到哪些专家。
本文发现MoE架构在设备端部署场景下100%占据帕累托最优配置，是本文最重要的实验发现之一。
帕累托最优（Pareto Optimality）
在多目标优化问题中，帕累托最优是指不存在另一个解能在所有目标上都优于当前解的配置。帕累托前沿（Pareto Frontier）是所有帕累托最优解的集合，代表了不同目标之间的最佳权衡曲线。在本文中，两个目标分别是模型精度（验证损失）和推理延迟。
本文将架构选择建模为精度-延迟的双目标优化问题，帕累托前沿是指导实际架构选择的核心工具。
分组查询注意力（Grouped-Query Attention, GQA）
GQA是一种注意力机制变体，通过让多个查询头共享同一组键值头来减少KV缓存的内存占用。GQA比率 gqa = n_h/n_kv 表示查询头数与键值头数的比值。较大的GQA比率意味着更少的KV头，从而减少内存带宽消耗和KV缓存占用，但可能影响模型表达能力。
GQA是本文架构设计空间中的关键参数之一，其最优配置在不同约束条件下有显著差异。
设备端推理（On-Device Inference）
设备端推理是指在边缘设备（如手机、汽车SoC、机器人）上直接运行LLM，而非依赖云端服务器。这种场景面临严格的内存、带宽、功耗和延迟约束。典型的设备端硬件包括NVIDIA Jetson Orin等嵌入式GPU，其计算能力和内存带宽远低于数据中心GPU。
本文的核心应用场景就是设备端部署，理解设备端的约束条件对于理解论文的动机和方法至关重要。
研究动机
当前大语言模型在设备端部署面临严重的架构选择困境。云端优化的模型架构（如Qwen2.5-0.5B）在边缘设备上往往无法达到理想的精度-延迟平衡：高精度模型可能违反延迟预算，而延迟优化的管线又会降低精度。具体而言，Transformer架构具有不规则的计算-内存特征——注意力层受限于带宽，前馈网络层受限于计算，KV缓存对片上内存施加压力。尽管AI-SoC提供高理论吞吐量，LLM推理很少能达到峰值利用率，实际性能由算术强度、片上局部性和工作负载模式决定。架构修改可以将操作在Roofline模型的不同区域间移动，但目前缺乏系统性的方法来指导这种架构调整。现有的缩放定律（如Kaplan定律、Chinchilla定律）仅关注训练效率，未能将推理延迟与架构设计关联起来。
本文的目标是本文提出一个硬件协同设计框架，旨在建立一个统一的数学模型，同时捕获模型精度（通过架构超参数的损失缩放定律）和推理性能（通过Roofline建模的延迟预测）。具体目标包括：第一，在NVIDIA Jetson Orin上基准测试数千个候选架构，建立架构参数与验证损失之间的解析关系；第二，通过Roofline分析建立延迟预测模型，使得无需实际运行即可评估架构性能；第三，构建精度-延迟帕累托前沿，为不同应用场景提供最优架构选择；第四，将实证框架扩展为理论推导，给出不同硬件约束下的最优架构解析解。
与已有工作不同的是，本文的独特切入点在于将三个通常独立研究的领域——缩放定律、Roofline性能分析和神经架构搜索——统一到一个连贯的框架中。现有工作存在明显的碎片化：缩放定律研究（如Scaling Laws for Neural Language Models）只关注训练效率；Roofline分析工具（如LLM-Viewer、LLMCompass）只提供事后性能分析，不指导架构设计；神经架构搜索（NAS）通常只优化单一目标（验证损失），忽略了延迟约束。本文首次提出将架构参数同时作为损失模型和延迟模型的输入变量，通过帕累托优化框架联合优化，实现了从经验性架构选择到原理性硬件协同设计的范式转变。
核心方法
本文的方法论可以概括为双模型加帕累托优化的整体思路。首先，研究者建立一个基于架构超参数的损失预测模型，将验证损失建模为深度、宽度、MoE稀疏度、FFN扩展比等参数的多项式函数。然后，利用Roofline模型建立延迟预测框架，将每个计算算子分类为计算受限或带宽受限，从而快速估算推理延迟。最后，将两个模型耦合，在精度-延迟平面上构建帕累托前沿，识别最优架构。这种方法的核心直觉是：如果我们能同时预测这个架构有多准和这个架构有多快，就能在不实际训练所有候选架构的情况下找到最佳权衡点。
本文的核心创新在于建立了硬件协同设计缩放定律，其本质区别于已有方法的关键点有三个。第一，与经典缩放定律（如Chinchilla定律将损失建模为参数量和数据量的函数）不同，本文将损失建模为架构超参数的具体函数，包括深度 l、宽度 d、KV缓存维度 d_m、FFN扩展比 r 和激活率 ρ，具体形式为 L_hat(θ) = κ_l * l^{α_l} + κ_ρ * ρ^{α_ρ} * d^{β_1} * r^{α_r} + κ_d * d^{β_2} * r^{α_r} + d_m^{α_m} + L_∞。第二，与事后基准测试不同，本文的延迟预测基于Roofline模型的解析推导，可以快速评估数万个配置。第三，与单目标NAS不同，本文将架构搜索形式化为双目标优化问题，并推导出不同硬件约束下的最优架构闭式解。
方法步骤详情
方法的具体步骤如下。第一步，构建架构搜索空间，涵盖深度（1-48层）、宽度（256-4096）、FFN扩展比（0.25-8）、MoE激活率（0.0625-1.0）和GQA比率等参数。第二步，在NVIDIA Jetson Orin上基准测试1942个候选架构的延迟特性。第三步，选择170个代表性架构进行完整训练（每个10B token），使用AdamW优化器、余弦退火学习率（从1e-4到1e-6）、批量大小256，使用QK-Norm增强训练稳定性。第四步，使用非线性最小二乘法拟合损失缩放定律，得到训练R²=0.975、验证R²=0.952的高精度拟合。第五步，基于Roofline模型建立延迟预测框架，将每个算子的算术强度与硬件特性比较，分类为计算受限或带宽受限，估算总延迟 T_total = l * T_prelayer(S_in) + Σ_{S=1}^{S_out} l * T_declayer(S+S_in)。第六步，结合损失和延迟模型构建帕累托前沿，并推导不同约束条件下的最优架构理论公式。
技术新颖性
本文的技术新颖性体现在多个层面。在建模层面，首次将架构超参数直接纳入损失缩放定律，使得架构设计可以被解析地优化而非仅仅经验性地搜索。在理论层面，推导了不同硬件约束条件下的最优激活率闭式解：延迟约束下 ρ* = ρ_min（最大化稀疏度），内存约束下 ρ* 与 d^{(β_1-β_2)/α_ρ} 成正比（宽度-稀疏度缩放定律），双约束下需解二次方程。在实证层面，在1942个架构上的大规模实验揭示了多个反直觉的发现：设备端MoE架构100%优于稠密架构、浅而宽的设计优于深而窄的设计、最优FFN扩展比远小于传统的4倍。在应用层面，提出了完整的从理论预测到实际部署的工作流程，将架构选择时间从数月缩短到数天。
实验结果
本文的核心发现可以归纳为以下几个方面。首先，稀疏MoE架构在设备端批量大小为1的推理场景下100%占据帕累托最优配置，这是因为MoE在保持每token计算量不变的情况下提供更大的模型容量。其次，帕累托最优架构呈现浅而宽的模式：深度通常在20层以下，而宽度显著大于同等规模的传统模型，宽度先达到搜索空间上界，之后才增加深度。第三，预填充和解码阶段对MoE配置有相反的要求：预填充阶段偏好较少专家数（避免内存带宽瓶颈），解码阶段偏好最大专家数（因为每token只激活固定数量的专家）。第四，最优FFN扩展比显著小于传统的4倍，在许多配置中低于1倍仍是可行的。第五，INT8量化一致改善帕累托前沿，但改善幅度低于理论2倍，因为非线性操作和精度转换引入额外开销。第六，共设计架构在NVIDIA Jetson Orin上实现19.42%更低的困惑度（50.88 vs 63.14），验证了框架的实际价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WikiText-2困惑度（设备端等延迟） | Perplexity | 50.88 | 63.14（Qwen2.5-0.5B） | 19.42%更低困惑度 |
| 损失缩放定律拟合精度 | R² Score | 训练0.975，验证0.952 | N/A（首次建立此框架） | 在170个架构上的高精度拟合 |
| 架构搜索效率 | 配置评估速度 | 50,000+配置/20分钟 | 传统NAS数月 | 从数月缩短到数天 |
| 帕累托前沿覆盖 | 架构数量 | 1942个候选架构 | N/A | 全面的架构空间探索 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，损失缩放定律基于170个架构训练10B token的数据拟合，对于显著不同的训练预算或数据分布，预测精度可能下降，需要额外验证。其次，延迟模型假设理想的Roofline行为，而真实系统存在内核启动开销、缓存效应和算子融合等非理想因素，可能导致10-20%的预测偏差。第三，理论框架假设标准Transformer组件（注意力、FFN、MoE），扩展到SSM-Transformer混合架构或线性注意力机制需要重新推导约束形式。第四，MoE路由的动态特性（不同token激活不同专家）未被纳入延迟模型，可能导致实际延迟与预测的偏差。第五，实验仅在NVIDIA Jetson Orin上验证，框架的跨平台泛化能力需要更多实验支持。作者自己也指出，未来工作应考虑将训练动态（学习率调度、优化器状态）纳入损失模型，开发考虑算子融合和系统级效应的更精细延迟模型。
独立分析的弱点
本文存在几个值得关注的弱点。第一，损失模型的数据效率问题：拟合170个架构并训练10B token的成本仍然很高，对于资源有限的研究团队可能难以复现，改进方向是开发基于更少训练样本的主动学习策略。第二，延迟模型的理想化假设：Roofline模型未考虑算子融合、内存访问模式、缓存层次结构等实际因素，改进方向是引入基于学习的延迟修正项。第三，MoE路由策略的简化：理论分析假设Top-1路由，但实际应用中可能需要更复杂的路由策略以保证专家负载均衡，改进方向是将路由策略纳入优化框架。第四，验证场景的局限性：仅在Jetson Orin上验证，对于其他硬件平台（如手机SoC、FPGA）的适用性未知，改进方向是建立跨平台的基准测试套件。
未来方向
本文作者和基于成果可延伸的未来研究方向包括以下几个方面。首先，扩展理论框架到新兴架构：SSM-Transformer混合架构（如Mamba）、线性注意力机制等需要重新推导约束形式，这是理论框架的重要扩展方向。其次，开发更精细的延迟模型：考虑算子融合、内存访问模式、系统级效应（如内核启动开销）的延迟预测，可以提高预测精度从90%到95%以上。第三，跨平台验证和扩展：在更多硬件平台（TPU、FPGA、移动SoC）上验证框架，建立通用的硬件特性抽象层。第四，与训练过程的协同优化：将当前的架构选择框架扩展到训练过程优化，包括学习率调度、数据配比等。第五，动态架构调整：根据实际推理时的工作负载特征（如序列长度分布）动态调整MoE路由策略和计算分配。
复现评估
本文在可复现性方面做了较好的工作。作者承诺将发布完整的方法论、代码库、训练模型和详细评估协议，这对于促进硬件协同设计社区的发展至关重要。训练过程使用了严格的控制变量：固定的学习率（从1e-4到1e-6余弦退火）、固定的优化器配置（AdamW, β1=0.90, β2=0.95）、固定的批量大小（256）和QK-Norm技术。评估使用固定的验证集（约1B token）和WikiText-2困惑度测试。然而，复现面临的主要挑战是计算资源需求：训练170个架构各10B token需要大量GPU时间，延迟测量需要在NVIDIA Jetson Orin上进行。对于资源有限的研究者，可以先验证理论预测的帕累托前沿，然后选择性地训练少量代表性架构进行验证。
论文图表
