EdgeKernelBench：面向边缘后端的统一 LLM 驱动内核生成基准 EdgeKernelBench: Unified LLM-Driven Kernel Generation for Edge Backends

完整流程六步。第一步任务构建：从开源边缘模型、算子库、内核库选取代表性计算，将动态计算转成静态形式并统一为 PyTorch 接口（Model 类定义参考计算，get_inputs 提供输入，get_init_inputs 提供初始化参数），配以按应用场景组织的静态 shape profile（如 DIMENSION_0、CONFIGURATION_0 字段），最后人工审查图一致性与语义保真。第二步一次性生成：提示词包含系统指令（优化目标、表示语法、正确性要求、输出格式）、Device Hardware Profile（设备能力与资源约束）、一组示范样例和目标任务（PyTorch 参考与张量规格），模型返回一份完整可执行程序，不附带解释文字。第三步正确性验证：在目标设备上编译执行，用三个随机种子的输入与 PyTorch 参考比对，要求输出结构、形状、数据类型一致且数值差在任务容差内，只有通过检查的程序才进入测速。第四步配对测速：候选与基线在同一设备会话、相同输入与计时边界下预热后重复测量，用稳健变异系数 $\mathrm{rCV}(x)=\frac{1.4826\,\mathrm{median}_i|x_i-\mathrm{median}(x)|}{\mathrm{median}(x)}$ 把候选延迟、基线延迟、配对加速比三条序列都约束在 5% 以内，报告中位数配对加速比 $s_i = t_{\text{baseline},i}/t_{\text{candidate},i}$。第五步 LEKA 迭代（每任务预算 L1 90 分钟、L2/L3 各 155 分钟）：L0 图/算法 agent 在 Relax 层改图拓扑、融合边界、数据布局与静态参数准备（如 NHWC 布局、1×1 卷积改写为矩阵乘）；编译器 $\Lambda$ 语义保持地下降到 TIR；L1 调度 agent 改循环结构、并行映射、内存层级、数据访问，可联合优化局部算子区域；再下降为 CUDA C/OpenCL C/LLVM IR；L2 目标源码 agent 在保持调用接口的前提下改写计算体、指令组织、向量化与寄存器复用。第六步反馈闭环：硬件感知 agent（只读、永不编辑 IR）在目标设备上构建并剖析每个候选，测量延迟与硬件计数器，定位需要继续优化的层 $\ell_t$ 并写报告 $r_t$，对应层 agent 依据报告生成下一候选；候选树保留全部历史分支用于比较、回滚与继续搜索，上游变更后自动重建受影响的下游实现并保留最佳已验证完整程序。

技术新颖性集中在四处。第一，这是首个系统性研究跨异构边缘后端 LLM 内核生成的工作：既有基准要么停留在服务器级硬件（KernelBench、TritonBench 及 NPU/TPU/多厂商扩展如 AscendKernelGen、KernelGenBench），要么推进到手机但只覆盖单算子及属性变体（MobileKernelBench）；本文把复杂度轴推进到紧凑模型图、把应用轴铺满移动/机器人/AIoT，并保持 KernelBench 评测协议以便横向比较。第二，统一 IR 作为 LLM 输出接口：推理引擎把优化知识固化在专家手写内核与调度规则里（MNN、TensorRT、ExecuTorch），张量编译器靠规则定义的调度空间加成百上千次片上测量搜索（Ansor、MetaSchedule），两者都到不了编码之外的变换；本文让持有优化知识的 LLM 直接在 IR 上决策、编译器只做确定性下降与代码生成，兼得知识灵活性与部署可移植性。第三，分层 agent 架构：借鉴 MLIR 式渐进下降，把多级 IR 与 agent 分工结合，每层 agent 的上下文从全局程序逐级收窄到局部实现细节，在 LLM 内核优化文献中是新的组织方式——已有方法无论是 RL 微调（Kevin、AutoTriton、DICE）、多角色迭代（Astra）、进化搜索（AVO）还是修复循环（MobileKernelBench）都不按表示层级拆分决策与反馈。第四，公平的编译器基线：TVM 基线不是固定预算，而是按六类搜索复杂度分类、用收敛判据（$\epsilon=0.02$、$W=100$）校准出的每类预算 $B_{b,c}=\max(64,\ 1.25\cdot\max T_{\text{conv}})$（取 64 的倍数），使 LLM 与调优编译器的比较有可信的参照系。

独立分析出五个弱点。第一，动机与指标错位：全文强调边缘内存紧张、需要性能-内存联合权衡，但 Fast@p 和 GM 都只看延迟，没有峰值内存、内存带宽利用率等指标，内存友好但慢 5% 的实现直接落败；改进方向是引入内存受限加速比或多目标 Pareto 前沿评测。第二，反馈归因依赖硬件感知 agent 的剖析质量，而边缘设备计时噪声大（为此引入 rCV≤5% 门槛），论文没有量化瓶颈归因的准确率，错误归因会把优化引导到错误的层浪费预算；改进方向是给归因输出加置信度校准，并用归因关闭/随机路由的消融实验验证其必要性。第三，一次性结果对后端语料熟悉度高度敏感——GLM-5.3 在 CPU 上 CSR 仅 61.5%，GPT 在 CPU 失败中语法/API 错误占 54.0%——说明基准分数部分衡量的是模型见过多少 TVM IR/OpenCL 代码，而非优化能力本身，可能系统性低估模型在不熟悉表示上的真实水平；改进方向是按表示统计模型的先验暴露度，或提供少量适配示例后再评分。第四，跨层协调机制描述较薄：上游变更后下游需重建，论文未统计重建频率与浪费的算力，也没有给出层间请求-协调失败或死锁时的处理策略；改进方向是把跨层契约形式化，报告跨层请求的成功率与成本。第五，L3 上 LEKA 增益收窄（GM 2.9×，且作者归因于基座对长依赖链大图的推理限制），说明分层只降低上下文负担、不增加模型能力；改进方向是在 L0 引入检索增强（相似模型结构的优化范例库），或对每层 agent 用层级别执行奖励做 RL 微调。

作者在附录 G 提出的方向包括：用 MLIR 基础设施（如 IREE）暴露更细粒度的表示，支持不同的 agent 分工方式；系统比较不同层边界、上下文共享与跨层反馈机制，在收窄每个 agent 搜索空间与保留计算-内存-调度联合优化机会之间寻找平衡；把评测扩展到 NPU，研究专用算力与片上内存约束下的程序优化；在同一设备的 CPU+GPU 间联合优化计算划分、数据传输与同步，考察异构执行收益随负载与资源预算的变化。基于本文成果还可延伸出几条路线：把内存占用正式纳入奖励与指标，做性能-内存 Pareto 前沿评测，补上动机与指标的脱节；做跨后端知识迁移实验，检验同一份 IR 决策能否零样本落到训练时未见的新设备，直接验证统一 IR 的核心主张；对每层 agent 用层级别执行奖励做 RL 微调，把 Kevin/AutoTriton 式的训练时方法嫁接到分层接口上；让 LLM 与编译器搜索混合分工——LLM 负责代数重写与融合边界，MetaSchedule 搜局部调度；以及随基座能力增强，研究论文结尾提出的开放问题：层边界能否下移，即把更多指令级决策交给模型，以及如何设计帮助 agent 推理优化约束的 IR。

复现条件中等偏上。有利因素：论文给出项目主页（pillor9.github.io/EdgeKernelBench/），全栈建立在开源的 TVM 0.23.0 上；任务是标准 PyTorch 语义模板加静态 shape profile，来自开源库的任务有来源与改编文档；评测协议写得非常细——三个随机种子校验、配对测量、rCV≤5% 稳定性门槛、Jetson MAXN 模式且 GPU 时钟校验约 1.3 GHz、RK3588 GPU 锁 1 GHz；TVM 基线的收敛校准公式（$\epsilon=0.02$、$W=100$、预算取 64 的倍数、XGBoost 成本模型、梯度任务调度器、num_trials_per_iter=64）与 LEKA/Claude Code 的完整提示词模板（附录 F）全部公开；agent 预算（L1 90 分钟、L2/L3 各 155 分钟）明确。不利因素：需要真实边缘硬件——骁龙 8 Gen 3 手机（iQOO Neo9S Pro+）、Jetson AGX Orin 64GB、RK3588 开发板各一台，以及设备在环的自动化评测环境；一次性评测涉及 GPT-5.6-sol、Gemini-3.7-Flash、Claude Sonnet 5、DeepSeek-V4-Pro、GLM-5.3 等商业 API（各用默认推理设置）；复现 LEKA 需 69 个任务 × 最多 155 分钟的真实设备在环迭代，纯 wall-clock 就需数天；论文正文未见明确的代码开源许可证声明，需以项目主页实际内容为准。总体判断：拥有边缘设备与 API 预算的团队复现表 1 主结果可行；完整复现 LEKA 实验工程量较大，但对单一后端做缩小版验证是现实的。