大语言模型时代的自动内核生成综述 Towards Automated Kernel Generation in the Era of LLMs
系统综述LLM和智能体驱动GPU内核自动生成的方法、数据与基准
前置知识
GPU Kernel（GPU内核）
GPU内核是在GPU上并行执行的函数程序，负责将高级算法语义转换为低级硬件操作。例如，矩阵乘法、注意力机制等深度学习中的核心运算都需要通过GPU内核实现。内核的质量直接决定了AI系统的整体吞吐量、效率和成本。编写高性能内核需要深入理解硬件架构（如warp大小、缓存层次）和编程模型（如CUDA、Triton），这使得内核工程成为一项既关键又极具挑战性的工作。
本文的核心主题就是如何自动化生成高质量的GPU内核，理解内核的基本概念是阅读本文的基础。
大语言模型（LLM）
基于Transformer架构的大型神经网络模型，通过在大规模代码库和技术文档上训练，能够编码硬件感知编程的专业知识。LLM通过下一个token预测目标 $P(x) = \prod_{t=1}^{T} P(x_t | x_1, \ldots, x_{t-1}; \theta)$ 进行预训练，使其能够隐式地内化世界知识和推理模式。在内核生成领域，LLM可以桥接高级算法规范与低级实现之间的差距。
LLM是本文讨论的内核生成方法的核心引擎，理解其工作原理对于把握论文的技术路线至关重要。
LLM-based Autonomous Agents（基于LLM的自主智能体）
在LLM基础上集成规划、记忆和工具使用等系统组件的扩展系统。智能体将LLM作为'大脑'，通过推理策略编排行动，并与环境进行试错交互。在内核优化场景中，智能体能够执行代码、分析性能反馈、迭代优化候选内核，实现可扩展的开放式优化探索。
论文将智能体系统作为内核生成的重要范式之一进行系统梳理，理解智能体架构是理解本文分类框架的关键。
监督微调（SFT）
一种后训练技术，使用配对数据集（高级计算意图与低级内核实现的对齐样本）来微调预训练LLM，使其能够合成高质量内核。例如，KernelLLM收集PyTorch-Triton对齐样本进行指令微调，ConCuR生成带有推理轨迹的高质量内核数据集。SFT能够将专家级内核知识压缩到模型参数中。
SFT是论文综述的两大后训练技术之一，是理解LLM如何被专业化用于内核生成的基础方法。
强化学习（RL）
通过迭代反馈来增强内核生成的训练范式。RL方法将内核生成建模为多轮优化问题，利用执行反馈（如运行时间、正确性）作为奖励信号。例如，Kevin使用跨轮奖励归属进行长期信用分配，CUDA-L1引入对比RL和LLM-as-a-Judge提供密集反馈。RL能够探索更广阔的优化空间，突破SFT的局限。
RL是论文综述的另一大后训练技术，在内核生成领域取得了显著进展，如CUDA Agent在KernelBench上达到99%的加速率。
KernelBench基准
一个包含250个PyTorch到CUDA内核生成任务的基准数据集，从热门GitHub仓库和官方PyTorch算子中精选而来。评估指标包括正确性和性能加速比，其中fastp指标衡量既正确又达到p倍以上加速的内核比例：$$\text{fast}_p = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}(\text{correct}_i \wedge \{\text{speedup}_i > p\})$$。多个方法在此基准上进行对比评估。
KernelBench是论文中最重要的评估基准之一，理解其评估方式有助于理解各方法的实际性能表现。
Triton编译器
一个开源的GPU编程语言和编译器，旨在简化高性能内核的编写。与直接编写CUDA相比，Triton提供了更高级的抽象，同时仍能生成高效的GPU代码。Triton内核的自动生成是近年来研究的热点方向，出现了AutoTriton、TritonRL、Dr.Kernel等多个专门针对Triton的工作。
Triton是论文中讨论的重要目标语言之一，许多前沿工作专注于Triton内核的自动生成。
RAG（检索增强生成）
一种将外部知识库与LLM生成相结合的技术范式。在内核生成领域，智能体通过检索CUDA API文档、硬件指令集规范、优化指南等领域知识来增强生成质量。例如，KernelEvolve集成了针对异构AI加速器的硬件特定知识库，ReGraphT将推理图作为领域特定外部记忆进行检索。
论文将知识库分为训练语料和RAG知识库两大类，RAG是智能体系统中外部记忆管理的重要机制。
研究动机
现代AI系统的性能根本性地受到底层GPU内核质量的制约。内核负责将高级算法语义转换为低级硬件操作，而实现接近最优的内核需要对硬件架构和编程模型有专家级理解。当前内核工程面临三重困境：首先，内核开发严重依赖专家经验，实现接近峰值硬件利用率需要在算法设计和硬件特定细节两方面都有深入专业知识；其次，内核优化本质上不可扩展，实现通常与特定硬件架构和工作负载特性紧密耦合，阻碍了跨GPU世代或硬件厂商的复用和泛化；第三，基于编译器的自动调优方法虽然部分缓解了可扩展性挑战，但仍然根本性地受限于手动设计的搜索空间、调度原语和优化先验。以KernelBench为例，即使是当前最先进的方法，其fast1指标（既正确又比PyTorch Eager快1倍以上的内核比例）也仅为22.2%（InCoder-32B），表明内核自动生成仍有巨大提升空间。
本文的目标是本文旨在填补LLM驱动内核生成领域缺乏系统性综述的空白。具体目标包括：第一，提供现有方法的结构化概览，涵盖基于LLM的方法和智能体优化工作流；第二，系统组织支撑学习和评估的数据集与基准；第三，明确基础概念，突出新兴方法论和趋势；第四，指出关键开放挑战并提出有前景的研究方向。论文还维护了一个开源GitHub仓库以持续跟踪该领域的发展。
与已有工作不同的是，尽管LLM驱动内核生成的研究进展迅速，但该领域仍然碎片化，缺乏系统性的综合视角。现有工作分散在不同的会议和预印本中，没有统一的分类框架来理解不同方法之间的关系和演进脉络。本文的独特切入角度在于：第一，提出了一个四维度的智能体分类框架（学习机制、外部记忆管理、硬件性能分析集成、多智能体编排），首次系统性地组织了智能体驱动的内核优化方法；第二，构建了一个面向检索增强生成的文献集合和训练数据集组织，为数据驱动的内核生成研究提供了基础设施；第三，从评估可靠性、数据稀缺性、智能体训练、基础设施和人机协作五个维度系统分析了挑战与机遇。
核心方法
作为一篇综述论文，本文没有提出新的技术方法，而是系统性地组织和分析了LLM驱动内核生成领域的研究进展。整体思路是从两个层面展开：第一个层面是LLM本身的后训练技术，包括监督微调（SFT）和强化学习（RL），这些方法使基础LLM具备内核生成能力；第二个层面是基于LLM的智能体系统，通过引入自主性、反馈循环和工具使用来增强内核优化能力。智能体方法被进一步细分为四个结构维度：学习机制（如何与执行环境交互并学习）、外部记忆管理（如何管理和检索领域知识）、硬件性能分析集成（如何利用硬件规范和性能反馈）、多智能体编排（如何通过多角色协作完成内核开发）。这种分层分类框架为理解该领域的全景提供了清晰的结构。
本文的核心创新在于提出了一个统一的分类框架，将看似碎片化的研究工作组织成一个连贯的知识体系。与此前零散的文献回顾不同，本文识别出两个关键的方法论趋势：第一，从静态单次推理到动态迭代优化的范式转变。传统方法将内核生成简化为一次性推理过程，而智能体方法引入了规划、工具使用和中间结果评估的闭环自改进范式，使内核优化能够在多样化的工作负载和硬件平台上扩展。第二，从任务特定智能体到基础智能体加领域工程的转变。论文指出，Claude Code、OpenCode等通用编码智能体的出现表明，内核优化可能不需要从头开发任务特定智能体，而是可以通过领域特定的环境、工具和反馈来实现可扩展的智能体性能工程。这一洞察为未来研究指明了方向。
方法步骤详情
本文的综述方法可以概括为以下步骤：首先，在第2节建立背景知识，介绍LLM和LLM智能体的基础概念，以及内核编程和代码生成的传统范式（专家编写内核、编译器驱动框架、LLM驱动方法）；其次，在第3节系统梳理LLM用于内核生成的方法，按SFT和RL两个技术路线组织，详细分析每个代表性工作的技术创新和实验结果；第三，在第4节提出四维度的智能体分类框架，分别从学习机制、外部记忆管理、硬件性能分析集成和多智能体编排四个角度组织智能体方法；第四，在第5节整理训练语料和知识库资源，区分结构化数据集、以代码为中心的语料库和知识库三大类；第五，在第6节分析评估基准，从指标和数据集两个维度进行结构化概述；最后，在第7节讨论五个关键挑战和未来研究方向。
技术新颖性
本文的技术新颖性体现在三个方面：第一，首次为LLM驱动内核生成领域提供了系统性的分类框架，特别是四维度智能体分类法（学习机制、外部记忆、硬件分析、多智能体编排）为该领域的研究提供了统一的参照系；第二，构建了面向RAG的文献集合和结构化的训练数据集组织（如表1所示），涵盖了从2007年CUDA指南到2026年Tile Kernels的完整资源谱系，为数据驱动研究提供了基础设施；第三，提出了从概念验证系统到鲁棒可扩展部署所需解决的五个关键挑战维度（评估可靠性、数据稀缺、智能体训练、基础设施、人机协作），为未来研究提供了路线图。特别值得注意的是，论文识别出基础智能体加领域工程这一新兴范式，认为内核优化可能受益于通用编码智能体的进步，这是一个具有重要实践意义的洞察。
实验结果
作为综述论文，本文的核心发现是通过系统性分析揭示了该领域的整体趋势和关键数据点。在方法层面，SFT方法中KernelLLM通过指令微调实现了有效的PyTorch-Triton映射，ConCuR生成的KernelCoder在KernelBench Level 1上达到17%的fast1指标，而InCoder-32B通过三阶段数据策划管道将fast1提升至22.2%。RL方法取得了更显著的进展：CUDA Agent实现了在KernelBench Level-1上99%的加速率（相对于PyTorch Eager），这是目前报告的最高性能。在智能体方法中，CUDA Agent结合技能增强的CUDA开发环境和自动验证与性能分析，在KernelBench上达到了最先进的结果。K-Search利用LLM作为世界模型，将高级算法规划与低级程序实例化解耦，在多样化复杂内核上展示了强大性能。在Triton内核生成方面，Kernel-Smith实现了70%的fast1得分。在数据和基准方面，论文整理了超过20个结构化数据集和代码库，以及12个评估基准，涵盖NVIDIA GPU、AMD GPU、华为NPU和Google TPU等多种硬件平台。评估方法从单一的正确性检查演进到包含效率、鲁棒性和整体内核质量的综合评估。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PyTorch到CUDA内核生成（KernelBench Level 1） | fast1（正确且加速>1x的比例） | CUDA Agent: 99%加速率 | InCoder-32B: 22.2% fast1 | SFT到RL方法的显著跃升 |
| Triton内核生成 | fast1（KernelBench Level 1） | Kernel-Smith: 70% | 早期Triton方法 | 进化策略的稳定应用 |
| CUDA内核优化（对比cuBLAS） | 性能加速比 | CUDA-L2: 超越cuBLAS | cuBLAS（NVIDIA官方库） | 首次在评估工作负载上超越工业级库 |
| NPU内核生成（昇腾） | 内核正确性和性能 | AscendKernelGen | 无先前自动化方法 | 首次将LLM内核生成扩展到NPU平台 |
局限与改进
本文作为综述论文存在以下局限性：第一，由于该领域发展极为迅速（如图1所示，2025年至2026年间出现了大量新工作），论文可能未能覆盖最新的进展，特别是2026年发表的工作；第二，论文主要关注方法论层面的组织，对各方法的计算成本、训练资源需求等实用维度的讨论相对有限；第三，论文承认评估可靠性是一个根本性挑战，现有系统容易受到奖励破解的影响，内核在基准上取得高分不一定能在实际部署中带来相应收益；第四，论文指出当前基准覆盖的工作负载、硬件平台和执行设置有限，报告方法的泛化性存在疑问；第五，作为一篇综述，论文没有提供统一的实验对比，读者难以直接比较不同方法在同一基准上的表现。此外，论文对内核级改进对端到端AI系统的影响缺乏深入分析。
独立分析的弱点
本文存在以下可改进的弱点：第一，缺乏统一的实验对比框架。作为综述，论文虽然整理了各方法在不同基准上的结果，但没有在统一条件下重新评估代表性方法，这使得跨方法的公平比较困难。改进方向是建立一个标准化的评估流水线，对关键方法在相同硬件和基准上进行对比实验。第二，对方法的计算成本分析不足。论文讨论了CUDA Agent等方法的高性能结果，但没有详细分析这些方法的训练成本（如GPU小时数、数据量）和推理成本（如生成单个内核需要的LLM调用次数和时间），这对实际应用至关重要。第三，对失败案例和负面结果的讨论有限。论文主要报道成功的方法，但对哪些方法在什么条件下失败、为什么失败缺乏系统分析。第四，四维度智能体分类框架虽然结构清晰，但某些工作可能跨越多个维度，分类边界存在模糊性。第五，论文对内核正确性验证的技术细节讨论不够深入，而正确性是内核生成中最关键的质量保证。
未来方向
论文提出了五个关键的未来研究方向：第一，评估可靠性和泛化性。未来评估框架应强调对奖励破解的鲁棒性、跨工作负载或平台的广泛泛化性，以及系统级评估，提供更可靠的现实世界有效性度量。第二，数据稀缺和合成扩展。高性能内核在现有语料中稀疏表示，且主要包含最终实现而省略了优化轨迹。有前景的方向包括大规模内核数据集构建、合成数据生成和执行驱动优化轨迹的收集。第三，智能体训练和工程化。内核优化是一个需要在生成、执行、分析和优化循环中进行推理的长周期任务，可能需要在长周期智能体训练和自主工程化方面取得进展。第四，可扩展的合成和训练基础设施。构建分布式且安全隔离的沙箱环境、解决智能体rollout与内核编译验证之间的延迟不匹配、设计容错的多设备服务是关键挑战。第五，人机协作。建立人类专业知识与智能体探索之间的有效反馈循环，实现人类与智能体的共同进化。此外，基于论文的成果可以延伸出将内核优化与神经架构搜索结合、探索跨硬件平台的迁移学习等方向。
复现评估
本文的可复现性评估如下：作为综述论文，其主要贡献是知识组织而非新方法实现，因此传统意义上的复现不完全适用。但论文提供了有价值的可复现资源：第一，论文维护了一个开源GitHub仓库（https://github.com/flagos-ai/awesome-LLM-driven-kernel-generation），持续跟踪该领域的发展，这为后续研究者提供了便利；第二，表1系统整理了训练语料和知识库的访问方式（Data/Code/Docs/Link），为复现被综述的方法提供了数据基础；第三，论文涵盖了多个开源实现的工作（如CUDA-L1/L2、KernelLLM等），这些工作的代码和数据大多可获取。然而，复现被综述的某些方法仍面临挑战：部分工作依赖大规模GPU集群进行训练（如CUDA Agent的规模化RL训练），硬件门槛较高；某些基准数据集（如KernelBench）虽然公开，但完整评估需要特定的硬件环境；此外，部分最新工作的代码和模型权重可能尚未完全开源。总体而言，论文为该领域的研究者提供了一个良好的起点和资源索引。
论文图表
该图按时间顺序和类别组织了LLM驱动内核生成领域的研究工作。纵轴从2025年2月延伸到2026年3月，横轴分为四个主要类别：LLM4Kernel（LLM用于内核）、Agent4Kernel（智能体用于内核）、Datasets（数据集）和Benchmarks（基准）。图中展示了数十个工作的时间分布，包括KernelLLM、CUDA-L1/L2、Kevin、TritonRL、AutoTriton、Dr.Kernel、KernelSmith、CUDA Agent、KernelBench、TritonBench等。
这张图直观展示了该领域从2025年初到2026年初的爆发式增长，以及研究工作在LLM方法、智能体方法、数据集和基准四个维度上的分布，帮助读者快速把握领域全貌和发展节奏。