GLM-5：从氛围编码到智能体工程 GLM-5: from Vibe Coding to Agentic Engineering
智谱旗舰模型GLM-5，通过DSA、异步RL和大规模智能体训练实现前沿性能。
前置知识
DeepSeek Sparse Attention (DSA)
DSA 是一种动态稀疏注意力机制，旨在解决传统全注意力机制在处理长上下文（如 128K tokens）时计算成本高昂的问题。不同于固定的滑动窗口，DSA 使用一个轻量级的索引器（Lightning Indexer）动态评估每个 token 的重要性，只关注最关键的 KV 缓存条目，从而将长序列的注意力计算量减少 1.5-2 倍，且通过持续预训练可实现近乎无损的性能恢复。
DSA 是 GLM-5 实现高效率和长上下文能力的关键架构创新，使得在 744B 参数规模下以极低成本处理超长代码库和复杂智能体轨迹成为可能。
异步强化学习 (Asynchronous RL)
在传统的同步 RL 训练中，由于长尾效应和任务执行时间的差异，GPU 经常处于空闲等待状态。GLM-5 的异步 RL 架构将训练引擎和推理引擎解耦，推理引擎连续生成轨迹，达到阈值后发送给训练引擎。为了解决由此引入的策略滞后（Off-policy）问题，引入了 Token-in-Token-out (TITO) 网关和双重重要性采样等技术。
这种架构是支撑 GLM-5 进行大规模、长时域智能体（如编写数小时代码的 Coding Agent）训练的基础设施核心，极大地提升了 RL 训练的吞吐量和 GPU 利用率。
Multi-Token Prediction (MTP)
MTP 要求模型在每一步预测未来的多个 token，而不仅仅是下一个。虽然这增加了训练时的内存占用，但可以作为推测解码（Speculative Decoding）的草稿模型。GLM-5 提出了参数共享的 MTP 策略，在训练时共享 3 个 MTP 层的参数，既保持了较低的显存开销，又提高了解码时的接受长度（Accept Length）。
MTP 是 GLM-5 提升推理速度的重要手段，通过参数共享解决了传统 MTP 训练成本过高的问题，实现了比 DeepSeek-V3.2 更长的接受长度。
研究动机
随着大语言模型（LLM）从被动的知识存储库转变为主动的问题解决者（如自主编写代码的 Coding Agent），现有的训练范式面临双重挑战：一是长上下文场景下的计算成本呈平方级增长，极大地限制了 Agent 处理复杂、多文件工程任务的能力；二是传统的同步强化学习（RL）在训练长时域 Agent 时，由于轨迹生成时间差异巨大，导致严重的 GPU 空闲和训练低效。
本文的目标是本文旨在提出下一代基座模型 GLM-5，将“氛围编码”（Vibe Coding，即人类提示 AI 写代码）的范式转变为“智能体工程”（Agentic Engineering，即 AI 自主规划、实现和迭代代码）。具体目标是在大幅降低训练和推理成本的同时，保持并提升模型在推理、编码和智能体任务上的 SOTA 性能。
与已有工作不同的是，本文的独特切入角度在于将模型效率与能力扩展并重：不同于单纯堆算力的路径，GLM-5 引入了 DeepSeek Sparse Attention (DSA) 这一低成本高效注意力架构，并专门设计了全异步解耦的 RL 基础设施（slime 框架）以及针对长时域交互的异步 Agent RL 算法。这种“架构创新+系统工程+算法优化”的组合拳，使得开源模型首次在真实世界工程任务中逼近甚至超越顶级闭源模型。
核心方法
GLM-5 的方法论可以概括为一个全栈优化的“高效智能体工厂”。直觉上，如果说传统模型是“在图书馆里背书的优等生”，GLM-5 则是“在工厂里 24 小时轮班工作的资深工程师”。技术路线涵盖了从基座模型的架构瘦身（采用 DSA 替代传统注意力）、预训练数据的针对性扩充（海量代码和长上下文轨迹），到后训练阶段的革新：构建了一个全异步、解耦的 RL 训练管线，让模型能够在模拟的真实软件工程环境中（包括终端、IDE 和浏览器）进行大规模、长时域的自我博弈和迭代。
GLM-5 最核心的创新在于其“异步解耦智能体 RL 训练体系”。与现有方法相比，GLM-5 彻底打破了 RL 训练中生成与优化的同步锁步。它提出了 Token-in-Token-out (TITO) 网关以消除重新分词的不匹配，利用双重重要性采样稳定异步 Off-policy 训练，并设计了 DP-aware 路由以最大化长上下文推理时的 KV 缓存复用。这使得模型能够以前所未有的规模从复杂的、长时域的 Coding Agent 轨迹中持续学习，直接解决了 Agent 训练中“生成慢、等待久、数据杂”的痛点。
方法步骤详情
GLM-5 的训练流程严密有序：1. **基座预训练**：基于 27T token 的语料库（代码与推理优先），构建 744B 参数的 MoE 模型，并创新性地应用 DSA（在 200K 上下文长度下可降低约 50% 的注意力计算成本）和参数共享的 MTP。2. **中期训练**：逐步将上下文窗口从 4K 扩展到 200K，重点注入软件工程数据和合成智能体轨迹。3. **监督微调（SFT）**：引入 Interleaved Thinking 和 Preserved Thinking 模式，扩展上下文至 202,752 tokens。4. **多阶段 RL**：依次进行推理 RL（GRPO + IcePop）、智能体 RL（异步框架，在 10,000+ 真实可验证环境中训练）和通用 RL。5. **跨阶段蒸馏**：利用 On-Policy Cross-Stage Distillation 回收早期能力，防止灾难性遗忘。
技术新颖性
GLM-5 的技术新颖性主要体现在三个方面：首先是 DSA 在 MoE 架构上的成功大规模应用，证明了稀疏注意力在长上下文 Agent 场景下的极高性价比；其次是 slime 框架下的异步 RL 基础设施设计，特别是针对 DSA 索引器的确定性 `torch.topk` 操作和 TITO 机制，解决了异步训练中的稳定性难题；最后是构建了超过 10,000 个涵盖 9 种编程语言的真实软件工程可验证环境，并将搜索、前端、后端任务统一在 Multi-Task Rollout Orchestrator 下进行联合训练。
实验结果
GLM-5 在多项核心基准测试中实现了 SOTA，不仅超越了前代模型 GLM-4.7 约 20%，更在多个维度与 Claude Opus 4.5 和 GPT-5.2 持平甚至更优。在 SWE-bench Verified 上，GLM-5 达到了 77.8%（开源第一）；在长上下文推理的 BrowseComp 上，通过引入 Hierarchical Context Management 策略（Keep-recent-k + Discard-all），得分从基线的 55.3% 提升至 75.9%，大幅领先其他开源模型。更引人注目的是，GLM-5 在 CC-Bench-V2 这一端到端的真实工程评测中，构建成功率（BSR）达到 98-100%，在 Repo Exploration 任务上甚至超越了 Claude Opus 4.5（65.6% vs 64.5%）。在 Vending-Bench 2 这一长达一年的商业模拟任务中，GLM-5 以 $4,432 的最终收益位列开源榜首，证明了其卓越的长时域规划能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SWE-bench Verified | Resolve Rate | 77.8 | 80.9 (Claude Opus 4.5) | 开源模型SOTA |
| BrowseComp (w/ Context Manage) | Accuracy | 75.9 | 67.5 (DeepSeek-V3.2) | +8.4 (绝对值) |
| HLE (w/ Tools) | Score | 50.4 | 43.4 (Claude Opus 4.5) | +7.0 (绝对值) |
| Vending-Bench 2 | Balance | $4,432 | $4,967 (Claude Opus 4.5) | 开源模型第一 |
| Terminal-Bench 2.0 (Terminus-2) | Pass@1 | 56.2 | 59.3 (Claude Opus 4.5) | 差距极小 |
局限与改进
尽管 GLM-5 表现出色，但仍存在一些局限性。在最考验端到端能力的 CC-Bench-V2 长链任务（Chained Tasks）中，虽然相比 GLM-4.7 有巨大提升（52.3% vs 43.0%），但与 Claude Opus 4.5（61.6%）相比仍有近 10 个百分点的差距，说明在极长时域的上下文连贯性和错误累积控制上还有提升空间。此外，尽管引入了 DSA，但 744B 的总参数量和庞大的推理算力需求依然是部署门槛，即便是做了 W4A8 量化。
独立分析的弱点
尽管 GLM-5 在单步 Agent 任务上表现强劲，但在涉及 3-15 个提交的“链式任务”中，错误会随步骤累积。这暴露了模型在自我纠正（Self-correction）和长上下文状态追踪上的潜在弱点。建议方向是引入更强的过程监督信号（Process Reward Models）或更精细的链式回滚（Rollback）机制，让模型学会在长链中“回头检查”。此外，虽然 DSA 降低了成本，但在某些需要极高精度的细粒度检索任务中（如 RepoQA@128K），DSA 的信息丢失依然比全注意力略高，未来可探索更智能的 Top-K 选择策略。
未来方向
基于 GLM-5 的成功，未来的研究方向可能集中在：1. **通用化 Agent RL 框架**：将目前针对 Coding 和 Search 优化的异步 RL 推广到更广泛的任务领域（如具身智能、科学发现）。2. **更低成本的稀疏注意力**：在 DSA 的基础上进一步探索无损压缩或硬件原生支持的稀疏模式。3. **自主进化闭环**：让 Agent 能够在真实用户反馈中持续进行在线学习，真正实现“智能体工程”的自我进化。
复现评估
复现 GLM-5 的难度极大。虽然智谱开源了模型权重（HuggingFace 可下载）和部分代码（GitHub: zai-org/GLM-5），但复现其完整训练管线需要：1. 庞大的算力（28.5T tokens 训练量，744B 参数）。2. 复杂的工程基础设施（slime 异步框架、10,000+ 可验证 Docker 环境构建）。3. 高质量的私有数据集（特别是经过严格清洗的 Issue-PR 对和合成智能体轨迹）。好消息是，用户可以直接使用开源版本进行推理和微调，利用其提供的 MTP 和 DSA 能力快速构建应用。
论文图表
