大语言模型是通用异步智能体 LLMs are General Asynchronous Agents
AsyncLLM框架让LLM以async/await协程共享记忆，无需微调即成通用异步智能体
前置知识
KV缓存与注意力记忆
Transformer自回归解码时，注意力层会缓存每个token的Key/Value向量，后续token只需计算新query与历史K/V做注意力，避免重算前缀，这份缓存就是模型的“工作记忆”。Paged Attention把它切成固定大小的页，像虚拟内存一样动态管理，是vLLM/SGLang等引擎的基础。
AsyncLLM的核心抽象CacheBlock就是对KV缓存的分块封装，协程间“共享记忆”的本质是让一次前向同时attend到多个缓存块，不理解KV缓存就无法理解整个框架的运作方式。
RoPE旋转位置编码
用复数旋转把token绝对位置编码进Q/K向量，使注意力得分只依赖相对位置差。论文利用关键性质 $\langle \rho(q,i), \rho(k,j)\rangle = \langle \rho(q, i-j), \rho(k,0)\rangle$：历史K固定在0基位置不动，只旋转当前query即可等效重排缓存块。
这是“缓存块重排零重算”的数学基础。本文的全部cache view机制，以及附录D中滑动窗口、ALiBi、NoPE、MRoPE等位置编码变体的兼容性分析，都依赖这一相对位置性质。
线性注意力与Gated DeltaNet
用固定尺寸循环状态 $S_t \in \mathbb{R}^{d_v \times d_k}$ 取代增长的KV缓存，每token按 $S_t = S_{t-1}^{\alpha_t}(I - \beta_t k_t k_t^\top) + \beta_t v_t k_t^\top$ 更新。Qwen3.5等混合模型将其与全注意力层交错使用。
论文证明此类状态更新对初态是仿射的，可把整块token压缩成一对矩阵 $(\hat{A}, \hat{B})$ 并按块乘法拼接组合，这是把共享记忆并发推理从纯注意力模型扩展到混合架构的关键新算法。
async/await协程与asyncio
Python的单线程并发模型：协程是可暂停、可恢复的函数，遇到await时让出控制权；asyncio.Event/Lock/Queue提供事件通知、互斥与消息传递原语，asyncio.gather可并行运行多个协程。这套模型广泛用于网络服务，强调以接近同步代码的写法表达并发逻辑。
AsyncLLM直接把LLM推理封装成asyncio协程：智能体的每条“思维流”就是一个协程，中断、探针、后台思考都用Event/Lock表达。论文所有实验agent都是用这套原语定义的。
Thought-Action-Observation循环
经典LLM智能体范式：模型先推理，再定义一个动作（如运行代码、调用工具），然后观察结果（如报错栈），据此进入下一轮推理。整个过程严格串行，一次只能做一件事，任何新输入都必须等当前回合结束才被处理。
论文的出发点就是打破这一顺序循环：语音助手要边听边想边说，监控agent要在日志流过时实时反应。理解这个串行基线的局限，才能体会“通用异步化”要解决的问题。
分页注意力与chunked prefill
Paged Attention把KV缓存按页管理以减少显存碎片；chunked prefill把长prompt切分成多个数学等价的前向块，与解码请求混合组批，既提高GPU利用率又保证交互请求的低延迟。两者是SGLang/vLLM的标准调度技术。
AsyncLLM引擎基于mini-SGLang实现，CacheBlock就是页表槽位的轻量引用；其“均衡批调度”是公平队列思想的变体，目的正是防止快速反应协程被大prefill请求堵塞。
研究动机
现代LLM智能体虽然能力强大，但本质上都是顺序交互的：遵循“思考-行动-观察”循环，一次只做一件事，新输入必须等当前推理回合结束才能被处理。然而大量真实场景天然是并发的：实时语音助手需要边听、边想、边说并处理用户打断；自动驾驶必须即时响应路况变化；流式视频理解要跟上实时画面以检测工业事故或解说球赛；系统监控agent要在日志流过时立刻发现内存泄漏或失控进程。目前业界的做法是把每类并发需求当作独立研究问题分别攻克：实时语音用专门的全双工多模态架构（如Moshi）加打断检测模块；具身智能用带actor-thinker双模块的VLA模型并需针对本体微调；最新编程助手的“中途转向”机制闭源且 undisclosed；异步工具调用又是另一套协议。每套方案都需要专门数据和昂贵的任务特定训练，互不通用。更根本的是，若让并行协程通过文本token通信，每当记忆视图变化就要重新编码之前生成的全部token——例如“思考者”每生成一个新token，“总结者”就得重读历史，代价完全不可接受。
本文的目标是本文要验证一个核心假设：LLM能否像它们已经成为通用工具使用者和上下文学习者那样，成为“通用异步智能体”——即用同一套框架、同一个现成预训练模型、零任务特定微调，就适应不同类型的并发场景。具体目标分三层：第一，设计AsyncLLM编程框架，让开发者（甚至模型自己）用熟悉的async/await模型定义多个并发推理协程，每个协程写入自己的记忆块，又能通过注意力“视图”实时看到彼此进展，并与asyncio的事件、锁、队列原语自由组合；第二，在推理引擎层面解决共享记忆的并行GPU推理问题，把并发协程自动组成批次高效执行，支持带GDN的混合架构和带MRoPE的多模态模型；第三，在单次异步输入、流式视频理解、电子游戏交互、系统监控四类差异巨大的任务上，用同一族Qwen3.x模型（9B/27B/35B-A3B）系统验证框架的通用性，回答“异步性是否是一种可零训练迁移的通用能力”。
与已有工作不同的是，本文的独特之处在于“从具体到一般的抽象”这一步。此前的异步方案散落在语音、机器人、视频、编程助手等各领域，各自定制推理软件与训练流程；作者却观察到这些系统背后反复出现五种相同的并发模式——探针监测、并行推理流、子程序委托、中断与增量输入、共享演化上下文（附录A的Table 4做了系统梳理）。于是不再为每个任务设计专用机制，而是把五种模式统一到“协程+共享缓存块+缓存视图”这一个推理接口下，全部免训练实现。第二个独特切入是记忆层面的并行通信：不同于协程间互发token文本（需反复重编码），AsyncLLM让协程直接共享模型内部记忆状态（KV缓存与GDN循环状态），彼此进展“即时可见”且无需任何重算——这把Hogwild!式并行推理（Rodionov et al., 2025）从纯注意力模型首次扩展到混合注意力和多模态模型，提出了全新的分块仿射组合算法。第三个亮点是首次演示让agent在推理循环内通过工具调用定义和热修改自己的协程结构（附录J），迈出自我组装智能体的第一步。
核心方法
直觉上，AsyncLLM把LLM推理变成普通异步I/O：就像协程在等待网络包时让出控制权，一个“思考”协程也能在推理中途让“监听”协程插入处理新输入。技术路线分三层。第一层是编程接口（Section 3.1）：每次前向传播把记忆状态（KV缓存与GDN状态）写入一个CacheBlock，一次前向可同时“看见”多个块按任意顺序组成的cache_view，数学上等价于attend把这些块顺序编码的普通KV缓存；框架提供create_blocks、merge_blocks、clear等操作，并与asyncio.Event/Lock/Queue组合表达事件通知与互斥。第二层是数学算法（Section 3.2）：让跨块注意力既等价又高效——全注意力层用“只旋转query、历史K保持0基位置”的技巧；线性注意力层把每块压缩为一对仿射转移矩阵，按不同顺序相乘即得不同视图；多模态层对MRoPE各轴分别修正并显式维护每块位置跨度。第三层是推理引擎（Section 3.3）：基于mini-SGLang，所有协程请求进入同一双端队列，用均衡批调度加chunked prefill混批，防止快速反应协程被大预填堵塞。
核心创新是“重叠记忆状态下的并发推理”：多个协程同时运行同一个LLM，各自拥有独立记忆块，又通过cache_view实时看到对方的块。关键洞察有二。其一，数学上，attend多个按任意顺序排列的缓存块，等价于attend一个把这些块顺序编码的普通KV缓存；若多个协程并发更新且互相看见，所得记忆状态虽不等价于任何顺序推理，但实验表明模型依然能“读懂”。这与Hogwild!、AsyncReasoning等并行推理工作一脉相承，但本文将其首次推广到带Gated DeltaNet的混合模型和带MRoPE的多模态模型——这部分算法是全新的。其二，协程间通信发生在记忆层面而非token层面：思考者从不给总结者发送文本，只在写完一段时用asyncio.Event通知一声，总结者直接从共享块里读到新增内容，彻底避免了重编码开销。与已有方法的本质区别在于：语音助手、VLA、异步工具调用等系统都是为单一并发模式定制训练与推理软件，而AsyncLLM用一个统一推理接口覆盖全部五种并发模式，并且全程零训练——用作者的话说，异步性可以像工具使用一样成为通用能力，而非领域专属技能。
方法步骤详情
以核心的“思考者-写者”智能体（Figure 2）为例。第一步初始化：创建AsyncLLM引擎，create_blocks(3)分配提示/思考/回答三个缓存块，并建asyncio.Event作段落同步。第二步预填：api.forward把系统提示编码进提示块。第三步思考者协程：在cache_view=[提示块,思考块]下循环generate，逐token把推理写入思考块；视图里只有提示和自己，看不到写者；每当生成"\n\n"（段落结束）就event.set()通知。第四步写者协程：generate视图为[提示块,思考块,写者块]，实时读到思考者已写出的全部内容，每被事件唤醒就总结一段（stop_at换行）发给用户，如经TTS播出。第五步引擎调度：所有协程请求进入同一双端队列，均衡调度把单token解码与长prefill切块混成一批，attention/GDN层用多缓存算法在批内各自attend自己的视图；多协程写同一块则串行化避免未定义行为。流式视频agent（双探针+思考者+写者+编译器五个组件）、ViZDoom agent（慢思考定策略+快动作子程序带提前退出探针）、监控agent（日志块流入+事件探针）都是此模式的变体。
技术新颖性
技术新颖性体现在三个层面。算法层面：首次给出混合注意力模型的共享记忆并行推理算法。对Gated DeltaNet，把逐token更新 $S_t = S_{t-1}A_t + B_t$ 重写为对初态仿射的分块转移：整块token压缩成矩阵对 $(\hat{A}, \hat{B})$，两块拼接只需 $(\hat{A}_L,\hat{B}_L) \circ (\hat{A}_R,\hat{B}_R) = (\hat{A}_L\hat{A}_R,\ \hat{B}_L\hat{A}_R + \hat{B}_R)$，复杂度从 $O(N_{tokens})$ 降到 $O(N_{blocks})$；KDA、标准线性注意力等变体直接套用。对MRoPE，提出时间轴query旋转修正并显式维护每块位置跨度。系统层面：证明这些操作可落进Paged Attention与Flash Linear Attention内核，配合CUDA Graphs实现4协程解码步延迟14.4ms、9B模型8协程吞吐552 tok/s。范式层面：把并发从“系统设计问题”变成“编程表达问题”，统一五个此前各自为政领域的异步机制；并首次演示agent在运行中热改写自己的generate()结构（附录J）。
实验结果
论文用同一族Qwen3.x混合模型在四类实验中验证通用性，全部零微调。第一，单次异步输入sanity check（Figure 3）：MATH-500-Sharded（题干与澄清拆分）上，澄清在第 $k$ 步到达时准确率随 $k$ 平滑下降而非崩溃，说明推理中途可吸收文本修正；ShardedVQA（513对“错误图→修正图”）趋势类似但下降稍快，因视觉任务推理更短、$k$ 大时模型已作答。第二，流式视频（Table 1）：SoccerNet上Qwen3.5-9B达AUROC 0.677、TriggerAcc 62.82、TimVal 39.62，显著超过流式专用训练的Mage-VL（0.555/52.79/27.87）；ProactiveVideoQA上PAUC(ω=0.5) 0.541 vs 0.428。第三，ViZDoom（Figure 4）：AsyncLLM agent反应延迟远小于串行agent，同时保留甚至超过串行版的奖励。第四，系统监控（Table 2）：DevOps-Gym 34任务上，35B-A3B串行基线61.76%需8452次前向，AsyncLLM 55.88%仅需3837次（-54.6%）；9B为47.06%/8726对41.18%/2582。补充：1×H200上9B模型8协程吞吐552 tok/s，CUDA Graphs解码步延迟10.5ms。结论：现代LLM已具备通用异步能力，虽不总胜专用模型，但适应性远强。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 流式视频理解 SoccerNet-Caption（流式协议） | 事件探测 AUROC / TriggerAcc / TimVal | Qwen3.5-9B：0.677 / 62.82 / 39.62（27B为0.608/54.88/33.27，35B-A3B为0.651/62.55/37.46） | Mage-VL（流式专用训练模型）：0.555 / 52.79 / 27.87 | AUROC +0.122，TriggerAcc +10.03，TimVal +11.75（9B对比） |
| ProactiveVideoQA 流式视频问答（全量） | PAUC(ω=0.5) / TriggerAcc / TimVal | Qwen3.5-9B：0.541 / 52.99 / 17.19 | Mage-VL：0.428 / 43.27 / 10.03 | PAUC +0.113，TriggerAcc +9.72，TimVal +7.16 |
| ViZDoom HealthGathering / DeadlyCorridor（frame skip 4） | 100 episodes平均奖励 vs 观察到动作的平均延迟（前向数） | AsyncLLM agent：延迟大幅低于串行agent，奖励持平或更高 | 同模型串行agent（含调优prompt版）与单帧探针agent | 同等或更高奖励下反应延迟显著缩短（曲线见Figure 4） |
| DevOps-Gym 系统监控（34任务） | 准确率 / 前向次数 / 平均事件占比 | AsyncLLM 35B-A3B：55.88% / 3837 / 55.49%；9B：41.18% / 2582 / 44.98% | 串行agent 35B-A3B：61.76% / 8452 / 100%；9B：47.06% / 8726 / 100% | 准确率-5.88pp（9B -5.88pp），前向次数减少约54.6%/70.4%，换得实时响应 |
| MATH-500-Sharded / ShardedVQA 中途异步输入 | 输入在第k步到达时的准确率曲线 | 准确率随k平滑衰减，文本与视觉模态趋势一致，证明中途可吸收修正 | 无外部基线（能力验证实验） | 首次量化异步输入注入时机对推理质量的影响 |
| 合成并发解码负载（1×H200） | 聚合解码吞吐（tokens/s）与单步延迟 | 9B：8协程552 tok/s、32协程1085 tok/s；CUDA Graphs下单步延迟10.5-14.4ms | 单协程顺序解码：106 tok/s；eager模式单步56.5ms | 8协程吞吐扩至5.2倍，延迟降至约1/5 |
局限与改进
作者坦承的局限：异步能力“尚不可靠”——自定义协程只在HealthGathering初见成效，DeadlyCorridor上不如人工定义；ViZDoom只证明基本能力而非SOTA；监控任务上AsyncLLM准确率低于串行基线（55.88% vs 61.76%），本质是精度换速度；35B-A3B不加反干扰prompt会过度思考无关日志、准确率跌破10%；引擎只是mini-SGLang上的最小参考实现，无HTTP API，未启用量化与投机解码。我自己的观察：其一，评估只覆盖Qwen一个模型家族且最大35B-A3B，通用性随规模/家族是否保持未验证；其二，ShardedVQA是Gemini编辑的合成数据，与真实视频中断有分布差距；其三，多协程并发写同一块属未定义行为，仅靠调度器串行化规避，复杂协程拓扑缺乏正确性保证；其四，GDN层的短感受野局部卷积状态（感受野4）在块重排时不重算，是未量化误差的近似；其五，实时指标依赖H200级GPU，消费级硬件上会明显恶化；其六，ViZDoom串行基线仅被要求写短推理，prompt工程强度可能不足。
独立分析的弱点
弱点一：异步能力本质是未经训练的涌现行为。模型从未专门学过边推理边处理新输入，Figure 3显示准确率随输入到达时间 $k$ 单调衰减，晚期修正可能已被中间结论“覆盖”。改进方向即作者的第一项未来工作——像训练工具使用那样，用带异步事件注入的多任务RL/微调显式训练通用异步能力。弱点二：记忆视图缺乏一致性机制。并发写同一块是未定义行为，只能靠调度器延迟处理；监控实验还显示agent会被无关日志带偏（35B-A3B裸prompt下<10%），说明读到干扰状态时行为脆弱；可引入块级版本号、事务性写入与回滚，并研究部分可见状态下的鲁棒化训练。弱点三：线性注意力的分块摘要与局部卷积近似会引入精度损失，论文未报告与顺序推理的数值等价性基准；可补充等价性测试或对块边界token按需重算。弱点四：评估广度有余深度不足——缺少与同训练预算专用流式模型（如StreamMind）的对照，也无真实语音打断实验，可扩展到全双工语音基准。弱点五：自修改agent缺乏系统性安全护栏，伦理声明承认并发执行可能在慢推理介入前发出有害动作；应设计动作验证层与沙箱标准。弱点六：框架深度绑定Qwen3.5+的GDN+MRoPE early-fusion架构，迁移其他模型家族需重写内核。
未来方向
作者明确提出两个方向：其一，训练LLM成为更好的通用异步智能体——正如当前LLM通过后训练学会通用工具使用，可用强化学习把“边听边想边说、边监控边推理”变成显式训练目标，而非依赖预训练中的隐式模仿；其二，深入研究agent改进自身协程的能力——附录J已示范agent通过工具调用热改写正在运行的generate()方法，同一harness可跨两个ViZDoom环境复用，未来可让模型根据环境描述自动生成并迭代整个异步架构。论文还展望两种API形态：用户把AsyncLLM agent定义上传到服务端沙箱执行的“实时异步API”，或专有模型自己为用户prompt编写harness。基于本文成果可延伸：把cache view机制接入MLA、QSA/DSA稀疏注意力等更多架构（附录D留作未来工作）；支持late-fusion交叉注意力多模态模型；与具身VLA结合替代手工actor-thinker双系统；在自修改循环中加入自动评估与回归测试；研究并发agent的安全形式化——在慢思考完成前约束快动作协程的动作空间。
复现评估
复现条件在系统类论文中相当好。开源方面：参考实现基于mini-SGLang，代码已在GitHub公开（github.com/dvmazur/async_llm），论文承诺随发表放出supplementary代码、ShardedVQA数据集、实验配置与prompt（附录B/I给出全部prompt模板）。数据方面：MATH-500、SoccerNet-Caption、ProactiveVideoQA、DevOps-Gym、ViZDoom均为公开基准；唯一自建的ShardedVQA（513对图像）用Gemini模型筛选提案并编辑图像，附录F给出完整构造与人工校验流程，可复刻。算力方面：所有实验单卡NVIDIA H200，推理用开源Qwen3.x权重（9B/27B/35B-A3B），全程无训练，主要门槛是一张H100/H200级GPU；Table 5还提供无CUDA Graphs的eager基准，便于低端硬件外推。难点：实现深度绑定Qwen3.5+的GDN+MRoPE架构，迁移其他模型家族需自行实现kernel；ViZDoom精确奖励值只体现在图中；Mage-VL对比需按Table 8做6组超参搜索。总体而言，中上游实验室用单卡即可复现主要结论。
论文图表
带行号的Python代码示例，实现“思考者-写者”智能体：第3行create_blocks(3)分配提示/思考/回答三个块，第5行forward预填提示；思考者协程（6-11行）在cache_view=[提示块,思考块]下持续生成推理写入思考块，每遇段落结束用asyncio.Event通知；写者协程（13-20行）视图包含思考块，实时总结进度发给用户（如TTS）。全文约20行。
这是AsyncLLM编程模型的最小完整示例，直观展示“用asyncio原语定义异步智能体”的API设计哲学，Section 3.1的叙述全部以此代码为参照。