就绪队列：界定 LLM 智能体控制中的 GPU 机会并避免主机往返 Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control
用 F≤P*≤U 四个份额界定 GPU 机会边界，设备端决策比主机往返快 1.19–2.39 倍
前置知识
CUDA Graphs（CUDA 图）
NVIDIA 的预实例化执行图机制：把一串 kernel 及其依赖一次性编译实例化为图对象，之后用一次 CPU 调用即可重放整图，摊薄每 kernel 数微秒的启动开销；还支持条件节点和由 GPU kernel 尾启动子图（device graph launch）。
机制研究的三个实现（主机往返、设备常驻、无决策下限）全部基于每 epoch 预实例化的分支/路径图，设备常驻路径正是靠图内谓词、单线程选择器与尾启动子图在 H 个 epoch 内不回主机。
就绪队列
同一发射时刻 τ 可一起执行的同路由事件集合：批 $(\tau, B)$ 可行当 $|B| \geq K_r$、$B$ 内事件路由相同、且每个事件满足 $t_i \leq \tau \leq d_i$（$d_i$ 为最迟可发射时间）。它是 GPU 批处理化控制流的最小执行单元。
全文核心问题就是'截止期前能凑出多大的就绪队列'：$F$、$P^\star$、$U$、$A$ 四个份额都在从不同侧面度量就绪队列供给。
固定分区与滑动截止期调度
固定分区把时间切成互不重叠的窗口，事件只能与同窗口者组队，可行份额记为 $F$；$P^\star$ 则允许批在任意事件截止时刻发射，可跨窗口拼接。滑动截止期能跨越固定边界，所以 $F$ 不是普适上界，$P^\star-F$ 就是固定窗口错失的隐藏机会。
论文'界定机会'的量化正是 $F$ 与 $P^\star$ 的差距：主单元格从 30.19% 提升到 43.00%，间隙闭合率 $G=81.83\%$。
齐次泊松到达过程
到达间隔独立同分布、速率恒定的随机过程。回放中以目标活跃会话数 $C$ 除以模板平均时长得到到达率 $\lambda$，会话模板从固定的 851 会话面板均匀采样，并在 60 秒观测窗之前预热一个最长模板时长以达到平稳状态。
trace 实验全部 540 个 cell-seed 结果都条件于这一个平稳泊松回放模型，理解它才能理解结论的适用边界与不可外推之处。
一维 r-gathering 聚类问题
经典聚类问题：把直线上的点分成若干大小至少为 $r$ 的簇，通常目标是最小化簇半径；本文的精确 DP 是其'固定半径、最大化保留点数'的决策形式。利用等相对截止期 $d_i=t_i+\delta$ 与连续块引理，可用排序加滑动窗口加单调队列在 $O(N\log N)$ 内精确求解。
它是计算 $P^\star$ 的算法骨架；作者明确声明只把它当作精确 trace oracle 使用，不主张算法学优先权。
研究动机
LLM 智能体运行时在模型调用与工具调用之间反复执行微小而确定性的控制转移：解析类型化输出、推进状态机、检查策略与预算、选择路由、发出下一个效果。单次转移远小于一次推理，但在海量并发会话下持续不断。Yang 等人对生产与开源系统的最新表征发现，agentic 工作流反复跨越 CPU–GPU 边界、把主机编排放在关键路径上、并制造突发性 CPU 需求。GPU 化这段控制路径有三个前置条件：队列规模必须超过硬件/运行时的盈利交叉点 $K$、所有成员必须共享可执行语义、且都必须在发射截止期前就绪；而每步把 GPU 决策拷回主机还要付出 4 字节拷贝、同步、分支与重派发的往返开销。此前没有工作回答：控制路径到底何时暴露出足够的并发工作量值得上 GPU？把中间决策留在设备上又能省掉多少？
本文的目标是本文的目标是把'GPU 化智能体控制'从口号变成两个可证伪、可测量的门：一是队列供给门——在声明的分组与发射截止期下，工作负载能否凑出超过阈值 $K$ 的同路由就绪队列；二是观测位置门——一个已经在 GPU 上算出的状态转移决策，留在设备上执行相比每步返回主机再重派发能省多少时间。为此作者形式化'就绪队列边界'，定义固定分区份额 $F$、精确离线份额 $P^\star$、局部上界 $U$ 与在线达成份额 $A$（本文不测 $A$），用两个相互独立、数值上不混合的实验分别测量前两个门，为未来在线 route compactor 给出明确的工作负载预算和必须测量的目标量。
与已有工作不同的是，已有智能体服务系统（ThunderAgent、Parrot、SAGA、Agentix、InferCept、AgentServe 等）工作在模型调用、工具或工作流粒度，关心 KV 缓存与调度；经典批处理、聚类与实时调度理论又不含智能体 trace 的语义约束；FLAME GPU 2、GPUOS、MPK 提供了设备端控制机制但不回答工作负载是否供给足够任务。本文的独特切入是给两条轴以共同的边界量：以 tau2 客服域 851 个会话的公开 trace 做平稳泊松回放，用精确动态规划测量机会上限；再做一个机制实验，固定状态与路由体、只改变一个 GPU 决策在哪里被观测，并配上'不删除任何主机决策的嵌套设备图'作阴性对照。作者刻意把 route key 声明为条件代理而非可执行身份证明，把 $K=256$ 声明为扫描候选而非 resident 策略的实测交叉点，明确禁止把两套结果相乘。
核心方法
整体是两个刻意分开的实验。第一，trace 研究：固定公开 Exgentic 数据集的 tau2_airline/retail/telecom 子集（两个内容哈希、19 个 Parquet 分片逐一校验），含 851 个会话、9,031 条 LLM span、4 种 harness；每条 span 完成变成一个事件，发布时间 $t_i$ 取记录时间戳，截止期 $d_i=t_i+\delta$，路由键由输出结果派生。回放采用平稳泊松群模型：目标活跃会话数 $C\in\{1{,}000, 10{,}000, 100{,}000\}$，$\delta\in\{10,25,50,100,250\}$ ms，分组∈{pooled、事件类、路由键}，$K\in\{32,64,128,256\}$，3 个种子，共 180 个设计格、540 行，逐行计算 $F$、$P^\star$、$U$、$G$。第二，机制研究：CUDA 程序为每个 agent 维护 16 字节合成状态与两个路由体，每个 epoch 由 GPU 谓词产生一个全局二元决策，对比主机往返、设备常驻根图、无决策下限三种机制，网格 $N\in\{256,2048,16384\}\times H\in\{2,8,32\}$，在本地 GTX 1660 Ti 与云端 Modal L4、RunPod L4、Lambda H100 四个命名部署上各测 30 行，并与独立编写的主机 oracle 做字段级和逐 epoch 决策级精确性比对。
核心是把模糊的'GPU 能否加速智能体控制'拆成四个含义互斥的份额：固定分区份额 $F$（式 2）、离线精确最优 $P^\star$、局部重叠上界 $U$（式 4）、在线达成份额 $A$，并证明边界序 $F\leq P^\star\leq U$、$A\leq P^\star$。第一个创新：在 $d_i=t_i+\delta$ 特例下 $P^\star$ 可被专门动态规划精确计算——利用'截止时刻发射'引理与'连续块'引理，递推 $D[j]=\max(D[j-1],\; j+\max_{i\leq j-K_r+1,\, t_j-t_i\leq\delta}(D[i-1]-i+1))$，本质是固定半径一维 r-gathering 带离群点的最大化保留点形式，可达 $O(N\log N)$。这把隐藏机会从启发式估计变成可复现的精确测量。第二个创新：机制实验固定状态与路由体、只改变一个二元决策的观测位置，设备常驻路径由单线程选择器在图内读谓词并尾启动路径图，$H$ 个 epoch 不回主机；阴性对照（保留全部主机决策的嵌套图）进一步把'设备常驻'与'设备启动'两个因素干净地分离。
方法步骤详情
trace 流水线：输入是哈希固定的 Parquet span 记录；抽取保留时间戳、公开标识与路由标签，剔除提示词、工具参数与结果；得到 70 个路由标签（8 个跨域、28 个跨 harness，tool: 覆盖 325 条 span、122 种工具名编码）。回放器以 $\lambda=C/$平均模板时长生成到达，预热的 60 秒窗口内全部事件保留；对每行计算 $F$、$P^\star$、$U$、精确批数与间隙闭合率 $G=(P^\star-F)/(U-F)$；五条不变量（$F\leq P^\star\leq U$、分组粗化单调、$\delta$ 单调、$K$ 反单调、上下界重合时三者相等）作为解释门槛。机制流水线：每格先以最快机制校准统一批数，每行 5 次预热+3 次校准+30 次测量且累计计时≥100 ms；主机往返=发射谓词图→拷 4 字节结果到 pinned 内存→同步→主机启动所选路径图；设备常驻=单根图内一线程选择器读谓词并尾启动路径图，形成 H epoch 链；无决策下限重放 oracle 路由序列、不含谓词与选择。正确性契约要求每批后 4 个状态字段与逐 epoch 决策轨迹均与独立主机实现逐位一致，任何不匹配、非法启动、OOM 或非正计时都使该行失去性能解释资格。
技术新颖性
新颖性体现在测量设计而非算法本身，作者明确否认算法学优先权。一，用精确离线 oracle（而非仿真或启发式）量化机会，并把可达 $O(N\log N)$ 的分组实现与冻结评估器（逐路由全数组扫描+二分边界，$O(NR+\sum_r n_r\log n_r)$）分开声明，整数纳秒时钟加小样暴力对拍定义精确性契约。二，前瞻冻结与五条有效性门槛、预注册的方向性假设（$P^\star>F$）先于任何结果计算，尽管未做外部注册。三，外层测量单元分层：trace 用回放种子、机制用命名部署、精确性用被测批调用，Table 6 逐层列出'可允许的推断'，杜绝从技术重复推断硬件总体。四，阴性对照设计：60 格嵌套图全输（慢 1.07×–1.99×），证明收益来自删除匹配的主机观测-派发 epoch 而非设备启动本身，这是机制论文中少见的干净归因。五，分组粗化不等式 $F(\pi,K,g_f)\leq F(\pi,K,g_c)$ 量化碎片化代价，同时声明它不构成粗化融合的可容许性证明。
实验结果
trace 研究：前瞻冻结的主单元格（$C=100{,}000$、路由键分组、$K=256$、$\delta=50$ ms）中 $F=30.19\%$、$P^\star=43.00\%$、$U=45.85\%$，精确打包比固定窗口多接纳 12.81 个百分点、闭合 81.83% 的对齐间隙（三种子 $P^\star$ 范围 42.43%–43.41%，平均生成 651,123 个事件、1,046.3 个精确批），540 行全部通过不变量。边界以下供给塌缩：$K=256$ 时 $C\leq10{,}000$ 的所有截止期下 $P^\star=0$，$C=100{,}000$ 时 10 与 25 ms 也为 0；$K$ 敏感性极陡——$C=10{,}000$、50 ms 时 $K=32$ 为 22.2% 而 $K=64$ 即归零，$C=100{,}000$、50 ms 时 $K=32/64/128/256$ 分别为 66.8%/66.0%/48.4%/43.0%。机制研究：四个命名部署、36 格中设备常驻全部更快，格内中位数比 1.19×–2.39×；主单元格 $N=256$、$H=32$ 上 GTX 1660 Ti 1.71×（273.0 vs 467.2 µs）、Modal L4 2.39×（261.9 vs 625.3 µs）、RunPod L4 2.06×（258.3 vs 533.3 µs）、Lambda H100 1.84×（309.0 vs 567.5 µs）；设备路径仍比无决策下限慢 6.60×–8.17×。阴性对照：5 个部署、60 格全输，慢 1.07×–1.99×。正确性：14,557,440 次被测批调用与主机 oracle 字段级且决策级完全一致，3,240 个测量行通过全部冻结门槛。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 固定窗口 vs 精确离线打包（主单元格：C=100k、路由键、K=256、δ=50ms） | 可接纳事件份额 | P*=43.00%，间隙闭合 G=81.83% | F=30.19%（原点对齐固定半开窗口） | +12.81 个百分点（上界 U=45.85%） |
| 设备常驻二元决策（主单元格 N=256, H=32） | 批平均队列地平线墙钟时间（格内中位数比） | 设备常驻 258–309 µs，四部署 1.71×–2.39× 更快 | 主机往返 467–625 µs | 36/36 格全部更快（总体 1.19×–2.39×） |
| 嵌套设备图阴性对照（不删除任何主机决策） | 墙钟时间中位数比 | 比主机根启动图慢 1.07×–1.99×（60/60 格） | 主机直接启动预实例化图 | 负结果：排除设备启动本身作为加速来源 |
局限与改进
作者承认的限制：trace 条件于单一 851 会话面板与平稳泊松到达，3 个种子只度量 Monte Carlo 波动，不能外推工作负载总体；$K=256$ 是扫描候选而非 resident 策略的实测交叉点，机制实验的 $H=32$ 地平线也不在 trace 模型里，两套结果不可相乘；离线最优假设未来可知、零服务时间、无限容量、无批上限、截止期在发射而非完成时刻；route key 遗漏状态机节点、schema、参数、策略上下文与多工具身份，只是条件代理；打包数组不含每会话序列约束，重叠 span 与完成顺序倒置可能影响更宽的截止期面；四个部署混淆了 GPU、供应商、主机、镜像、驱动与地区，30 行是技术重复而非独立硬件复制；指标是批平均墙钟时间而非 P99 或端到端任务时间；$A$、CPU 占用与服务级收益均未测量。我的补充观察：设备路径距无决策下限仍有 6.60×–8.17× 未分解差距，谓词、选择器与图启动开销混在一起；16 字节合成状态与全局二元决策远轻于真实路由的逐事件压实与可变路由体；$G$ 的分母 $U$ 本身会高估机会。
独立分析的弱点
独立分析的弱点：一，route key 代理可能同时高估（计入不可融合事件）与低估（丢弃跨路由可融合工作）真实供给，改进方向是给 harness 插桩输出真正的可执行身份（状态机节点、schema 版本、参数哈希）后重跑抽取。二，零服务与无限容量假设使 $P^\star$ 在线不可达，论文自己也只能称之为机会，改进方向是把服务时间与容量约束纳入 DP 或排队仿真，给出 $A$ 的可达区间。三，距下限 6.60×–8.17× 的差距未分解，谓词、选择器、图启动各占多少不明，改进方向是逐组件微基准并优化选择器实现。四，机制只测一个全局二元决策和 16 字节状态，真实路由体有分支、内存访问与数值轨迹差异，粗化分组的语义可融合性完全未验证（式 6 只给出碎片化单调性），改进方向是用真实路由体与逐 agent 状态重做机制实验。五，部署与硬件混淆、L4 只有 $n=2$，效应方向可信但绝对值外推力弱，改进方向是每个 SKU 多设备重复并报告跨设备方差。
未来方向
作者提出的下一步是一个有限容量在线 route compactor：接收类型化完成事件、按经验证的可执行路由与截止期排队、仅在测得的安全后缀阈值 $K_r$ 之上发射路由，否则回退 CPU；GPU 只发出有序效果描述符，特权 CPU/DPU 仍是外部效果的提交权威。决定性测量是达成份额 $A=\frac{1}{|E|}\sum_i z_i$ 与机会转化率 $R_A=(A-F)/(P^\star-F)$，配上原始 P99、CPU 核秒、精确轨迹、任务效用、网络字节、成本，以及共享推理 GPU 上的 TTFT/TPOT 护栏。部署路径上最强的是区域路由服务聚合多 worker 事件；次优是在已分配的推理 GPU 上挂低优先级队列，硬约束是不干扰模型服务；专用控制 GPU 被评为最弱起点。可延伸方向包括：任意截止期的精确调度（附录 A 的二元规划参考形式）、为每个路由实测 $K_r$ 而非扫描、验证更粗分组的语义可融合性，以及把'32 个连续控制 epoch 无模型/工具介入'换成真实交错负载。
复现评估
复现条件较好：代码与发布材料在 github.com/josefchen/ready-cohorts，处理后证据镜像在 Hugging Face 数据集 josefchen/ready-cohorts；trace 源是公开的 Exgentic agent-llm-traces（CDLA-Permissive-2.0），数据与 Parquet 转换两个 commit 及 19 个本地分片 SHA-256 全部绑定校验。论文所有数值宏和主表由 scripts/build_paper_artifacts.py 生成，构建器先验证 trace 摘要、重复行、resident 策略与 native-dispatch 对比的哈希，再输出机器可读 manifest；手稿用 make -C paper/arxiv clean all 重建并由 check_arxiv_paper.py 检查。原始测量、处理后表格、分析代码、预注册与论文输出相互分离。算力门槛不高：机制研究在本地 GTX 1660 Ti 即可跑主体，云端 L4/H100 为增强；但构建脚本只验证保留证据、不会重跑云实验。总体复现难度中等，CUDA 工程与回放实现是主要成本。
论文图表
主 trace 单元格结果：F=30.19%、P*=43.00%、U=45.85%、对齐间隙闭合 81.83%，平均生成 651,123 个事件、1,046.3 个精确批；份额与计数为单面板条件下三个回放种子的均值。
承载 trace 研究的头条数字：精确打包相对固定窗口提升 12.81 个百分点，是'隐藏队列供给'存在的量化证明。