TRACE：面向高效GUI智能体的轨迹鲁棒准入与证据排序 TRACE: Trajectory-robust Admission with Evidence Ordering for Efficient GUI Agents
免训练视觉token剪枝框架，用嵌套证据排序与单调KV收缩让GUI智能体在紧预算下保持精度
前置知识
KV缓存与缓存复用
Transformer自回归推理时，注意力层会缓存每个历史token的Key和Value矩阵，后续生成只计算新token的KV并拼接，避免重复计算整个前缀。GUI智能体多步交互中，历史截图的视觉token持续占用KV缓存，其规模与token数、层数、头数成正比，是显存与延迟的主要来源。
本文的MKC模块正是在KV缓存上做单调收缩：把退休帧裁剪到历史前缀而不重新编码。不理解KV缓存机制，就无法理解为什么token一旦在写入时丢弃就对所有后续步骤不可恢复。
视觉Token剪枝
高分辨率图像经视觉编码器产生数千个patch token，其中大量是背景或冗余。剪枝方法按注意力分布（FastV）、特征多样性（DivPrune）或与指令的相关性（CDPruner）对token打分，保留最高分子集以降低LLM prefill计算量。多数方法隐含前提是查询变化时可以重新打分。
本文指出缓存复用打破了这一前提：剪枝从可撤销的选择变成不可逆的写入时承诺。这是全文问题的出发点，不熟悉这些剪枝基线就看不懂对比实验和动机分析。
嵌套保持集（前缀序）
把所有token按重要性排成全序 $\pi$ 后，预算k的保留集就是 $\pi$ 的前k个元素，于是不同预算的保留集彼此嵌套：$S^{(k')} \subset S^{(k)}$（$k'<k$），预算缩小只删后缀、不动前缀。这样任何更紧的预算都无需重新选择。
缓存复用要求退休帧只能删token不能加token，即历史保留集必须是当前保留集的子集。NEO模块的全部设计目标就是构造这样一个嵌套全序，这是理解本文方法结构的关键。
正交投影与贪心残差选择
维护已选集合S，用 $\Pi_S = \Psi_S(\Psi_S^\top\Psi_S)^{-1}\Psi_S^\top$ 把特征投影到已选子空间，每次挑选残差 $d_j^2(S)=\|\psi_j-\Pi_S\psi_j\|_2^2$ 最大的token，即与已选内容最不冗余的方向；与相关性得分组合即可在多样性与相关性间平衡。
NEO用 $\log a_j + \log d_j^2(S)$ 的贪心规则构造嵌套序，Table 4还专门消融了这条排序规则。看懂正交投影与残差，才能理解核心公式和多样性项的作用。
TTFT
Time To First Token，从请求发出到模型吐出第一个token的延迟，对交互式agent体验至关重要。它约等于prefill时间：需要处理当前截图加上历史KV，视觉token越多prefill越慢，因此剪枝是压缩TTFT的直接手段。
论文效率实验的主指标就是TTFT（从1116.8ms降到452.7ms，2.4倍加速），Fig. 5的延迟归因和精度-TTFT权衡曲线都围绕它展开。
研究动机
GUI智能体每一步都要处理高分辨率截图，随轨迹展开，历史帧的视觉token不断累积，推理延迟和显存随之增长。帧级缓存复用能消除跨步的重复prefill，但每帧内部仍有大量空间冗余。现有免训练剪枝方法——FastV按注意力剪枝、DivPrune按特征多样性、CDPruner按指令相关性——都隐含查询变了就重新选择的前提。而一旦视觉状态进入可复用缓存，每张截图只在第一次prefill时编码写入，之后各步直接读缓存；写入时被丢弃的token对所有未来查询都消失，恢复只能重新编码整帧。剪枝由此从可撤销的选择变成不可逆的写入时承诺。作者用实验量化了两个困境：其一是轨迹不确定性，指令在写入时已知但后续细粒度目标未知，指令驱动的CDPruner在同一目标复现的屏幕上，保留目标数从4/4跌到1/4，而布局选择仍能覆盖目标；其二是空间覆盖坍缩，分数驱动的保留集中到少数显著区域，预算收紧到50%/10%时准确率跌破均匀采样，mild预算下CDPruner相对稠密上限仅剩48.0%。
本文的目标是本文目标是构建一个免训练的视觉token管理框架，让GUI智能体在缓存复用条件下既高效又稳健：每帧在首次prefill前一次性完成准入，产出一个嵌套的token全序，任何预算都直接取其前缀而无需重选；序中同时编码未来效用的代理信号（来自可交互区域的布局先验）、指令相关性和特征新颖性；并用原生token修复紧预算下的空间覆盖洞。在服务侧，退休帧通过纯索引操作单调收缩到历史前缀，历史帧永不重新编码。量化目标是在六个GUI基准、多种模型规模和跨家族骨干上，把mild/tight预算下相对稠密上限的平均性能保持率提升到78.7%/61.1%，同时把TTFT从1116.8ms降到452.7ms、视觉KV显存从697MB降到292MB。
与已有工作不同的是，本文的独特切入是把多步GUI服务中的视觉剪枝形式化为轨迹不确定性下的写入时视觉证据承诺，并导出三条硬约束：只用当前步可得信息选择、退休只能删不能加、只保留原生token行（避免无法从缓存删除的合成token）。与GUI-KV、ST-Lite等每步重打分的缓存侧方法不同，本文坚持嵌套性让所有预算共用一个序，重选成本归零；与纯指令相关性方法（CDPruner）不同，引入与查询无关的布局派生交互先验，在后续目标出现前就偏向可操作区域；与重要性集中式剪枝不同，用原生token的stride/medoid修复空间覆盖。Fig. 3(a)的先验嫁接实验很有说服力：同一先验嫁接到四个现有方法只提升0.16%到12.11%，最好也只有34.36%，远低于TRACE的55.19%，说明收益来自把布局信号转化为嵌套且覆盖感知的排序，而非检测器本身。
核心方法
直觉上，TRACE把每帧视觉token的管理当成一次录用决策：像面试官一次定下全排序，之后无论招聘名额（预算）怎么缩，都只是从名单尾部裁人，绝不重新面试。技术上由四个模块组成。第一步LIP（布局派生交互先验）用OmniParser检测UI元素框，把每框的熵、对比度、包含度、共振聚合成交互能量，归一化为token网格上的密度并转成软质量 $m_j$，为后续排序注入与查询无关的布局偏置。第二步NEO（嵌套证据排序）用 $\log a_j + \log d_j^2(S)$ 的贪心残差规则，把交互先验、指令相关性、特征新颖性融合成一个嵌套全序 $\pi$。第三步NCR（原生token覆盖修复）按当前帧/历史帧两种规则，从序的未保护尾部之外抽取stride采样或medoid token修复空间覆盖。第四步MKC（单调KV收缩）在服务循环中三阶段推进：准备、退休（在缓存边界把当前帧裁剪到历史前缀，纯索引操作）、追加（把保留行与新帧、新指令合并进一次forward）。整体实现一次准入、单调收缩、零重编码，实测TTFT降低59%、KV降低58%。
核心创新是把剪枝重新定义为写入时承诺，并用嵌套序统一所有预算。与已有方法的本质区别有四点。第一，FastV、DivPrune、CDPruner等在每个查询时重新打分，选择可撤销；缓存复用后这意味着要重编码大多数帧，而Fig. 1(b)显示嵌套序相对重选的精度差几乎为零（120帧中108帧在对角线上方，平均增益+0.055），重选却带来大量重复prefill。第二，首次引入与查询无关的布局交互先验解决轨迹不确定性：Fig. 1(c)显示同目标下指令选择的token会错过后续目标而布局选择不会。第三，用原生token做覆盖修复而非均匀降采样或合成合并，避免合成token无法从缓存按行删除的问题；Fig. 1(d)显示有偏剪枝在紧预算下跌破均匀采样。第四，MKC把准入结果变成会话状态：退休只是缓存切片加保留行重放，免去二次视觉编码，历史帧保留集天然嵌套在当前保留集内。Fig. 5(a)的归因显示MKC路径单独就把TTFT从1116.8ms降到487.4ms，是最大头，准入序再叠加一层节省和精度优势。
方法步骤详情
LIP：OmniParser检测布局框，每框聚合熵、对比、包含、共振为能量 $E=H+C+G+R$，除以框内token数得密度 $\rho=E/n$，散布到网格转成软质量 $m_j=1+\alpha Np_j$。NEO：归一化 $z_j=e_j/\|e_j\|_2$，指令嵌入加前置均值构成查询矩阵U，$a_j$ 为对U最大余弦的zscore再softmax；先验加权 $\psi_j=\sqrt{m_j}\,z_j$，按 $\arg\max_{j\notin S}(\log a_j+\log d_j^2)$ 贪心选token，残差 $d_j^2=\|\psi_j-\Pi_S\psi_j\|_2^2$，迭代得嵌套序 $\pi$。NCR：当前帧取 $g_c=\lceil\rho_{cur}k_c\rceil$ 个覆盖token，保护前缀后在补集按stride采样；历史帧分 $g_h=\lceil\rho_{hist}k_h\rceil$ 个区域取medoid。MKC：退休时把当前帧缓存截断到 $\pi$ 前 $k_h$ 项（纯索引）；保留行与新答案、新帧、指令合并为一次前向，仅新帧编码。
技术新颖性
新颖性体现在四个层面。问题形式化上，首次把可复用缓存下的视觉剪枝刻画为轨迹不确定性下的写入时证据承诺，给出三约束（信息可用性、单调退休、原生token保留），并论证嵌套序是该约束下的自然解。排序结构上，用对数相关性加对数残差的贪心规则构造严格嵌套全序，使预算变化零成本；Table 4显示把规则改成 $2\log a_j+\log d_j^2$ 损失10.53%，换成log-mean-exp池化损失8.49%，证明排序形式本身经过精调；与DivPrune等一次性选子集的方法不同，输出的是可裁剪的全序。先验来源上，从UI检测框导出交互能量（熵/对比/包含/共振四属性，Table 6逐项消融显示包含度-2.91%、共振-2.28%、对比-1.89%、熵-0.08%），是查询无关且可跨方法嫁接的信号，区别于视觉显著性或指令匹配。服务机制上，MKC证明退休可退化为纯索引操作，无需重编码或合成token就把准入序变成可复用会话状态，历史KV降58%；而窗口截断这个最朴素的替代方案，保留3帧仍花90%稠密预算，1帧成本是本文的1.66倍。
实验结果
主实验（Table 1，8B模型）：mild预算（r=10%，多步c=50%/h=10%）下TRACE在SS-v2达73.90（上限93.79），领先PruneSID 14.94%；平均保持率78.7%超VisionTrim的72.4%。tight预算（r=5%；c=25%/h=5%）下SS-v2 55.19对PruneSID 34.20（+20.99%），平均保持率61.1%，预算越紧优势越大。跨规模：2B模型tight保持率52.9%对PruneSID 43.5%；跨家族：UI-TARS上tight SS-v2 37.58、Mind2Web 17.92对DivPrune 13.00。消融（SS-v2@10%）：LIP单用32.63、NEO单用36.48、合并56.45、加NCR达73.90；去先验最伤（-23.74）。先验嫁接（Fig. 3a）显示现有方法仅提升0.16~12.11点，收益来自排序结构而非检测器。效率（Fig. 5）：TTFT从1116.8ms降至452.7ms（tight 397.8ms），快2.4倍；KV降58%（697→292MB），MKC单独487.4ms。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScreenSpot-v2 单步定位（GUI-Owl-1.5-8B, tight r=5%） | Accuracy (%) | 55.19 | PruneSID 34.20 | +20.99 |
| ScreenSpot-v2 单步定位（GUI-Owl-1.5-8B, mild r=10%） | Accuracy (%) | 73.90 | PruneSID 58.96 | +14.94 |
| MMBench-GUI L2 单步理解（mild） | Accuracy (%) | 50.47 | VisPruner 42.35 | +8.12 |
| ScreenSpot-Pro 单步定位（tight） | Accuracy (%) | 20.30 | VisionTrim 18.22 | +2.08 |
| Mind2Web 多步动作预测（tight） | Step SR (%) | 34.20 | VisPruner 30.67 | +3.53 |
| GUI-Owl-1.5-2B 六基准平均保持率（tight） | Avg. (% of dense) | 52.9 | PruneSID 43.5 | +9.4 |
| UI-TARS-1.5-7B Mind2Web（tight） | Step SR (%) | 17.92 | DivPrune 13.00 | +4.92 |
| OmniGUI 服务效率（GUI-Owl-1.5-8B） | TTFT (ms) / KV (MB) | 452.7 / 292 | 稠密重prefill 1116.8 / 697 | -59% TTFT, -58% KV（2.4x加速） |
局限与改进
作者承认和可以观察到的局限如下。第一，mild预算下SS-Pro（4K图标密集）仍落后VisionTrim 0.89%，极小目标上布局框粒度可能不够细，tight下才反超2.08%。第二，先验依赖OmniParser检测质量，对全新UI风格、检测失败或非标准控件的屏幕可能系统性误导准入；选择器本身有67.4/47.0ms的额外成本，虽然检测器与视觉编码并行、已被prefill节省抵消数倍，但这一抵消依赖具体硬件与并发度。第三，超参 $\alpha$、$\rho_{\text{cur}}$、$\rho_{\text{hist}}$ 及c/h比例需按基准设定，论文未给出自适应机制。第四，2B模型上Mind2Web和AndroidControl落后于FastV和PruneSID，说明小模型容量有限时嵌套约束的机会成本更高。第五，多步评测是离线动作预测（Step SR），并非真实环境的闭环任务成功率。第六，严格嵌套为未来稳健性牺牲了部分当前步最优性，若轨迹很短或可负担重编码，收益会缩小。
独立分析的弱点
独立分析存在以下弱点。其一，布局先验是单点依赖：OmniParser在移动端异形控件、游戏UI或暗色主题上检测漂移时，先验会系统性偏移且无法自纠，而论文消融显示去先验代价高达-23.74%，是最大的单点风险；改进方向是融合多个检测器或用视觉编码器自身的注意力熵构造无检测器先验，并对低置信框降权（不确定性加权）。其二，嵌套约束对所有帧施加统一的全序，没有利用哪些帧更可能被未来查询引用的信息，例如被指令引用过的帧；改进方向是按帧预期寿命自适应分配 $\rho_{\text{hist}}$，或允许极少数帧付出重编码代价换取当前步精度，把硬嵌套放宽为预算化的软嵌套。其三，覆盖修复用固定stride采样，对长列表、极端不均匀的屏幕仍可能留下空洞；改进方向是按检测框分布做分层自适应采样。其四，文本KV完全未压缩，长轨迹中系统提示与历史答案持续累积，收益天花板受文本部分限制；改进方向是与文本KV压缩或滑窗联合优化。其五，对比表缺少与GUI-KV、ST-Lite等缓存侧方法的直接数字对比，只在相关工作里定性区分。
未来方向
作者方向上，代码将开源，框架免训练且已验证跨尺度（8B/2B）与跨家族（UI-TARS-1.5）泛化。基于成果可延伸的方向包括：把LIP先验推广为通用的操作区域先验，迁移到视频流理解、远程办公自动化、自动驾驶仪表识别等高分辨率流式多模态任务；用自监督布局学习或VLM内部注意力替代OmniParser，摆脱外部检测器；根据指令复杂度、屏幕密度与轨迹长度动态调度c/h与 $\rho_{\text{cur}}$/$\rho_{\text{hist}}$，实现自适应预算；研究软嵌套——退休时允许极小比例的受控回加，刻画精度与重编码成本的帕累托前沿；与KV量化、PagedAttention等系统级优化正交组合进一步压显存；在WebArena、AndroidWorld等真实闭环环境验证端到端任务成功率，而不只是离线动作预测；以及把NEO的嵌套排序思想推广到文本token的会话级管理。
复现评估
复现评估：论文声明源码将发布，截至阅读时尚未放出，这是最大的不确定性。所有依赖均公开可得：模型GUI-Owl-1.5-8B/2B与UI-TARS-1.5-7B、检测器OmniParser、六个公开基准及官方指标；方法免训练，无训练算力需求。效率实验在单块CUDA同步GPU上完成，学术级单卡（如A100）应能复现TTFT与KV数字。实现难度中等：LIP需要复现熵/对比/包含/共振四项能量的精确定义（正文公式较简略，细节应在附录）；NEO的贪心残差选择每步涉及投影更新，实现时需要注意Cholesky增量更新以控制复杂度；MKC需要修改服务循环以支持缓存截断与保留行重放，如果基于vLLM/SGLang等框架需改动其paged KV管理，这是工程上最重的一部分。总体预计一到两周可复现核心结果，而Table 1中六基准乘以十余个方法的完整矩阵计算量较大，需要较多推理预算。
论文图表
四联动机图。(a) 缓存复用消除重复prefill、降低时延；(b) 独立重选需要对大多数帧重新编码，而嵌套序精度代价几乎为零（120帧中108帧在对角线上方，平均增益+0.055）；(c) 同一目标下屏幕复现时，指令选择的token丢失后续目标，布局选择的token仍覆盖目标；(d) 把预算集中到显著区域导致空间覆盖坍缩，紧预算下准确率跌破均匀采样。
这张图完整呈现了写作时承诺、轨迹不确定性、覆盖坍缩三大动机，是理解问题定义和两个核心挑战的最快入口。