PANDO：通过在线技能蒸馏实现高效多模态 AI Agent PANDO: Efficient Multimodal AI Agents via Online Skill Distillation
通过在线技能蒸馏构建结构化技能库，在不增加推理成本的前提下提升 Web Agent 性能
前置知识
Skill Library（技能库）
技能库是一种持久化的可重用技能存储结构，包含规则和例程两种类型。规则是基于模式触发的防护栏，用于防止特定失败模式（如重复点击循环）；例程是参数化的可执行程序级技能，如 `apply_price_filter(min,max)` 或 `sort_by_attribute(attr,dir)`。技能通过关键词包含检索，而非嵌入相似性，保证了确定性和缓存友好性。每个技能维护 Beta 风格的置信度估计 $c_s = \alpha_s/(\alpha_s + \beta_s)$，基于历史成功/失败次数动态更新。
读懂本文需要理解技能库作为 Agent 持久记忆的作用，它将短期经验转化为可重用资本，是 PANDO 实现效率提升的核心机制。
Token Economics（Token 经济学）
Token 经济学将推理成本视为性能提升的货币单位。论文形式化了每任务成本分解：$C_{task}(\tau; \pi) = N_{rollout}(\tau) C_{exec}(\tau) + C_{verify}(\tau) + C_{induce}(\tau)$，总成本为 $C_{total}(\pi; B) = C_{pre}(\pi; B) + \sum_{\tau} C_{task}(\tau; \pi)$。不同系统在不同术语上购买性能：Tree Search 增加 $N_{rollout}$，WALT 增加 $C_{pre}$（离线发现），SGV 增加 $C_{verify}$。关键洞察是边际 Token 负载（每次成功任务的额外成本）而非绝对 Token 数量才是部署约束。
论文的核心论点是现有方法通过三种通货膨胀货币购买性能，而 PANDO 通过将 $C_{induce}$ 支付在流内并降低边际负载实现双赢。不理解这个框架就无法评价贡献。
VisualWebArena (VWA)
VisualWebArena 是一个基于截图和 DOM 结构的 Web Agent 基准测试，包含 Classifieds、Shopping 和 Reddit 三个领域共 910 个任务。每个任务要求 Agent 通过浏览器自动化完成特定目标，如查找商品、发布帖子等。评估基于执行验证的 SUCCESS/PARTIAL/FAILURE 判决。VWA 的特点是 Agent 在每步处理截图、维护长交互历史、调用规划器和反思器，因此是典型的 token 饥饿型场景。论文报告的指标包括成功率（SR）、步骤数、Token 数（千）、时间、动作重复率（ARR）、步骤开销比（SOR）和提示缓存利用率。
这是本文的评估基准，所有实验结果都基于 VWA。理解 VWA 的任务性质和指标体系是解读实验结果的前提。
Online Distillation（在线蒸馏）
在线蒸馏是指在测试查询流（而非离线预训练）中从成功轨迹诱导可重用技能的过程。PANDO 的在线蒸馏流程为：任务完成后，从成功子轨迹提取候选技能 → 验证选择模式 → 检查是否匹配降级条目 → 如果通过则加入技能库。与 Voyager 风格单调增长不同，PANDO 的降级黑名单机制允许将重复失败的技能移出活跃库。极性对合并将只差方向的例程（如 cheapest vs most expensive）合并为一个参数化例程 $f_{\pm}(x, d)$，其中 $d \in \{\text{asc}, \text{desc}\}$。
这是 PANDO 与现有技能学习系统的本质区别，理解它有助于把握论文的技术新颖性和为何能在单次 rollout 下保持竞争力。
研究动机
现有多模态 Web Agent 通过三种方式'购买'性能，都带来显著 Token 成本。第一是每任务 rollout/verifier scaling：Tree Search [Koh et al., 2024b] 通过分支搜索增加 $N_{rollout}$，成本与分支因子线性相关；SGV [Andrade et al., 2026] 引入两遍验证器，使得 $C_{task} \approx 2.2 C_{exec}$，在 910 个 VWA 任务上达到 54.0% 成功率时使用 275K tokens。第二是预评估工具发现：WALT [Prabhu et al., 2026] 运行离线'demonstrate → generate → validate'循环，为每个候选工具分配 100 步探索预算，但其发表的 52.9% VWA 成功率未计入这个 $C_{pre}$ 成本。第三是每步 specialist stacking：桌面 Agent 研究报告 1.4–2.7× 人类步数，75–94% 延迟在规划/反思。论文对 1000+ 基线 rollouts 的轨迹审计发现三个具体浪费源：重复动作循环（占图像标注失败的 34–42%）、基准外工具发现（如 WALT 的离线探索）、提示架构低效（文本/字幕方法的提示缓存利用率低于 11%）。
本文的目标是论文的核心目标是设计一个在累积经验过程中变得更便宜的 Agent 框架，而非每次任务都支付固定的推理税。具体来说，在 VisualWebArena 基准上，目标是在单次 rollout（$N_{rollout}=1$）、无预评估预算（$C_{pre}=0$）的约束下，达到或超越现有方法的成功率，同时降低每任务的 Token 成本和边际推理负载。论文引入了内在效率指标——动作重复率（ARR）、步骤开销比（SOR）和提示缓存利用率——来使轨迹级效率超越终端成功率变得可见。
与已有工作不同的是，本文的独特切入角度是质疑'token 购买性能'范式，转而探索在线技能诱导是否能不通过那些货币提升成功率。与 ASI [Wang et al., 2025c] 在 WebArena 上的在线诱导不同，PANDO 在 VWA 上解决了两个观察到的开放问题：第一，Voyager 风格技能库单调增长，没有降级机制处理静默失效的例程；第二，Python 程序存储在嵌入检索器后而非字面关键词索引库，约束了缓存结构。PANDO 通过结构化技能库（字面关键词检索）、降级黑名单（持久移除失效技能）和缓存感知路由解决了这些问题。另一个关键区别是 PANDO 在 token–success 平面上严格帕累托占优所有基线，而 ASI 主要报告 SR 提升。
核心方法
PANDO 采用 Plan → Act → Reflect → Learn 循环，围绕推理和执行的分离构建。强模型（GPT-5.2）稀疏用于规划和反思；便宜 Actor（Opus 4.6）处理高频 grounding；确定性技能尽可能替换重复动作链。系统响应轨迹审计：规则针对重复动作循环，例程摊销重复子目标，降级防止陈旧技能成为隐藏负债，缓存感知布局使库增长而非更昂贵。技能库划分为规则和例程 $S_t = R_t \sqcup F_t$，每个技能有结构化元数据、触发关键词、置信度统计和可执行或规则级语义。检索是字面关键词包含，非嵌入搜索，使库可审计、缓存友好且在线增长下稳定。
核心创新点是在测试查询流中构建结构化技能库，通过规则、例程、在线蒸馏、极性对合并、置信度更新和降级黑名单的集成，实现单次 rollout 下的性能提升。与现有方法的关键区别包括：（1）在线诱导而非离线发现（WALT 的 $C_{pre}=0$）；（2）单次 rollout 而非多次尝试（Tree Search 的 $N_{rollout}=1$）；（3）字面关键词检索而非嵌入相似性（可审计、缓存友好）；（4）显式降级机制而非单调增长（Voyager/ASI 的弱点）；（5）内在效率指标（ARR、SOR、Cache）与 SR 并重报告。
方法步骤详情
PANDO 的完整执行流程分为四个阶段。首先，规划器接收任务描述和初始状态，将任务分解为子目标并从技能库检索匹配的规则和例程。检索使用字面关键词包含，非嵌入相似性。然后，技能选择器将匹配的例程传递给执行器，未匹配的子目标回退到 Actor。Actor 使用多模态 grounding（SoM-Qwen）执行浏览器动作，包括点击、输入、导航等。第三，评估器在子目标或监控事件后验证 URL/DOM/截图变化，向学习模块提供进展证据。最后，学习模块执行在线蒸馏：从成功子轨迹提取候选技能（需满足可重用子目标模板、已验证选择模式、无匹配降级条目）→ 计算候选置信度 $c_s = \alpha_s/(\alpha_s + \beta_s)$ → 极性对合并（如 cheapest/most expensive 合并为 $f_{\pm}(x, d)$）→ 降级（重复失败的技能加入黑名单）→ 库更新 $S_{t+1} = S_t \cup \text{Admit}(\text{Induce}(\xi_t); B_{demote}) \setminus \text{Demote}(S_t)$。分层路由保留昂贵推理用于新颖规划/反思，执行成本为 $C_{exec}(\tau) = \kappa_H |\text{Plan}(\xi_{\tau})|^{q_{plan}} + \lfloor T/k_R\rfloor q_{reflect} + \kappa_L T q_{act}$，其中 $\kappa_H > \kappa_L$ 且 $k_R = 3$。视觉压缩减少主导 Actor 项，稳定前缀提示布局提高缓存利用率。
技术新颖性
技术新颖性体现在多个层面的集成。在表示层面，结构化技能库（规则+例程）结合字面关键词检索，与 Voyager 的嵌入检索和 WALT 的离线工具库形成对比。在生命周期层面，在线诱导（测试查询流中学习）+ 降级黑名单（持久移除失效技能）+ 极性对合并（合并对称例程）的组合，解决了 Voyager 风格单调增长问题。在效率层面，分层路由（规划用强模型、执行用便宜模型）+ 视觉压缩 + 缓存感知提示（稳定可重用前缀）的组合，使库增长而非更昂贵。在评估层面，引入内在效率指标（ARR、SOR、Cache）与 SR 并重，使轨迹级效率可见。这些机制共同使 PANDO 在 token–success 平面上严格帕累托占优所有基线，而非只是高 SR 点。
实验结果
在 VisualWebArena 全部 910 个任务上，PANDO 达到 58.3% 成功率，超越 SGV (54.0%) 4.3 个百分点（95% 配对自助置信区间 [+2.0, +6.6]），超越复现的 WALT (45.2%) 13.1 个百分点，同时使用 115K tokens 每任务。这严格帕累托占优评估基线：SGV 使用 275K tokens 达到 54.0% SR，WALT 使用 294K tokens 达到 45.2% SR。Token 效率比 $\eta = \text{SR}/\text{tokens}$ 对 PANDO 是 0.507 pp/Ktok，SGV 是 0.196，WALT 是 0.154。内在指标解释了为何提升不仅仅是更强骨干：PANDO 在自动方法中最低 ARR (9.1%)、最低 SOR (1.8×) 和最高缓存利用率 (72.4%)。VWA-300 成分消融研究显示技能学习组件将 SR 从 38.6% 提升到 57.3%，步骤从 15.2 降至 9.8；最终路由/压缩/缓存行仅添加 +1.7 pp SR 但将 tokens 从 147K 降至 117K，缓存利用率从 69.3% 提升至 72.0%。这是主要机制故事：库提供能力，提示结构优化降低边际成本。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VisualWebArena (910 tasks) | Success Rate (%) | 58.3 | SGV 54.0, WALT 45.2 | +4.3 pp over SGV, +13.1 pp over WALT |
| VisualWebArena | Tokens per task (K) | 115 | SGV 275, WALT 294 | -58% vs SGV, -61% vs WALT |
| VisualWebArena | Steps per task | 9.3 | SGV 13.5, WALT 10.5 | -31% vs SGV, -11% vs WALT |
| VisualWebArena | Action Repetition Rate (%) | 9.1 | SGV 14.2, WALT 18.3 | Lowest among all methods |
| VisualWebArena | Prompt Cache Utilization (%) | 72.4 | SGV 45.1, WALT 38.6 | Highest among all methods |
| VWA-300 Ablation | SR lift from backbone | +20.4 pp (38.6% → 59.0%) | N/A | Rules +5.6 pp, Seed routines +3.9 pp, Reflector +2.9 pp, Online distillation +2.9 pp, Polarity-pair merging +2.5 pp, Demotion +0.9 pp, Routing +0.5 pp, Compression +0.7 pp, Cache +0.5 pp |
局限与改进
作者承认的局限性包括：所有实证主张仅在 VWA 上验证；OSWorld 风格桌面任务需要像素误击、窗口焦点、多应用协调的新规则；在线学习假设可信流，打乱顺序和 16 工人共享库变体稳定（App. L），但对抗性排序可能增加冷启动成本；极性对诱导是句法层面的，更广泛的程序等价性发现是未来工作。额外观察是：技能命中与任务难度相关，成功轨迹才有资格成为候选，因此冷启动早期技能库增长受限；降级机制基于重复失败而非显式语义失效检测，可能误伤在特定子任务序列中有效的技能；缓存感知提示依赖稳定前缀，任务间多样性高的场景可能收益降低；字面关键词检索虽然可审计，但可能错过语义相似但关键词不匹配的技能。
独立分析的弱点
独立分析的弱点包括：第一，技能诱导仅从成功轨迹提取候选，失败轨迹的负样本未充分利用，可能错失'不应该做什么'的规则。改进方向是引入失败模式分析，从失败轨迹学习防护栏。第二，极性对合并仅处理句法对称（asc/desc），更广泛的程序等价性（如不同实现但功能相同的排序逻辑）未覆盖。改进方向是引入符号执行或输入输出对齐的等价性检测。第三，降级基于重复失败计数，缺乏上下文感知，可能将只在特定任务序列中失效但其他序列有效的技能误降级。改进方向是引入条件降级，基于任务特征（如网站域名、任务类型）的失效概率建模。第四，视觉压缩和缓存感知提示的具体实现细节未在主文中详细描述，复现可能需要调参。改进方向是在附录或代码库中提供更详细的实现指南和超参数敏感性分析。
未来方向
作者提出的未来方向包括：扩展到 OSWorld 桌面任务（需要像素误击、窗口焦点、多应用协调的新规则）；更广泛的程序等价性发现（超越句法极性对）；对抗性排序下的在线学习稳定性分析。基于成果可延伸的方向包括：跨任务共享技能库的多领域终身学习；技能库的社区协作和众包贡献；与模型微调结合的技能蒸馏（将技能库蒸馏到模型权重）；技能库的压缩和高效检索（如倒排索引、层次聚类）；技能库的可解释性和人类审计工具；技能库在不同骨干模型（更便宜或更强模型）上的迁移性分析；技能库在更复杂任务序列（如多轮对话、长期规划）中的应用；技能库的安全性分析（防止恶意技能注入）。
复现评估
论文声称发布基准代码、指标追踪器、提示模板和匿名轨迹，但排除凭证、私有站点状态和策略绕过自动化痕迹。基于公开信息评估：代码库可能包含技能库结构、学习模块、路由/压缩/缓存优化、指标追踪器；提示模板可能包含规划器、评估器、学习模块的提示；匿名轨迹可能包含 910 个任务的执行日志、技能库状态、缓存统计。数据方面使用 VWA 公开基准，无需额外数据集。算力方面未详细报告，但单次 rollout 910 任务在 50 步预算下，预计需要数百 GPU 小时（基于 Opus 4.6 和 GPT-5.2 的调用成本）。复现难度中等：核心机制描述清晰，但视觉压缩、缓存感知提示的具体实现细节可能需要从代码推断；技能库的初始化（12 个种子例程）未详细列出；提示模板的具体格式可能影响性能。总体而言，代码和轨迹的发布有助于复现，但完整复现可能需要访问相同的模型端点和计算资源。
论文图表
