ASCENT：验证经验自蒸馏驱动的长程智能体在线测试时训练 ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience
把验证通过的轨迹当特权信息喂给冻结初版模型自蒸馏进LoRA，部署中越做越好
前置知识
测试时训练（TTT）
在推理或部署阶段用测试数据自身产生的信号临时更新模型参数的范式。经典 TTT 在每个样本或回合结束后重置参数；本文提出的 OaTTT（在线智能体测试时训练）则让更新跨任务持久保留，任务流单遍到达、每个任务只尝试一次。
ASCENT 的整个问题设定就是 OaTTT，理解它与逐回合重置式 TTT 的区别，才能明白“持久权重演化”这一核心主张的新颖之处。
LoRA 快速权重
冻结基座模型参数 $\theta_0$，只训练注入到部分权重矩阵（本文为 down_proj）的低秩旁路，rank 16、scale 32。训练后的 adapter 可插拔、可跨任务携带，教师推理时只需禁用 adapter 即可回到冻结基座。
ASCENT 的所有学习都发生在 LoRA adapter 上，它是经验在参数空间的唯一载体，也是教师与学生能共享同一基座、教师永远保持稳定的技术前提。
前向 KL 散度与 on-policy 蒸馏
前向 KL $D_{KL}(q\|p_\phi)$ 让学生分布 $p_\phi$ 匹配教师分布 $q$ 的全部概率质量，对 logits 的梯度为 $p_\phi-q$，属于全词表分布匹配。on-policy 蒸馏指在学生自己生成的前缀上查询教师的下一 token 分布作为训练目标；OPSD 进一步让教师看到学生看不到的特权信息。
这正是 ASCENT 的损失函数（Eq. 8），论文反复对比它与逐 token 硬目标模仿的梯度差异（Eq. 13）来解释在线训练稳定性的来源。
ReAct 智能体与轨迹
智能体以“推理+动作”回合与环境交互：每回合基于渲染的历史 $H_{i,t}$ 生成响应 $w_{i,t}$，解析器 $\rho$ 提取动作，环境返回观测；一次完整交互构成轨迹 $\tau_i$。ALFWorld 与 WebShop 中每个任务有 50 回合预算，AppWorld 为 30 次交互。
轨迹既是智能体的执行方式，也是 ASCENT 唯一的训练数据来源，其回合结构直接决定了特权信息 $z_i$ 的构造方式与训练前缀的选取。
RFT 与拒绝采样
拒绝采样微调：只保留通过验证器筛选的样本用于训练，失败样本不产生梯度。在二元奖励下，最大化成功轨迹似然是无偏的策略梯度估计；但若把选中轨迹当作逐 token 硬目标模仿，训练仍会不稳定。
ASCENT 的验证门控在形式上就是拒绝采样，但它把“选出的轨迹”用作教师的条件输入而非学生的模仿目标，这是它与 Online RFT 的本质区别。
特权信息与后见之明（hindsight）
学生在前缀 $c_{i,t,j}$ 处决策时看不到的信息：该回合后续的响应、观测以及最终验证结果。把完整成功轨迹序列化为 $z_i$ 提供给教师，教师便在“已知结局成功”的条件下预测每一步，形成比学生当时更明智的软目标。
这是 ASCENT 教师目标的来源，也是它显著优于只看当前回合局部信息的 TT-OPSD 的关键（ALFWorld 上高出约 10 到 18 个百分点）。
REINFORCE 与单次尝试策略梯度
策略梯度用加权项 $\omega=v-\bar v$ 乘以 $\nabla\log p$ 更新策略；GRPO 类组相对优势需要每题多次采样，单次尝试下只能用跨任务运行均值做基线（REINFORCE）或对全流 token 优势做运行归一化（REINFORCE++）。
论文用 Online REINFORCE/REINFORCE++ 代表强化路线，实验证明它们在 OaTTT 下因失败样本主导梯度而崩溃，构成 ASCENT 采用蒸馏目标的直接动机。
研究动机
部署中的 LLM 智能体面对持续到来的相关任务流，但基座冻结时性能瓶颈明显：Qwen3.5-4B 在 ALFWorld 上的整体成功率仅 46.4%，其中 Heat、Cool 类任务只有 6.2% 和 8.0%，WebShop 严格成功率仅 17.8%。主流的上下文自适应方法把反思、记忆、技能存成文本供后续检索，其复用依赖两个都不可靠的环节：检索要命中、冻结策略要照着执行。论文实测检索基线在记忆库中存在同类成功经验时 Hit@1 命中率仅约 37%（4B）/46%（9B），即便命中也常因模型不遵循检索内容而失败；案例研究显示基座与 5 个上下文方法在“put a cool egg in microwave”任务上全部耗尽 50 步预算。参数化路线则各有硬约束：单回合 TTT（aTTT、TMEM）每回合后重置、增益不跨任务累积；自训练与 RL 需要多次采样、预部署训练阶段或学习 critic，无法在“单次尝试、单遍任务流、仅回合级 0/1 验证”的部署条件下更新权重。
本文的目标是论文想回答一个明确问题：一个已部署的智能体，能否把每个任务仅有的一次执行轨迹及其验证结果，转化为跨任务持久的权重更新，从而在后续任务上持续提升？具体设定为在线智能体测试时训练（OaTTT）协议：任务以单遍流式到达，智能体对每个任务只尝试一次，环境在回合结束时返回稀疏的回合级验证 $v_i\in\{0,1\}$；该得分轨迹是唯一的训练数据——没有重试、没有 replay buffer、没有外部参考答案或更强教师、没有任务专属或离线训练阶段，且更新在进入下一任务前完成并在整个任务流上持久保留。理想目标是在 ALFWorld、WebShop、AppWorld 等不同类型环境、不同模型规模上同时提升任务成功率与交互效率（更少回合数），并且学到的权重能迁移到保留场景、支持继续在线学习。
与已有工作不同的是，本文的独特切入是把“如何安全地从单次经验中学习”转化为“蒸馏什么样的目标”的问题。直接模仿或强化自己生成的 token 会把概率质量集中到策略已偏好的输出上：论文发现五种直接基线（无门控模仿、Online RFT、RFT+KL、REINFORCE、REINFORCE++）在任务流上集体崩溃——首响应 token 熵趋零、对初始策略的 KL 持续漂移、有效动作率下降、后半段成功率低于不训练的基座。ASCENT 的角度是：验证通过的轨迹不应作为硬目标被逐 token 模仿，而应作为特权信息喂给一个冻结的初版模型，让它在“知道结局成功”的后见条件下，于每个 token 位置给出完整的下一 token 分布，再把这种软目标蒸馏进 LoRA。这把 RFT 的拒绝采样选择性与全词表分布匹配的稳定性结合，且教师永远固定在初始检查点，切断了“学生漂移→目标跟着漂移”的正反馈回路。
核心方法
直觉上，ASCENT 在每次任务成功后问自己：“如果初版的我提前看到这条成功轨迹，它会在每一步预测什么？”这个带后见之明的预测比学生当时的盲猜更有信息量，值得让学生去学。技术上：智能体 $p_{\theta_0,\phi_i}$（冻结基座 $\theta_0$ 加持久 LoRA $\phi_i$）对任务 $x_i$ 执行一次 ReAct 回合得到轨迹 $\tau_i$，环境验证器返回 $v_i\in\{0,1\}$。若 $v_i=1$，先剔除无效动作回合，将任务目标、成功声明与有效回合的推理-动作文本序列化为特权信息 $z_i$；然后在学生自己的前缀 $c_{i,t,j}$（含无效回合在内的全部非空响应）上，让教师 $q_{i,t,j}=\mathrm{stopgrad}[p_{\theta_0}(\cdot\,|\,z_i\oplus c_{i,t,j})]$ 输出下一 token 分布，学生通过前向 KL 损失 $\mathcal{L}^{\text{ASCENT}}_i=\sum_{t,j}\alpha_{i,t,j}D_{KL}(q_{i,t,j}\|p_{\theta_0,\phi})$ 拟合这些目标，每条被接受轨迹只做 2 步 AdamW（$1.5\times10^{-4}$）；若 $v_i=0$ 则跳过。adapter 与优化器状态跨任务保留，轨迹用后即弃。
核心创新在于目标函数的替换与信息不对称的设计。与直接模仿的梯度 $\omega(p_\phi-e_y)$（把生成的 token 当 one-hot 硬目标，只会加深深信输出、把概率推给策略已偏好的备选）不同，ASCENT 的梯度是 $p_\phi-q$，做全词表分布匹配：教师偏好的替代动作概率上升，教师不同意的 token（如被过滤掉的无效动作处的输出）下降，且目标由稳定教师提供、不会随学生一起变尖。与 TT-OPSD 相比，教师看到的是整条轨迹的后见——知道自己最终成功了、中间的绕路后来是怎么纠正的——而非只看当前回合的局部信息，因而能给出跨回合的隐式引导。与 RL 相比，二元验证的门控等价于拒绝采样，不需要 critic、不需要回合级信用分配。与上下文记忆方法相比，经验内化在权重里，不依赖检索命中，也不依赖冻结策略对文本指令的长程执行。
方法步骤详情
第一步，任务 $x_i$ 到达，当前智能体（冻结基座+LoRA）用 ReAct 模板和贪心解码执行单次尝试，至多 50 回合，解析器 $\rho$ 提取动作，环境返回观测，终止时得到轨迹 $\tau_i$。第二步，验证器给出回合级 0/1 结果 $v_i$，先记录成绩再更新（prequential 协议，保证报告成绩不受自身轨迹影响）。第三步，$v_i=0$ 直接跳过，adapter 原样进入下一任务；$v_i=1$ 时从每个回合的环境响应读取有效性指示 $d_{i,t}$（动作被环境执行为 1，未解析或被拒为 0），把目标、成功声明与 $d_{i,t}=1$ 回合的推理-动作文本拼接为 $z_i$，默认不含观测文本。第四步，在所有非空响应（含无效回合）上构造共享学生前缀 $c_{i,t,j}$，教师（禁用 adapter 的冻结基座）在 $z_i\oplus c_{i,t,j}$ 上输出 detached 全词表分布。第五步，从 $\phi_i$ 出发最小化按回合内 token 数归一的前向 KL，AdamW 学习率 $1.5\times10^{-4}$，每条轨迹 2 步，LoRA 作用于 down_proj、rank 16、scale 32。第六步，adapter 与优化器状态带入任务 $i{+}1$，轨迹与 $z_i$ 丢弃，全程无 replay。
技术新颖性
新颖性有四层。其一，问题设定新：OaTTT 首次把“长程智能体在部署中、单遍任务流、每任务单次尝试、稀疏回合级验证”下的持久参数化自适应形式化，并配套 prequential 评测协议，与逐回合重置的 TTT、需多次采样的自训练、预部署 RL 明确区分。其二，机制新：把 OPSD 的“教师见特权信息、学生只见前缀”的不对称性从静态单步推理搬到在线多回合智能体，用验证门控替代参考答案作为特权信息来源，并叠加动作有效性过滤——过滤只改教师输入，学生在被删回合位置仍受训练，从而学到更干净的执行路径。其三，实证刻画新：系统记录了直接模仿/单次尝试策略梯度流式更新的崩溃动力学（熵坍缩、KL 漂移、有效动作率崩塌、生成 token 膨胀），以及教师演化速率与成功率的关系（EMA $\beta=0.90$ 时成功率从 48.6% 跌到 2.9%），说明冻结教师是稳定性的关键。其四，理论刻画：证明验证选择等价于按接受概率重加权轨迹（Eq. 14-15），前向 KL 的总体最优解是在学生前缀上匹配被接受轨迹的教师分布均值（Lemma A.1），并诚实指出验证不保证选出更短路径（Eq. 19）。
实验结果
ALFWorld seen（140 任务）：4B 上 ASCENT 成功率 69.5±5.6%，比基座 46.4% 高 23.1 点，超最强在线基线 MemP（63.6%）；9B 上 77.4±1.8% 对基座 55.0%；平均回合数从 35.1→26.3（4B）、32.6→21.0（9B），且在双方都解出的共享成功任务上ASCENT 回合更少的比例达 63.8%/67.3%。WebShop（500 任务）：4B 严格成功率 41.9% 对基座 17.8%（平均分 62.4 对 25.9），9B 41.5% 对 17.2%，回合数近乎减半（39.5→17.8）。ALFWorld unseen（134 任务）冻结迁移：4B 62.7%、9B 88.8%，继续在线适应后达 78.6%（+15.9）与 90.0%。AppWorld（4B）：Test-Normal TGC 26.2% 对基座 20.2%（SGC 9.5% 对 5.4%），Test-Challenge TGC 20.0% 对 15.8% 但 SGC 未领先。消融显示特权信息中推理是关键：只用动作作 $z_i$ 近于或低于基座（4B 48.3-48.8%）；蒸馏散度上，前向 KL（69.5/77.4）总体优于反向 KL（约 62），JS 在 9B 反超至 80.7。案例研究中基座与 5 个上下文方法在 cool egg 任务全部耗尽 50 步，ASCENT 凭借此前两个同类任务的权重更新以 20 步解出。教师演化实验表明任何跟随学生的教师都不超过冻结教师（冻结 69.5% vs 最快 EMA 24.3%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld seen 长程家务任务流（Qwen3.5-4B） | 平均成功率 SR (%) | 69.5±5.6 | 基座 46.4；最强在线基线 MemP 63.6 | +23.1（对基座）/ +5.9（对最强在线基线） |
| ALFWorld seen（Qwen3.5-9B） | 平均成功率 SR (%) | 77.4±1.8 | 基座 55.0；MemP 67.9 | +22.4 / +9.5 |
| WebShop 500 任务流（4B） | 严格成功率（task score=1, %） | 41.9±0.3 | 基座 17.8 | +24.1（平均分 62.4 vs 25.9，回合 39.5→17.8） |
| WebShop 500 任务流（9B） | 严格成功率（%） | 41.5±1.8 | 基座 17.2 | +24.3（平均分 56.8 vs 27.8，回合 37.5→26.7） |
| ALFWorld unseen 冻结迁移（4B / 9B） | 成功率 (%) | 62.7±7.5 / 88.8±6.6 | 基座 43.3 / 49.3 | +19.4 / +39.5 |
| ALFWorld unseen 继续在线适应（4B / 9B） | 成功率 (%) | 78.6±5.1 / 90.0±3.6 | 各自冻结迁移 62.7 / 88.8 | +15.9 / +1.2 |
| AppWorld Test-Normal（4B） | TGC 任务完成率 (%) | 26.2±1.3 | 基座 20.2 | +6.0（SGC 9.5 vs 5.4） |
| ALFWorld seen 共享成功任务的交互效率 | 平均回合差 ΔT（ASCENT−基座） | 4B −4.8±0.9；9B −7.0±0.3 | 未进化基座 | 在 63.8%/67.3% 的共享成功任务上 ASCENT 回合更少 |
局限与改进
作者承认的局限：需要教师输出完整 next-token 分布，故只适用于开源权重模型；更新门控依赖稀疏的回合级验证，对所有回合等权，缺乏回合级信用；教师的特权上下文包含学生的响应文本，教师可能部分“重构”已生成的 token 而非提供真正独立的后见，如何分离这一混杂效应是开放问题。我的补充观察：其一，验证信号质量是隐性前提——WebShop 上 ASCENT 把得分 ≥0.9 的回合也当作成功来蒸馏，宽松于严格成功标准，真实部署中验证噪声甚至被博弈（reward hacking）会直接污染蒸馏目标；其二，正样本稀疏导致冷启动问题，4B 基座 Heat 任务成功率仅 6.2%，流的前半段几乎没有可蒸馏的成功轨迹；其三，冻结教师的能力上限即知识上限，ASCENT 更多是对基座已有行为重新加权，而非获得全新能力；其四，$z_i$ 需序列化整条轨迹，上下文消耗与轨迹长度成正比，超长回合成本高；其五，实验只覆盖 Qwen3.5 两个规模与三个模拟环境，真实用户流的分布漂移与更广泛的模型家族未验证。
独立分析的弱点
独立分析三点弱点。第一，验证门控的单点依赖：若环境验证器有噪声或延迟（现实系统常见），错误接受的失败经验会被当作成功蒸馏，且无回合级信用意味着轨迹中的冗余甚至有害回合也被等权训练——改进方向是引入轻量过程监督（如动作有效性之外的成功子目标检测）或对回合做置信度加权。第二，失败经验完全浪费与冷启动：$v_i=0$ 直接跳过，失败轨迹不产生任何梯度，而低成功率任务（4B Heat 仅 6.2%）正样本稀少、学习启动慢——可探索对失败轨迹做对比式蒸馏（教师条件化于“这条失败了”），或引入极小权重的负梯度并配合强 KL 锚定防止崩溃。第三，更新预算固定为每条接受轨迹 2 步：成功密集的流会累积过大漂移，成功稀疏的流几乎不学习——可按教师-学生 adapter 距离自适应调节步数或学习率，这与附录 C.1 发现的“教师-学生距离超过约 1.5 后成功率平台化”的观察直接呼应。
未来方向
作者提出的方向：更细粒度的回合级信用估计；分离教师特权上下文中“重构学生文本”的混杂效应；把演化好的 adapter 按环境或用户即插即用。基于成果可延伸的：其一，阶段性教师演化——附录 C.1 显示快速 EMA/快照教师因反馈回路崩溃（EMA β=0.90 跌至 2.9%），而“仅在学生验证成绩提升后演化教师”可能兼得跟随性与稳定性；其二，上下文与参数的协同进化：9B 上 ACE/MemP+ASCENT（80.5%/78.6%）已超过 ASCENT 单独的 77.4%，而 4B 上 ASCENT 单独最好（69.5%），两种记忆的分工与模型规模的关系值得系统研究；其三，失败经验利用与离线-在线混合：用 ASCENT 权重作为后续 RL 微调的初始化，或对失败轨迹蒸馏“避坑”信号；其四，理论补全回合效率机制——附录 A.1.3 已证明验证选择不保证更短路径，但共享成功任务的中位回合数仍少 2.3-3.5，解释这一隐式剪枝现象值得建模；其五，扩展到真实生产环境（代码库、浏览器）与流式分布漂移下的持续评估。
复现评估
复现条件相当友好：单张 NVIDIA H100、Qwen3.5-4B/9B 开源权重、ALFWorld/WebShop/AppWorld 均为公开基准；关键超参数完整给出（LoRA 作用于 down_proj、rank 16、scale 32，AdamW 学习率 $1.5\times10^{-4}$，每条接受轨迹 2 步，ReAct 模板+贪心解码，ALFWorld/WebShop 50 回合预算、AppWorld 30 次交互）。在线方法每回合耗时几十到一百多秒（ALFWorld 4B 约 58-133 秒/回合），离线基线需 2-16 GPU·h 预训练，算力门槛低。论文提供项目页（Artificer-AI-Lab/ASCENT），教师提示模板（Fig. 6）、动作有效性判定规则、全部基线实现与实验细节均在附录中描述，主结果为 3 次独立运行的均值±标准差。不确定因素：代码是否已开源文中未明确承诺；对比基线多达 11 个以上，自行复现基线工作量不小；OaTTT 协议要求严格的单遍流式评测脚本。总体难度中等，有 LoRA 训练经验的团队约两到三人周可复现主表。
论文图表
五种直接基线（无门控模仿、Online RFT、RFT+KL、REINFORCE、REINFORCE++）与 ASCENT 在 ALFWorld seen 流上逐回合在线更新的学习动态曲线：(a) 首响应 token 熵、(b) 对初始策略的 KL、(c) 有效动作率、(d) 每回合生成 token 数。直接方法熵坍缩、大幅漂移、有效动作率下降、生成变长，而 ASCENT 最贴近初始模型并保持有效动作率。
这是“为什么不能直接在线模仿/强化自身轨迹”的核心实验证据，是 ASCENT 设计动机的实验基础，直接引出蒸馏目标的必要性。
演化教师实验的动力学：EMA β=0.90 的成功率从 48.6% 跌至 2.9%，快照 N=10 从 60.0% 跌至 25.7%；(c) 显示成功率随教师-学生 adapter 距离 $\|\bar\phi-\phi\|_2$ 缩小而下降，距离超过约 1.5 后平台化在 56-64%，仍低于冻结教师的 65%；(b) 标出每次快照刷新后成功率下滑。
揭示演化教师会产生“学生漂移成为监督信号”的反馈回路，论证冻结教师这一设计选择的合理性，是理解方法稳定性来源的关键分析。
检索基线的记忆分析：(a) 当记忆库中存在同类先前成功时，Hit@1/3/5 命中率 4B 为 36.9%/35.2%/57.3%、9B 为 46.3%/56.9%/77.9%，检索经常错失可用经验；(b) 按记忆状态分组的成功率——有同类胜利且被检索到时成功率更高，检索不到或无先验时更低。
用数据支撑“检索不可靠、检索到也不保证成功”的上下文适应失败分析，为参数化路线的动机提供量化依据。