面向小语言模型智能体停滞缓解的进度感知蒸馏（ProD）

把师生停滞差距编码为自适应边际，蒸馏中显式检测并惩罚小模型智能体的行为停滞。

前置知识

ReAct 与 CodeAct 智能体范式

ReAct 让智能体在 Thought（推理）→Action（调工具）→Observation（环境反馈）的循环中逐步解题；CodeAct 是其变体，把动作空间换成可执行代码，比文本/JSON 动作更灵活。每次循环称为一轮交互，整条 $(h_i, a_i, o_i)$ 序列构成轨迹 $\tau$，$L_\tau$ 为总轮数。

本文的问题定义、停滞度量与全部实验都建立在多轮 Reason–Act–Observe 轨迹之上，先理解一轮的三个组成部分，才能读懂停滞分数为何定义在 $h_i \oplus a_i$ 拼接上。

智能体蒸馏与 SFT 行为克隆

用强教师模型在训练任务上跑出成功轨迹（思维、代码动作、环境观察三元组），过滤只保留答案正确的轨迹构成数据集 $\mathcal{D}$，再对学生做监督微调：损失只计教师生成的 token，屏蔽观察部分（观察由环境产生，学生无需学）。学生由此习得工具增强推理。

ProD 正是针对这一 SFT 范式在长交互下失效的问题。必须先明白 SFT 蒸馏「学什么、不看什么」，才能理解学生为何会停滞、ProD 又在其上补充了什么。

停滞分数（词面/语义/LLM 评审）

逐轮量化「当前轮是否在重复历史」的指标：词面版取 $h_i \oplus a_i$ 与所有历史轮的最大 ROUGE-L；语义版用 all-mpnet-base-v2 句向量取最大余弦相似度；评审版让前沿 LLM 直接判断本轮是否有进展。三者取值均在 $[0,1]$，实测 Pearson 相关全部超过 0.92。

这是全文的核心度量：诊断分析靠它发现停滞现象，ProD 的自适应边际也由它构成。不懂这三种分数的定义，就读不懂公式 (2)(3) 与 Table 1/2。

SimPO 与偏好优化

DPO 一类偏好优化用成对数据（chosen/rejected）训练：拉近 chosen、推远 rejected。SimPO 用长度归一化的对数似然差 $\frac{\beta}{|y|}\log p_\theta(y|x)$ 减去固定边际 $\gamma$ 后过 sigmoid，无需参考模型。ProD 的公式 (1) 形式上继承 SimPO，但把固定边际换成了逐实例自适应值。

不熟悉 SimPO 就看不出 ProD 目标函数改动了哪一处、以及这一处改动为何是全文的关键创新；消融实验也以「退化为 SimPO」的变体作对照。

LoRA 参数高效微调

冻结原模型权重，只训练低秩分解矩阵 $\Delta W = BA$（秩 $r \ll d$），大幅降低显存与算力需求。本文对所有学生用 rank 64、batch size 32、AdamW、3% warmup 的线性学习率调度训练。

Table 3 主结果与附录 B.1 的全部训练设置都基于 LoRA；它也解释了为什么 0.6B–8B 的实验在普通卡规模的算力上即可复现。

似然位移（Likelihood Displacement）

偏好优化中的已知风险：推开 rejected 序列时，chosen（甚至教师）序列的对数概率也会随之下降，因为两者共享参数且措辞相近，最终学出的策略可能整体退化。Razin et al. (2024) 对此做过系统分析。

ProD 在偏好目标之外保留 SFT 损失项正是为了抵消这一效应；消融显示去掉该锚定后（退化为 on-policy SimPO）方法在 Qwen3-4B、Gemma3-4B 上甚至低于 SFT 基线。

研究动机

基于大模型（如 GPT-4.1）的智能体在网页检索、软件工程、科学报告生成等任务上表现出色，但巨大的 token 消耗和推理延迟阻碍实际部署，因此主流做法是通过 SFT 行为克隆把教师轨迹蒸馏给小语言模型（SLM）。然而本文发现：随着交互轮数增加、推理-动作链与环境反馈（嘈杂的网页搜索结果、冗长的代码执行日志）不断堆积，SFT 蒸馏出的学生智能体会陷入「进度停滞」——反复执行与之前高度相似的失败动作而无法突破。Figure 1 中，SFT 蒸馏的 Qwen3-1.7B 在回答「Strange Fruit 影片女演员」问题时连续多轮发出几乎相同的 web_search 查询，最终耗尽轮数仍给出「尽管多次尝试仍无结果」的错误回答，而教师 GPT-4.1 通过逐步细化搜索稳步答对。系统性分析（Section 2）显示：在 MATH 与 HotpotQA 上，SFT 学生的词面停滞分数可接近 0.9，且模型越小、轨迹越长越严重；该现象横跨 Qwen3、Llama3、Gemma3 三个家族、不同任务域与微调方式，在全参数微调下、甚至在蒸馏训练数据自身上依然存在。

本文的目标是本文目标是让 SFT 蒸馏出的学生智能体摆脱停滞循环，习得教师「持续推进」的问题解决动态。具体而言：在蒸馏优化过程中显式检测学生自生成轨迹中的停滞信号，量化学生与教师在停滞水平上的差距，并把这一差距转译为逐实例的自适应惩罚强度——停滞越严重纠正越强，已接近教师进度的轨迹则温和保留，避免过度矫正。通过迭代执行「生成→检测→惩罚」循环（Algorithm 1），ProD 试图让学生逐步逼近教师行为，同时提升任务成功率与完成效率，即在 MATH、HotpotQA 及三个域外基准上以更少的交互轮数和 token 拿到更高的最终答案准确率。

与已有工作不同的是，已有工作切入点各异：SFT 蒸馏范式（Kang et al., 2025）只在成功教师轨迹上做行为克隆，从不约束学生自身在交互中的行为；解码层的重复惩罚（Repetition Penalty）只在推理时抑制 token 级重复，无法处理轨迹级的策略性循环；数据层的简洁化蒸馏（如压缩教师 CoT、缩短演示）只清理演示数据而不改变学生的优化过程；Pipis et al. (2025) 虽研究了单轮 CoT 蒸馏中的循环现象并归因于难度诱导的风险规避，但没有给出训练时的缓解目标。ProD 的独特之处在于：把「进度」本身作为一阶训练信号，在训练时对学生即时 rollout 的轨迹施加基于师生停滞差距的逐实例自适应边际——这既不同于固定边际的离线偏好优化 SimPO，也不同于只看最终答案对错的结果奖励，填补了智能体蒸馏中「交互动态对齐」的空白。

核心方法

直觉上，SFT 学生只见过「正确的教师轨迹」，从未在自己犯错的轨迹上被纠正，于是在长上下文中复述旧策略便成了局部最优。ProD 把蒸馏从纯模仿升级为「模仿 + 行为矫正」两股力量的联合：第一股是保留的 SFT 锚定损失 $\mathcal{L}_{SFT}(\theta) = -\mathbb{E}_{(x,\tau)\sim\mathcal{D}} \log p_{\theta^S}(\tau|x)$，把学生固定在教师轨迹的似然上；第二股是进度感知目标 $\mathcal{L}_{PRO}$，对学生 rollout 的轨迹 $\tilde{\tau}$ 与教师轨迹 $\tau$ 做偏好对比：$\mathcal{L}_{PRO}(\theta) = -\mathbb{E}\left[\log \sigma\left(\frac{\beta}{|\tau|}\log p_{\theta^S}(\tau|x) - \frac{\beta}{|\tilde{\tau}|}\log p_{\theta^S}(\tilde{\tau}|x) - f(\tilde{\tau},\tau)\right)\right]$，用 sigmoid 包裹两者长度归一化的对数似然差，再减去自适应边际 $f(\tilde{\tau},\tau)$，使停滞更严重、答案更错误的学生轨迹受到更强的推开力。形式上 ProD 借鉴 SimPO 的骨架，但边际不再是共享常数，而由可量化的停滞差距与答案正确性加权构成，偏好数据也来自当前学生的即时生成；训练在 SFT 学生之上用 LoRA 进一步优化，必要时多轮迭代。

核心创新是把「师生停滞差距」编码为偏好优化中的自适应优化边际。逐轮停滞分数 $S_{h_i \oplus a_i} \in [0,1]$ 度量当前轮与历史轮的最大相似度（词面 ROUGE-L、语义余弦、LLM 评审三种实现）；轨迹级差距按公式 (2) 定义为学生与教师平均停滞之差：$\Delta S(\tilde{\tau},\tau) := \frac{1}{L_{\tilde{\tau}}}\sum_{i=1}^{L_{\tilde{\tau}}} S_{\tilde{h}_i \oplus \tilde{a}_i} - \frac{1}{L_{\tau}}\sum_{i=1}^{L_{\tau}} S_{h_i \oplus a_i}$（首轮记 0）。自适应边际按公式 (3) 构造：$f(\tilde{\tau},\tau) = c_0\left[\alpha \max\{0, \Delta S\} + (1-\alpha)\,\mathbb{I}[\text{Ans}(\tilde{\tau}) \neq \text{Ans}(\tau)]\right]$，$\alpha=0.5$。与已有方法的本质区别有三：(1) SimPO 等用离线数据上的固定共享边际，ProD 的边际逐实例变化且来自学生即时 rollout；(2) 惩罚信号不只看「答案对错」，而是引入刻画推理-动作动态质量的进度度量，纠正的是「怎么做事」而非仅「结果对不对」；(3) 联合保留 SFT 损失以规避似然位移，防止教师轨迹概率被连带拉低。

方法步骤详情

ProD 流程分六步。第一步 SFT 热身：在教师成功轨迹数据集 $\mathcal{D}=\{(x_i,\tau_i)\}_{i=1}^N$ 上（GPT-4.1 在 MATH、HotpotQA 训练集各采集 3000 条轨迹并只保留成功者）用 LoRA（rank 64、batch 32、AdamW、3% warmup 线性调度）训练基础学生 $p_{\theta_0^S}$，损失只算教师 token、屏蔽观察。第二步学生 rollout：对每个查询 $x$ 令当前学生 $p_{\theta_t^S}$ 完整执行一遍任务得到 $\tilde{\tau}$，CodeAct 框架下动作为可执行代码，贪心解码、轮数上限 10。第三步计算停滞差距：逐轮计算 $S_{\tilde{h}_i \oplus \tilde{a}_i}$（主实验用词面 ROUGE-L 版本，首轮为 0），按公式 (2) 求师生平均停滞之差 $\Delta S$。第四步构造自适应边际：按公式 (3) 组合截断后的 $\max\{0, \Delta S\}$ 与答案错误指示，$\alpha = 0.5$。第五步联合优化：最小化 $\mathcal{L}(\theta) = \mathcal{L}_{PRO}(\theta) + \lambda \mathcal{L}_{SFT}(\theta)$，$\beta$ 缩放长度归一化对数似然差，$c_0$、$\lambda$ 等超参见附录 B.1。第六步迭代：若一轮后停滞差距仍显著，用更新后的学生重新 rollout、重算边际再蒸馏（Algorithm 1 的 $T$ 轮循环），主结果用单轮，Section 4.4 展示两轮的追加收益。

技术新颖性

技术新颖性体现在四个层面。其一，把可解释的行为学度量（词面/语义/LLM 评审三种停滞分数，三者 Pearson 相关均超过 0.92）引入蒸馏目标，是对「师生差距」的可操作量化——此前智能体蒸馏只对齐 token 分布，从不对齐交互动态。其二，逐实例自适应边际配合截断 $\max\{0, \Delta S\}$ 使优化强度随行为差距自动伸缩：停滞严重的学生轨迹得到激进纠正，接近教师进度的轨迹被温和保留；消融证明换成固定边际会导致过度或不足矫正，性能始终介于 SFT 与完整 ProD 之间。其三，on-policy 采样使偏好对反映学生当前的真实失败模式，与使用静态偏好数据的 SimPO/DPO 形成方法论对比，也更接近迭代式 DPO 的思路但判据从隐式奖励换成了显式行为度量。其四，识别并正面处理偏好优化中的似然位移风险：同时保留 SFT 项锚定教师似然；消融中去掉 SFT 项与自适应边际的变体（退化为 on-policy SimPO）在 Qwen3-4B、Gemma3-4B 上甚至低于 SFT 基线，直接验证了该设计的必要性。

实验结果

实验覆盖 0.6B–8B 的 8 个学生模型、3 个家族，CodeAct 框架、GPT-4.1 教师与 GPT-4.1-mini 评审。第一，主结果（Table 3）：ProD 平均把域内准确率比基座提升 29.2%、比 SFT 再提升 4.7%（相对约 10%），域外分别提升 18.5% 与 4.9%（相对约 17%）。以 Qwen3-4B 为例，域内平均从 SFT 的 74.2 升至 78.0（MATH 85.2、HotpotQA 70.8，几乎追平教师的 71.0），域外从 54.1 升至 58.4；Llama-3.1-8B 域内 61.8→67.2，Llama-3.2-1B 域外 20.2→25.7，全家族一致受益。第二，停滞缓解（Figure 3）：ProD 学生在词面、语义、评审三种停滞分数上全面低于 SFT 并逼近教师，如 Qwen3-1.7B 平均语义停滞 0.845→0.805。第三，效率（Table 4）：8 学生平均交互轮数 4.144→3.663（↓11.6%），token 16206→12847（↓20.7%）。第四，重复控制对比（Table 5）：HotpotQA 上 Qwen3-4B 的 SFT 66.6，RP(1.1/1.2/1.3) 66.2/65.6/61.6，简洁 SFT 66.4，ProD 70.8，说明解码层惩罚过强反而有害、数据层缩短无效。第五，迭代 ProD（Figure 4）：Llama3.2-3B 在 MATH 上 55.5→58.6→61.2（两轮），1B 模型 25.6→30.3→32.5。第六，消融（Figure 5、Table 6）：去掉 SFT 项与自适应边际的变体不稳定甚至劣于 SFT；$\alpha=0.5$ 在三个家族上均最优（Qwen3-4B 78.0、Llama3-8B 67.2、Gemma3-4B 61.0）。

**Table 1**: Three formulations of the turn-level stagnation score $S_{h_i \oplus a_i}$.

**Table 2**: Pearson correlation among stagnation metrics on Qwen SFT agents, averaged across HotpotQA and MATH.

**Table 3**: Comparison between teacher and student agents, including base models, SFT distillation, and ProD, on in-domain and out-of-domain agent tasks, evaluated by final answer accuracy (%).

**Table 4**: Inference efficiency averaged over 8 student agents on ID and OOD settings.

**Table 5**: Comparison with repetition-control baselines on HotpotQA. RP(·) denotes repetition penalty with the corresponding strength. Concise SFT trains on shortened, less redundant teacher trajectories.

**Table 6**: Accuracy (%) under different $\alpha$ values in the adaptive margin.

**Figure 3**: Alleviating progress stagnation. Comparison between SFT and ProD agents: Columns 1&2 show turn-level lexical stagnation on MATH and HotpotQA, Columns 3&4 show average semantic and judgment stagnation across turns and datasets.

**Figure 4**: Iterative ProD further alleviates stagnation (1&2) and improves accuracy (3&4) on MATH.

**Figure 5**: Ablation of optimization objective components in ProD with two ablated variants, ProD (w/o SFT + AM) and ProD (w/o AM), where AM denotes the adaptive margin.

查看结构化数据

任务	指标	本文	基线	提升
域内平均（MATH + HotpotQA，Qwen3-4B）	最终答案准确率 (%)，GPT-4.1-mini 评审	ProD 78.0（MATH 85.2 / HotpotQA 70.8）	SFT 蒸馏 74.2，基座 Qwen3-4B 55.3，教师 GPT-4.1 80.7	比 SFT +3.8（相对约 10%），比基座 +22.7；HotpotQA 上距教师仅 0.2
域外平均（Omni-MATH L1-3 / L4-5 + 2WikiMultiHopQA，Qwen3-4B）	最终答案准确率 (%)	ProD 58.4	SFT 蒸馏 54.1，基座 41.9，教师 67.1	比 SFT +4.3，比基座 +16.5；8 模型平均域外相对 SFT 提升约 17%
推理效率（8 个学生模型、域内外平均）	平均交互轮数 / 平均 token 消耗	3.663 轮 / 12847 token	SFT 蒸馏 4.144 轮 / 16206 token	轮数 ↓11.6%，token ↓20.7%，任务完成更果断
HotpotQA 对比重复控制方法（Qwen3-4B）	准确率 (%)	ProD 70.8	SFT 66.6，RP(1.1) 66.2，RP(1.2) 65.6，RP(1.3) 61.6，Concise SFT 66.4	比最强重复控制基线 +4.2；强重复惩罚（1.3）反而比 SFT 掉 5.0
迭代 ProD（MATH，Llama3.2-3B / 1B）	准确率 (%)	3B：61.2（iter-2）；1B：32.5（iter-2）	3B：SFT 55.5、iter-1 58.6；1B：SFT 25.6、iter-1 30.3	第二轮再 +2.6 / +2.2，停滞分数同步进一步下降
自适应边际权重扫描（$\alpha=0.5$，三家族域内平均）	准确率 (%)	Qwen3-4B 78.0、Llama3-8B 67.2、Gemma3-4B 61.0	同模型 SFT 74.2 / 61.8 / 56.4；$\alpha=1$ 时 77.3 / 66.2 / 60.5	停滞差距与答案正确性各占一半时三个家族均最优

局限与改进

作者承认的局限与笔者的补充如下。任务域上，评测集中于数学（MATH、Omni-MATH）与多跳问答（HotpotQA、2WikiMultiHopQA），工具集为代码执行与网页搜索、轮数上限 10，尚未覆盖 GUI 操作、长程规划等开放场景，长视野下的停滞可能被低估。教师侧依赖单一 GPT-4.1，未探索多教师或不同教师风格。停滞度量上，主实验只用词面 ROUGE-L 版本，语义与评审版本只在分析中出现——三者相关虽超 0.92，但相关是在严重停滞区间测得的，轻度停滞或换词不换义的循环仍可能漏检。优化上，每个查询每轮只采样一条学生轨迹，方差可能较大；$c_0$、$\lambda$、$\beta$ 等超参需逐任务调整（细节推至附录）；截断 $\max\{0,\Delta S\}$ 意味着学生进度优于教师时不给任何奖励。域外高难段差距仍明显：Qwen3-4B 在 Omni-MATH Level 4–5 仅 46.0 对教师的 60.0，说明缓解停滞不等于完全弥合能力差距。训练开销分析被推至附录 H，主文缺少 rollout 成本的量化讨论。

独立分析的弱点

独立分析出四个弱点。第一，词面停滞分数依赖表面字符串重叠：若学生生成参数不同但语义等价的代码，或换措辞重复同一失败策略，可能被漏检，而误检合理的迭代深化也会发生；改进方向是把语义嵌入版本设为默认，并研究两种度量不一致时的仲裁机制或集成方案。第二，轨迹级平均停滞无法定位具体哪一轮开始腐烂，惩罚是「全景式」的，梯度无法靶向关键失败点；改进方向是引入逐轮 credit assignment，例如用相邻轮停滞分数的增量作为 turn-level 权重或构造分段边际。第三，方法完全依赖教师成功轨迹的存在与质量：当教师本身在某域也出现良性重复（如多轮搜索）时，$\Delta S$ 的参照系会失真；可考虑用多次教师采样估计停滞基线的分布与置信区间，把边际改为相对分位数。第四，ProD 只在训练时介入，推理时学生没有自检机制，遇到分布外任务仍可能停滞；改进方向是把停滞分数蒸馏成学生的内部自我评估头，实现推理时的停滞检测、早停或自动回溯重规划。此外每轮蒸馏都要对全部查询 rollout，训练成本随迭代数线性增长，轨迹缓存与增量重打分是值得的工程优化。

未来方向

作者明确提出的方向是：设计更细粒度的进度度量，以及更精确的停滞动作定位方法，从而在蒸馏中给出靶向纠正信号。在此基础上可以延伸：其一，把自适应边际与结果奖励的强化学习（如 GRPO 类算法）结合，用停滞差距做过程奖励塑形，缓解纯结果奖励的稀疏性，同时保留 ProD 的行为度量作为密集信号。其二，把停滞评估内化为学生的自监控能力：训练一个轻量头预测「本轮是否在重复」，实现推理时在线检测与自动回溯，把训练时的干预延伸到部署时。其三，扩展到多教师与跨域蒸馏，研究停滞差距在不同教师风格、不同工具生态（GUI 操作、检索数据库、多智能体协作）下的可迁移性。其四，探索超过 10 轮的长视野任务，检验停滞分数在更长历史窗口下的判别力与计算开销。其五，从理论上分析行为度量边际与似然位移的相互作用，给出「何时需要 SFT 锚、$\lambda$ 该取多大」的判据，而非纯经验调节。其六，将 ProD 的思路推广到多模态智能体（视觉 GUI 智能体的重复点击/滑动同样是停滞的常见形态）。

复现评估

复现条件中等偏友好。代码已开源（https://github.com/CaoYuanpu/ProD），主要设置齐全：CodeAct 框架、LoRA rank 64、batch size 32、AdamW、3% warmup 线性调度、贪心解码、10 轮上限、$\alpha = 0.5$，其余超参（学习率、训练轮数、$c_0$、$\lambda$、$\beta$）在附录 B.1。数据侧最大成本是教师轨迹：需调用 GPT-4.1 API 在 MATH 与 HotpotQA 训练集各采集 3000 条轨迹（成功过滤后更少），并按 Kang et al. (2025) 复现网页搜索工具环境，这部分依赖外部 API 与搜索服务，行为可能随时间漂移；评测还需 GPT-4.1-mini 判分及 Omni-MATH、2WikiMultiHopQA 数据。算力上，0.6B–8B 的 LoRA 微调单卡到小规模多卡即可，ProD 相比 SFT 增加每查询一次完整 rollout 的开销，单轮迭代约使训练成本翻倍。主要风险点：教师轨迹与搜索环境的可复现性、LLM 评审带来的评测方差。总体属于有 API 预算的个人/小团队可复现的范畴。

面向小语言模型智能体停滞缓解的进度感知蒸馏（ProD） Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents