面向小型语言模型智能体的 Harness 感知蒸馏 Harness-Aware Distillation for Small Language Model Agents
对比同一教师带与不带harness的动作，让小模型只学harness给不了的能力
前置知识
知识蒸馏（Knowledge Distillation）
将大模型（教师）的能力迁移到小模型（学生）的技术：教师对输入的输出分布或生成文本充当软标签，学生通过最小化与教师输出的差异（交叉熵或 KL 散度）来学习，从而在参数量大幅缩小的情况下保留大部分性能。本文用 token 级平均负对数似然做响应蒸馏。
本文的问题设定就是蒸馏：把带 harness 的大型智能体压缩为小型智能体，理解蒸馏框架才能看清 HAD 在其中的改动位置。
在线策略蒸馏（On-Policy Distillation, OPD）
由学生自己在环境中滚动产生轨迹，教师在学生访问到的每个状态上给出监督信号，学生模仿教师的完整输出。相比直接在教师轨迹上训练，它缓解了训练数据与学生实际分布之间的偏移，代表工作是 Agarwal et al. 2024 的 token 级反向 KL。
HAD 的基线与载体就是 OPD（含 SAGE-OPD、Guided-OPD、SOPD 等变体），论文的全部设计都是在 OPD 之上补充 harness 感知项，必须先懂 OPD 才能明白改进点。
智能体 Harness
包裹在语言模型外围的软件层，负责管理上下文、工具与反馈：追踪环境状态（可用动作、位置与持有物、访问历史、步数预算）、监控行为（重复无效动作、停滞循环），并把信息以文本形式附加到观察中。它本身不选择也不阻止动作，只提供信息。
Harness 是本文核心概念：蒸馏时它保持不变，因此学生只需学会如何利用 harness 报告的信息行事——这正是 HAD 的出发点，也是偏好对比与有效性检查的信号来源。
参考无关成对偏好损失（DPO 类逻辑损失）
无需奖励模型或参考模型的偏好训练方式：给定偏好对（正例 A 优于负例 B），损失为 $-\log\sigma(\beta\Delta)$，其中 $\Delta$ 是两者在当前模型下的平均对数似然之差，$\beta>0$ 控制偏好间隔的尺度，$\sigma$ 为 sigmoid。
HAD 的动作偏好项正是采用该形式，用同一教师带/不带 harness 的动作构成偏好对，是读懂方法节公式 (5)(6) 的基础。
长程智能体基准（ALFWorld / WebShop / ScienceWorld）
三类多步文本交互环境：ALFWorld 是家务任务（加热、清洁、放置物品，规则如只能加热手中物体），WebShop 是网页购物搜索，ScienceWorld 是科学实验模拟。任务需要数十步决策，考察状态跟踪与错误恢复能力，以限制步数内完成任务的比率（成功率 SR）为主要指标。
论文所有实验都在这些环境上进行，文中大量数字（如 ALFWorld unseen SR 63.43%）的含义务必建立在对任务设定的理解上。
研究动机
现有在线策略蒸馏（OPD）把教师的完整输出当作模仿目标，把 harness 当作普通输入的一部分，从不显式建模它的作用。作者指出这带来三种失败：其一，OPD 对每一步一视同仁，不会标记少数因 harness 信息而改变决策的关键步，也从不展示教师在没有 harness 时会怎么选；其二，OPD 无法区分 harness 提供的信息与教师自身“据信息行动”的能力，例如图 1 中学生读到“盘子不干净”却走向橱柜而非水槽；其三，OPD 会照抄与 harness 记录矛盾的教师目标，例如在未持有物体时输出加热动作。图 2 的 ALFWorld 实验证实：给 OPD 加上 harness，harness 利用率仅从 65.7% 升到 73.1%，成功率只从 43.1% 涨到 43.5%；各方法增益不一致，SAGE-OPD 甚至是 +0.5 对 -1.2 的反向变化，未训练学生的 65.7% 利用率有时还会高于蒸馏后。
本文的目标是本文的目标是：在教师与学生共享同一个固定 harness 的前提下，把大型智能体蒸馏成小型智能体时，只让学生学习 harness 无法提供的那部分能力——即根据 harness 报告的状态与反馈正确选择动作。具体要求有三：监督信号完全来自教师与 harness 记录本身，不依赖任务奖励、成功标签或任何未来信息；训练与部署使用同一 harness；在 ALFWorld、WebShop、ScienceWorld 等多个长程基准上，用 1.7B、0.6B、E2B 量级的学生稳定超过同样配备 harness 的四种 OPD 基线，并且希望学生减少无效动作循环、学会从停滞状态中恢复（如 ALFWorld 中“加热前必须先持有杯子”这类任务）。
与已有工作不同的是，独特之处在于把问题重新表述为“两个共享同一 harness 的系统之间的蒸馏”：harness 在教师被替换为学生时保持不变，所以学生不需要学 harness 已经提供的东西，只需要教师“对 harness 报告作出正确反应”的能力。由此作者提出关键洞察：共享的 harness 本身可以反过来指导蒸馏。一方面，对同一教师在同一状态分别带与不带 harness 查询，两个动作的差异直接暴露了哪些决策真正依赖 harness；另一方面，harness 对环境状态的确定性记录可以充当免费的质量代理，凡是与记录矛盾的偏好动作（如要求持有未拿起的物体）即可判为教师错误而丢弃。整个过程无需任何外部奖励或成功标签，这与用 rollout 回报决定蒸馏方向的已有工作形成鲜明对比。
核心方法
HAD 的直觉：蒸馏带 harness 的智能体时，目标不是复制教师的全部输出，而是教师超越 harness 的增量能力。流程为：学生带与部署一致的 harness 在环境中滚动，harness 确定性地将状态跟踪与行为监控信息附加到观察；在每个学生访问的状态上用同一教师查询两次——带 harness 的响应用于蒸馏，剥离 harness 的响应用于构造负例；再在学生自己的推理前缀下对两个动作打分，得到参考无关偏好损失 $-\log\sigma(\beta\Delta_t)$；最后用有效性检查 $V$ 给矛盾偏好对打掩码。最终优化 $\mathcal{L}_{HAD}=\mathbb{E}_\nu[\ell_{dist,t}+\lambda m_t\ell_{pref,t}]$，$\lambda$ 每次更新按两个损失项的小批量梯度范数平衡（比例 $\rho=0.5$）自动调节，全程不需要任务奖励或成功标签。
核心创新是“同教师、同状态、带/不带 harness 的动作对比”。设 $P^+(a)$ 与 $P^-(a)$ 为教师在带/剥离 harness 历史下的动作边缘分布，作者证明孤立偏好损失的最优解为 $\log(P^+(a)/P^-(a))+\kappa$（$\kappa$ 为任意常数），即学生学到的是“因 harness 而变强的动作”，而非 $P^+(a)$ 绝对值高的动作；而响应蒸馏的风险只依赖正例响应分布，原则上无法识别这种相对变化。此外对比仅在两动作不同的状态产生信号，天然聚焦 harness 真正起作用的少数关键步。与已有偏好蒸馏的本质区别：偏好对来自同一教师（而非教师对学生）、同一历史（而非不同提示构造），负例也不是错误示范，而是同一教师在信息被剥离后的自然选择；且监督完全不需要任务奖励或成功标签。
方法步骤详情
（1）rollout：学生带 harness 与环境交互得历史 $\tilde{x}_{\theta,t}$，剥离 $h_0,\dots,h_t$ 得 $x_{\theta,t}$（不改已实现轨迹）。（2）响应蒸馏：教师在访问状态采样完整响应 $\tilde{y}_{\varphi,t}$，求平均 token 负对数似然 $\ell_{dist,t}$。（3）构造偏好对：同一教师查询剥离历史得 $y_{\varphi,t}$。（4）偏好损失：在学生推理 $\tilde{z}_{\theta,t}$ 下对两动作的动作 token（不含推理前缀）对数似然作差 $\Delta_t$，最小化 $-\log\sigma(\beta\Delta_t)$（$\beta=0.5$）。（5）有效性过滤：$m_t=V(\tilde{a}_{\varphi,t})$，偏好动作与 harness 记录冲突（如持有物不符）则整对丢弃；AdamW 全参微调、学习率 $10^{-5}$、batch 60、每轮 16 任务、250 次更新（其余 150 次），$\lambda$ 按梯度范数平衡（$\rho=0.5$）。
技术新颖性
技术新颖性体现在四点。第一，问题重构：把“给 harness 智能体做蒸馏”变成“共享 harness 的两系统间蒸馏”，并实证同 harness 的 OPD 不能可靠传递该能力（表 7：教师预算翻倍后 OPD 仅 47.8%/45.7%，仍远低于 HAD 的 63.4%/51.4%）。第二，信息论论证：偏好项的最优解是似然比 $\log(P^+/P^-)$，这是纯模仿原则上给不出的信号，为对比项的必要性给出了严格依据。第三，设计选择有据：只对比动作 token 而非完整响应，避免长短推理差异稀释动作级信号（全响应变体经验上更差）；在学生自身推理下评分，匹配部署时“先自己想再行动”的决策情境，也不用教师参考模型。第四，有效性检查以 harness 的确定性记录为零成本质量代理，只屏蔽偏好项而保留响应蒸馏，消融显示它把 SR 从 50.8% 提到 57.4%。
实验结果
表 2 主实验 HAD 全面领先。ALFWorld（1.7B←8B）带 harness 成功率 unseen 63.43%、seen 51.43%，较最强基线 OPD（47.01%/40.00%）高约 16/11 个百分点，并超 8B 教师（51.49%/50.00%）；去 harness 降至 40.30%（降幅最大）。WebShop（0.6B←30B）得分 47.19 对 41.59，ScienceWorld 4.17 对 -0.82。图 2：HU 65.7%→81.0%、成功率 43.1%→57.4%，而 OPD 加 harness 仅 73.1%/43.5%。表 3：防停滞 75.9%、恢复 59.7% 均最高，标准蒸馏不教恢复（基线多低于学生的 46.8%）。表 4：隐藏状态跟踪 HAD 跌至 37.31%，隐藏行为监控仅降至 55.97%，即内化了反馈但状态仍靠 harness 读取。跨家族（表 5，Gemma-4）：37.31%/36.43%，超最强基线 SOPD（32.09%/34.29%）。消融（表 6）：去有效性检查→50.8、去负例→52.4、去偏好项→43.5。表 7：基线教师预算翻倍平均仅 46.8%，收益确实来自对比信号。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（Qwen3 1.7B←8B）unseen | 成功率 SR（带 harness） | 63.43% | OPD 47.01%（教师 51.49%） | +16.42 个百分点，超过教师 |
| ALFWorld（Qwen3 1.7B←8B）seen | 成功率 SR（带 harness） | 51.43% | OPD 40.00% | +11.43 个百分点 |
| WebShop（Qwen3 0.6B←30B-A3B） | 得分 / SR | 47.19 / 19.60% | OPD 41.59 / 19.00% | 得分 +5.60，SR +0.60 |
| ScienceWorld（Qwen3 0.6B←30B-A3B） | 得分 / SR | 4.17 / 9.40% | OPD -0.82 / 8.05% | 得分 +4.99，SR +1.35 |
| ALFWorld（Gemma-4-E2B←12B）unseen/seen | 成功率 SR | 37.31% / 36.43% | 最强基线 SOPD 32.09% / 34.29% | +5.22 / +2.14 个百分点 |
| ALFWorld 停滞分析 | 防停滞 / 停滞恢复率 | 75.9% / 59.7% | 教师 64.6% / 47.0%；基线最高 64.2% / 50.0% | 防停滞 +11.3，恢复率 +9.7（相对教师） |
局限与改进
作者承认的局限：实验仅覆盖 2B 以内的学生与 30B 以内的教师、纯文本环境，尚未验证工具调用或软件工程 agent；harness 为手工设计，与自动学习/优化的 harness 如何交互未知。我的补充观察：其一，有效性检查是二值的，只能排除与记录明显冲突的动作，无法识别“语法有效但语义错误”的偏好动作，这类噪声仍会进入偏好损失；其二，每个状态要查询教师两次，训练期教师推理开销约为基线两倍，表 7 证明收益不来自预算，但成本仍然存在；其三，偏好信号只在教师两个动作不同的状态激活，其稀疏度取决于 harness 设计质量，若 harness 信息太弱对比即失效；其四，整个框架假设部署 harness 与训练严格一致，跨 harness 配置的泛化未测；其五，harness 利用率只是与记录一致性的事后诊断指标，并非因果证据。
独立分析的弱点
独立分析的弱点：第一，偏好动作的校验粒度太粗，$V$ 只能否决与 harness 观察直接冲突的动作，对“动作合法但次优”的情形（如先关微波炉再取杯子）无能为力，改进方向是引入轻量世界模型或规则引擎做更细的动作前置条件检查；第二，有效性掩码直接丢弃整对样本，浪费了负例中可能存在的信息，可改为给负例降权或翻转偏好方向；第三，$\Delta_t$ 只在学生推理前缀下评估动作，若学生推理本身有误，教师正确动作的得分会被系统性压低，可考虑对推理片段也施加弱监督或对推理长度做归一化；第四，每状态两次教师查询在 30B 级教师上成本可观，可只在失败与停滞高发的状态触发剥离查询以降低开销；第五，实验全在动作空间小而离散的文本环境，真实 agent 的工具调用参数是结构化的，动作 token 级对数似然差的定义需要重新设计；第六，$\rho=0.5$ 的梯度范数平衡是在特定规模下调出的，换学生/教师规模可能需要重新搜索。
未来方向
作者提出的方向：把 HAD 扩展到更大的学生/教师与工具调用、软件 agent 场景；研究学习型或自动优化的 harness 与 HAD 的交互；以及更一般的原则——蒸馏到含固定组件的系统时应聚焦该组件无法提供的能力，这一原则同样适用于依赖检索或外部工具的 agent，即蒸馏时只需教学生检索/工具给不了的能力。基于成果可延伸的方向：与在线 RL 结合，用任务奖励补充有效性过滤，学习判别“有效但错误”的偏好动作；自适应决定哪些 harness 反馈值得内化进权重、哪些保留为外部读取（表 4 已显示两类信息内化程度不同：隐藏行为监控仅降至 55.97%，隐藏状态跟踪暴跌至 37.31%）；跨 harness 配置的鲁棒蒸馏，使学生迁移到训练时未见过的 harness 模板；用多教师或教师集合构造偏好对以降低单教师噪声；以及在持续部署中用学生自身的失败记录在线扩充偏好对，形成自改进回路。
复现评估
复现评估：正文写“项目页见 link”（占位符，开源情况需确认），但细节披露充分——附录 B.1-B.4 给出评估设置、harness 模板与阈值、有效性检查规则、HU 计数规则及与原基线论文的实现差异。超参明确：AdamW 全参微调、学习率 $10^{-5}$、余弦调度 15 步 warmup、梯度裁剪 1.0、权重衰减 0.01、有效 batch 60、每轮 16 任务、ALFWorld 250 次/WebShop 与 ScienceWorld 150 次更新、$\beta=0.5$、$\rho=0.5$、评估温度 0.4 且关闭思考模式。基准为公开环境（ALFWorld 0.4.2/TextWorld 1.7.0、WebShop、ScienceWorld），模型为公开的 Qwen3 与 Gemma-4 家族。需对 0.6B-1.7B 学生全参微调，并以最高 30B 的 MoE 教师每状态推理两次，估计需多卡 A100/H100 与数天 rollout，复现难度中等偏高；最大不确定性在 harness 模板措辞与教师采样种子。
论文图表
以“清洁盘子并放入橱柜”的家务任务对比 OPD 与 HAD 的三种失败模式：第一行 OPD 忽略 harness 记录（盘子不干净）直接放橱柜，HAD 据此先去水槽；第二行目标正确但动作错误，HAD 读取状态后选择去水槽；第三行教师目标与 harness 记录矛盾（未持有时输出加热盘子），OPD 原样照抄导致失败，HAD 在偏好项中把该无效目标丢弃。
一图概括论文动机——OPD 的三种失败与 HAD 的针对性修复，是理解全文逻辑的入口。
左图比较各 OPD 方法在“不带 harness 蒸馏”与“带 harness 蒸馏”两种设置下的 harness 利用率与性能变化：OPD +2.0/+4.8、SAGE-OPD +0.5/-1.2、Guided-OPD +1.2/+4.9、SOPD +7.4/+0.4，增益不一致甚至为负。右图显示零样本学生为 65.7% 利用率/43.1% 成功率，普通蒸馏加 harness 后仅 73.1%/43.5%，而 HAD 达 81.0%/57.4%。
用数据证明“给 OPD 加 harness 并不能教会学生使用 harness”，直接支撑本文核心动机，并引出 harness 利用率（HU）这一诊断指标。