用技能程序驾驭 LLM 智能体：把经验变成可执行的干预函数 Harnessing LLM Agents with Skill Programs

HASP 的完整流程可以拆成八个步骤：(1) 初始化技能库 $\mathcal{M}$：从训练池里把"失败-修复"轨迹归类（论文识别出五大族：reasoning_hallucination 31.7%、wrong_entity_focus 24.1%、premature_final/no_read_before_final 17.8%、pf_override_harmful 8.7%），由学生 vLLM 生成 SKILL.md 文档和对应 PF 类，再经过可执行校验（ast.parse + 接口签名 + 9 次模拟调用 + 返回类型检查，四项通过才进入评审）；(2) 推理时每一步，harness 调用 PFSelector.select() 选 top-K 相关 PF，三项 mandatory PF 始终保留（retrieval_failure / format_extraction_error / relevant_content_extractor），可选用 GPT-4o 教师做辅助选择；(3) 对每个候选 PF 评估 should_activate($s_t$, action_type, arg)，命中后调用 intervene 产出 Intervention 对象（type ∈ {MODIFY_ACTION, INJECT_CONTEXT, NOOP}）；(4) 把 $\tilde{a}_t$ 交给 Executor 执行，观测 $o_{t+1}$ 回填，并对最终是否走 Verifier 投票（FINAL 时若 handler_vote_threshold 超过 4 个 handler 返回非空则强制回退为 SEARCH，每集最多一次以避免振荡）；(5) 记录结构化事件 $e_t$ 并打四个监督信号 $z_t=(t_t, m_t, q_t, o_t)$，每个信号内部还有更细的子信号（如 s1.tp=+0.25 奖励"在风险步骤上激活"，s4.downstream=+0.40 锚定 episode 级别的 EM）；(6) 把全轨迹按 $\mathrm{Score}(\tau)=\beta_1 \mathrm{TaskSuccess}+\beta_2 A(\tau)$ 排序，仅 top-K 用于 RS 训练（main recipe），或直接对每步 $(\tilde{a}_t, A_t)$ 做加权 SFT，或在学生自身状态上做 OPD；(7) 周期性 closed-loop 演化：每隔若干 epoch 跑一遍 Phases A–H 流水线（rollout→失败聚类→候选提案→可执行校验→教师五维评审→库更新），整套接受阈值是 $Q_{exec}\geq \eta_{exec}$ 且 $Q_{skill}=\sum w_i Q_i \geq \eta_{teach}$；(8) 把更新后的 $\mathcal{M}_{r+1}$ 喂回第 (2) 步的推理循环，$\pi_\theta$ 同时被更新为 $\pi_\theta'$。整个流程的关键参数是：RS filter min_score=0.15，OPD 用 GPT-4o 教师，closed-loop lite mode 跳过 teacher review 以节省 95% 算力。

技术新颖性体现在三个层面。第一个层面是把"技能"形式化为可调度对象：以往 skill-augmented agent 把经验压缩为字符串记忆或 RAG 文档，HASP 强制每个 PF 暴露 should_activate / intervene 双方法，使其在控制流意义上和 base policy 同级而非附属——这是从"建议"到"接口"的范式跳跃。第二个层面是把"PF 介入"做成可监督的训练目标：四元组信号 $(t_t, m_t, q_t, o_t)$ 不是简单的 EM 反馈，而是拆出"时机、方式、正确性、结果"四维，使每一步的 PF 触发都成为稠密监督信号；消融显示去掉任一维度都会导致 7.8–15.5 点的下降，说明这种信号结构无法被单一标量奖励替代。第三个层面是把"自改进"做成受控过程：传统 self-improving 系统（如 EvolveR、SAGE）允许任意技能入库，HASP 用双重过滤——可执行校验（syntax+interface+mock exec+return type）+ 教师五维评审（concept/trigger/intervention/exec/validation，权重 0.25/0.20/0.20/0.20/0.15）——把无过滤演化的 36.3% 提升到全过滤的 60.3%。这三个层面共同回答了"为什么 HASP 与已有方法本质不同"。

独立分析，论文存在以下几个值得改进的弱点。(1) OPD 与 closed-loop 演化的不兼容是核心痛点。Table 4 显示 HASP-Evolve + OPD 在 web-search 上比 HASP + OPD（固定库）低 5.8 点（56.7% vs 62.5%），原因是 OPD 训练分布和 PF 库同时变化时梯度方差大；改进方向是为 OPD 引入 KL 约束或 trust region，或者让 OPD 用一个滞后一拍的 PF 库快照。(2) 教师 API 调用量大且脆弱。closed-loop full evolve 一周期 ≈1 小时，且依赖 GPT-4o-2024-11-20 快照；如果未来 OpenAI 弃用此快照或涨价，论文结果将难以复现；改进方向是用更便宜的本地教师（Qwen2.5-7B-Instruct 已在 PFSelector 阶段做过类似替代）或自训练教师蒸馏。(3) PF 库膨胀风险。max_library_size=50 的硬上限虽然控制住了绝对数量，但 I.3 节指出在新类别阈值 0.75 下只有 61% 候选能通过，剩余 39% 被作为"refinement"放行，长期仍可能引入噪声；改进方向是维护一个效用追踪器，主动淘汰连续 N 轮 $\Delta EM<0$ 的 PF。(4) 仅做单种子实验。J.4 节坦诚所有结果来自 seed=42 的单次运行，标准差约 ±1.5 点，部分基线差距（如 HASP-Evolve + RS 与 P-GRPO 的 0.1 点）在统计意义上有疑问；改进方向是至少做 3-seed 报告均值和置信区间。(5) 评测域偏窄。代码域 PF 只能 INJECT_CONTEXT 不能 MODIFY_ACTION，这种受限的接口在论文中没有被单独量化它对编码增益的限制程度；改进方向是为代码域扩展 PF 接口允许返回重写后的代码片段（类似 Copilot 的 inline suggestion 模式）。

作者在 Appendix A 给出三个延伸方向，加上基于本文成果的可拓展方向。(1) 跨长时程、弱验证环境的迁移：当前 PF 接口假设每步有清晰的 action_type ∈ {SEARCH, READ, FINAL}，未来需要扩展到 GUI 操作、多模态感知、对话管理等更开放的环境，作者建议在 self-driving、机器人导航等领域先做试点。(2) 与 RL 类探索方法结合：作者明确指出 HASP 擅长"激活已有策略"但 AIME24 这种需要新策略的任务 RL 更强，未来可以先用 RL 探索新策略，再用 PF 巩固可复用的策略——HASP 的 PF 评分接口天然可以作为 RL 训练中的 dense reward。(3) PF 评分接口的领域适配：在"局部修复不可靠转化为最终提升"的领域（如开放式对话、创意写作），当前四元组评分会失效，需要设计更鲁棒的归因方法。基于本文工作的可延伸方向还包括：(a) 把 PF 库视为可微分结构，让 should_activate 的阈值本身参与训练；(b) 用 formal verification 替代 teacher review 来降低 API 成本；(c) 在 multi-agent 场景下让每个 agent 维护自己的 PF 库并互相分享触发统计；(d) 把推理时 PF 介入编译成 eBPF/SDK hook 以支持毫秒级延迟的工业部署。

论文在 Appendix J 给了详尽的复现材料。代码与权重承诺开源（LoRA 适配器 + 演化后的技能库以 permissive license 发布），但教师 API 日志因含第三方原始响应不会发布；提示词（Boxes C.1–C.4）和 PF 代码样例（PF B.1）完整列在附录中。训练数据来自 AgentFlow 同源数据集：web-search 用 HotpotQA/2Wiki/MuSiQue 各 1000 题（前 200 测试、后 800 训练池），math 用 AIME24(30)/AMC23(40)/GameOf24(1362) 整集测试，code 自行切分 HumanEval+(50/100/228)、MBPP+(50/100/656)、BigCodeBench-Full(100/1040)、BigCodeBench-Hard(全 148 测试)；seed=42、shuffle 固定，因此 test/val split 可被独立验证。基座 Qwen2.5-7B-Instruct 用 LoRA r=16 / α=32，bf16 + gradient checkpointing，有效 batch 约 65K tokens；SFT 用 lr=1e-5×10 epoch，RS/OPD 用 lr=5e-6×8-10 epoch。硬件门槛：单实验最多 2×NVIDIA l40s 48GB，closed-loop 48h SLURM 上限，总计约 2000–2500 GPU-hours——这是一个对中等规模实验室可承受但对小团队偏高的算力预算。复现难度：中等。代码、prompt、数据切分齐全，但 OPD/E5/E6 等变体依赖 GPT-4o 教师 API 和较长的 closed-loop 周期（full evolve 一周期 ≈1h、连续 5 epoch ≈30h），且论文坦诚只有 seed=42 的单次运行（标准差 ±1.5 点），意味着部分贴近基线的差距（如 P-GRPO 0.1 点差距）需要多 seed 才能下定论；Table 5 中各项细粒度消融虽然实验条件公开，但需要重新跑多组才能验证其稳定性。