面向小规模语言模型智能体的鲁棒强化学习 Towards Robust Reinforcement Learning for Small-Scale Language Model Agents

方法分四阶段。阶段0数据准备：对TinyStories、CNN/DailyMail、Wikitext-103各取1万条，按等比例用截断、句子打乱、跨例错配三种降级策略生成偏好对。阶段1 SFT：LoRA（秩$r\in\{8,16,32\}$）作用于注意力与FFN投影，加NEFTune，AdamW lr $2\times10^{-5}$、5轮，得先验$\pi_{SFT}$。阶段2奖励模型：把LM头换成线性投影，与LoRA、主体一同用Bradley-Terry损失训练（lr $10^{-5}$、2轮）。阶段3 PPO：先用merge把SFT适配器折入基座、挂零初始化LoRA，并以合并权重为冻结参考策略$\pi_{ref}\equiv\pi_{SFT}$；PPO用GAE、裁剪$\epsilon=0.2$、自适应KL目标6.0 nats、lr $5\times10^{-6}$、共250步，并叠加奖励白化（裁剪到$[-3,3]$）、重要性比率守卫（$\bar\rho>5$跳过）、权重回滚（遇NaN/Inf恢复snapshot）三层安全机制，输出对齐后的$\pi_\theta$。

技术新颖性体现在四点。其一，首次在小模型尺度上系统、可复现地刻画PPO的三类失效（LoRA梯度冻结、bfloat16比率溢出、奖励驱动策略坍塌），而非笼统归因于PPO不稳定。其二，以控制论视角把PPO更新建模为奖励/KL/重要性比率的反馈回路，用信号调节（奖励白化3σ）、死区限幅（$\bar\rho\le5$）和状态恢复（权重回滚）在控制器层级修复闭环失稳，这是区别于新优化目标路线的工程化思路。其三，merge-and-reinitialize在$O(|\theta|)$复杂度的一次性合并中同时重建梯度通路并保证$\pi_{ref}\equiv\pi_{SFT}$，结构上解决了TRL+LoRA的静默冻结。其四，提出能力余量假说与$\mathrm{PPL}_{SFT}<20$的决策规则，把判据从参数量迁移到先验流畅度与奖励可区分度，并附带15个检查点、偏好数据集、训练脚本与交互验证应用作为可复现工件。

第一个弱点是评估仅限单回合生成，多回合智能体MDP只以前向兼容框架形式发布且未验证，而真实端侧智能体恰恰依赖多轮工具调用与外部观测——改进方向是把三层安全机制逐回合施加并设计工具调用奖励，作者也已把此列为后续工作。第二个弱点是合成偏好对的区分力不足，截断/打乱/错配难以构造复杂语义级别的偏好，导致奖励信号偏弱——改进方向是引入人工标注或更强的模型偏好蒸馏。第三个弱点是250步训练预算偏短，无法判断PPO在长调度下是否会进一步改善或退化——改进方向是做学习曲线缩放实验。第四个弱点是统计基础有限（每配置200条held-out、单seed），缺少多种子重复——改进方向是报告多种子均值与方差。第五个弱点是跨模型对比依赖单一共享奖励模型且受Bradley-Terry不变性影响——改进方向是引入锚点样本或归一化方案恢复跨配置可比性。此外，模型与语料覆盖面窄（5模型/3语料），外推到MoE、更大词表或1B以上尺度需要额外验证。

作者提出的未来方向包括：把判据推广到GRPO、REINFORCE Leave-One-Out（RLOO）等组相对方法，验证能力余量假说是否同样成立；扩展到约1B参数尺度，观察阈值是否随容量迁移；在已发布的多回合前向兼容框架上做真实多轮实验，包括工具调用奖励设计与逐回合安全分析；以及引入人工偏好与下游任务评估。基于本文成果可延伸的方向还有：把三层控制论安全机制形式化为自适应控制律（如奖励白化系数与$\bar\rho$阈值的自适应调度）；研究merge-and-reinitialize在更大LoRA秩或全量微调下的等价梯度通路恢复方案；把$\mathrm{PPL}_{SFT}<20$决策规则与数据质量控制、LoRA秩选择联动形成自动化部署流水线；探索在小模型上保留显式奖励模型与DPO/GRPO的系统对比，以厘清诊断透明性与稳定性的权衡。

复现性是本文的突出优点。作者公开了完整训练脚本（https://github.com/rezwanh001/SLM-RL-Agents）、15个检查点（HuggingFace mr3haque/SLM-RL-Agents）、偏好数据集（mr3haque/SLM-RL-Agents-Data）、交互式验证应用与多回合前向兼容框架。算力门槛低：全部实验在2块NVIDIA RTX A6000（48GB，CUDA 12.1）上约16 GPU-小时完成。超参数在15个配置上固定且逐一列出（SFT lr $2\times10^{-5}$、RM lr $10^{-5}$、PPO lr $5\times10^{-6}$、KL目标6.0 nats、clip $\epsilon=0.2$、GAE $\lambda=0.95$），LoRA秩按容量给出取值表（Table I）。作者还提供了事后交叉验证脚本核对339个标量结果字段与原始评估输出。主要复现难点不在算力，而在于需精确还原TRL版本以复现静默冻结这一特定失效、以及float32全程覆盖的工程细节。总体难度中等偏易，适合学术与边缘部署团队复现。