SEIF：面向指令遵循的自进化强化学习 SEIF: Self-Evolving Reinforcement Learning for Instruction Following

SEIF 训练一个完整 round $t$ 的流程如下。第一步，从当前 Follower $F_{\theta_t}$ 复制出冻结的 Filter $Q_t$ 和 Judger $J_t$；第二步，Instructor 阶段固定 $F_{\theta_t}$、$Q_t$、$J_t$，对每个种子指令 $z\sim\mathcal{D}_{\text{seed}}$ 采样 $G$ 条演化指令 $x_i\sim I_\psi(\cdot\vert z)$，若 $Q_t(x_i)=0$ 则奖励 $r_i^I=0$（冲突指令直接归零），否则让 $F_{\theta_t}$ 生成回复 $y_i$，计算约束满足率 $s_i=A_{J_t}(x_i,y_i)$，设 Instructor 奖励 $r_i^I=1-s_i$，用 GRPO 最大化 $\mathcal{J}_{\mathrm{GRPO}}(\psi)$ 完成 Instructor 更新 $I_{\psi_{t+1}}$；第三步，Follower 阶段固定更新后的 Instructor $I_{\psi_{t+1}}$，让 Instructor 对种子指令生成新训练指令 $x\sim I_{\psi_{t+1}}(\cdot\vert z)$，经 Filter 过滤后，Follower 采样 $G$ 条回复 $y_i\sim F_{\theta_t}(\cdot\vert x)$，由上一轮的 Judger $J'_t$（仍来自 $F_{\theta_t}$）计算 Follower 奖励 $r_i^F=A_{J'_t}(x,y_i)$，同样用 GRPO 更新 Follower 到 $F_{\theta_{t+1}}$；第四步，$t\leftarrow t+1$，重新从 $F_{\theta_{t+1}}$ 实例化下一轮 Filter 和 Judger。在实际实验中，三轮共进化采用「3-1-1」epoch 分配（Follower Turn1 训 3 epoch，后两轮各 1 epoch），全局 batch size 96，rollout $n=5$，actor 学习率 $1\times10^{-6}$，KL 系数 $1\times10^{-2}$，Instructor 在三轮各训 13 step，Follower 在 Turn1 训 39 step、Turn2/Turn3 各 13 step。

技术新颖性体现在三处。第一，把「指令难度演化」显式建模成一个 GRPO 策略（Instructor），用 $1-A_J$ 作为奖励直接对应「让 Follower 答不出来」的优化目标，这是对 Self-Rewarding 框架中「让模型给自身输出打分」思路的反向利用——后者鼓励高分，前者鼓励低分，从而驱动难度探索。第二，约束级别的细粒度奖励 $A_J(x,y)=\frac{1}{K}\sum_{k=1}^K s_k$ 把「全对/全错」的二元反馈拆成可分项，Table 4 证明换成指令级二元奖励会让 IFEval 下降 2.6、CFBench 下降 2.0；第三，把 Filter 和 Judger 设计成「随能力进化的判官」，每次从最新 Follower 复制而非冻结，每轮都做一次 refresh，使评判标准与模型能力保持同步，避免 Self-Rewarding 类方法常见的「judge becomes stale」问题。除此之外，论文首次系统对比了 Self-Evolving 在开放式任务（vs. 可验证的数学/代码）上的三大挑战并给出可复用方案。

（1）Self-instantiated Judger 的天花板问题：Filter 和 Judger 都从 Follower 复制而来，能力不会超过 Follower 本身，因此对 Follower 已经搞错的复杂约束，Judger 也倾向于判错。这会形成「Follower 学不会的，Judger 也学不会」的耦合。改进方向是引入少量高质量外部监督（如 QwQ-32B 或人类标注）对 Judger 做周期性校准，或在 Judger 信心低时调用 fallback 模型。（2）奖励信号仍偏稀疏：约束级奖励 $A_J=\frac{1}{K}\sum s_k$ 把所有约束当成同等权重，对真实场景中「关键约束」（如安全、字数）应该比「次要约束」（如修辞）更重要的先验没体现。改进方向是给每个约束学一个重要性权重，或在 reward 中加入 hierarchical credit assignment。（3）训练数据规模有限：5,120 条种子指令在三轮共进化后实际产生 ~10k 级训练样本，对 14B 模型容易在小数据上过拟合——Table 3 中 Llama-3.1-8B 的 GPQA 反而下降就是信号。改进方向是用 Self-Instruct 类方法扩种子集，或在演化阶段引入 rejection sampling 多生成几条候选。（4）指令演化的多样性受 Instructor 能力限制：Table 6 显示「晚强化」策略在某些基准上掉分，说明当 Instructor 过度拟合近期分布时反而会输出重复模式；可在 Instructor 训练中加 entropy bonus 或对生成约束做 type-level 去重。

作者在结论和附录 L 中给出几条延伸方向。第一，把 self-evolution 扩展到更现实的开放式指令，例如几千 token 的 agentic workflow 指令（AgentIF 类的 1,723 词级别），并探索外部文档引用、隐式约束建模。第二，把 self-evolving 范式推广到其他开放式任务——例如开放式对话的「风格/人格遵循」、创意写作的「体裁遵循」、多模态指令的「视觉/格式约束」。第三，更细致的训练策略研究：本文只扫了 6 种 epoch 分配，未来可以用自动化课程学习（automatic curriculum learning）来动态决定每轮的 epoch 或 batch 大小。第四，把 SEIF 的四角色结构推广到更大规模的「模型群」（multi-agent self-evolution），比如同时演化多个不同尺寸的 Follower，由最强的那个充当 Judger。第五，从附录 L 看，作者认为 self-evolution 是「lifelong learning」和「自适应 AI」的雏形，未来可探索在线流式学习（在线到达新指令后立即演化 Follower）、遗忘问题（如何避免后期覆盖早期能力）等。

论文在 https://github.com/Rainier-rq1/SEIF 公开了代码与种子数据，算法伪代码见 Algorithm 1，所有 prompt template（Table 7 给 Instructor、Table 9/10 给 Filter、Table 11/12 给 Judger）以及超参数表（Table 8）都附在附录里——这意味着复现门槛主要在算力而非代码：完整跑一次 SEIF-7B 需要 8 张 H200 做训练 + 4 张 H200 做 vLLM 推理，actor LR 1e-6、KL 系数 1e-2、rollout n=5、最大 prompt/response 长度 2048/8192、Instructor 三轮各 13 step、Follower 三轮 39/13/13 step。整体数据量小（5,120 条种子），训练流程短（每个模型约 2–3 天），但 GRPO 调参对 KL、group size、batch size 都比较敏感，建议从 3-1-1 epoch 分配和 EasyR1 默认配置起步。需要注意的是，论文承认用 Cursor 做了语言润色（附录 K），但核心思路、代码和实验都由作者独立完成；Judger/Filter 用的是 self-instantiated 模型，与人类标注的一致性仅 0.73–0.80，因此不同实现细节（如 prompt 模板的措辞）可能带来一些数值偏差。