LLM作为导师：非可验证强化学习的策略感知提示词自适应 LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL
用LLM导师动态调整提示词难度，解决强化学习中提示词与策略能力不匹配的问题
前置知识
非可验证任务
指无法通过程序化检查器自动验证输出正确性的开放性任务，如对话生成、创意写作等。这类任务缺乏客观的奖励信号，需要依赖人工评估或LLM评判器来提供反馈。本文研究的指令跟随任务就属于此类，因为判断模型是否正确遵循指令通常需要语义理解而非简单的规则匹配。
本文的核心场景就是非可验证指令跟随任务，理解这类任务的特点对于明白为什么要用LLM作为评判器至关重要。可验证任务（如数学、代码）有明确的正确答案，而非可验证任务的质量判断更加主观和复杂，这正是本文方法要解决的核心挑战。
GRPO (Group Relative Policy Optimization)
一种强化学习算法，是对PPO的改进版本。它对同一提示词采样的多个rollout（本文中G个）计算组内相对优势，而不是计算相对于某个基线的绝对优势。优势计算公式为 $A^{(i)} = (s(x, y^{(i)}) - \mu(x)) / \sigma(x)$，其中$\mu(x)$和$\sigma(x)$分别是这组rollout奖励的均值和标准差。这种相对奖励归一化能够缓解奖励尺度不稳定的问题。
这是本文使用的基础强化学习算法。理解GRPO的工作原理有助于明白为什么rollout组内的奖励方差至关重要——当所有rollout得分相近时，标准差$\sigma(x)$趋近于零，优势信号失效，这正是提示词与策略不匹配时发生的情况。
Rubric-based奖励
一种细粒度的奖励建模方法，为每个提示词生成一组自然语言评分标准rubric $R(x) = \{(r_k, w_k)\}_{k=1}^K$，其中$r_k$是第$k$个标准，$w_k$是其权重。总奖励是加权求和 $s(x, y) = \sum_{k=1}^K w_k \cdot J(y | x, r_k)$，其中$J$是LLM评判器对每个标准的打分。相比单一的标量奖励模型，rubric-based奖励能提供更细致和稳定的反馈。
本文构建在rubric-based奖励框架之上，理解这一概念才能明白提示词调整如何与奖励信号协同工作。当策略能力提升时，所有rollout都能满足基础rubric，导致奖励饱和，这时需要增加提示词难度来重新激活rubric的判别能力。
策略感知 (Policy-aware)
指训练过程能够感知并适应当前策略的能力状态。传统方法使用固定的训练数据集，不随策略变化而调整。策略感知方法会根据策略当前的表现动态调整训练信号，比如筛选难度合适的任务或调整奖励标准。本文通过检测策略rollout的质量差异来判断提示词难度是否合适，体现了策略感知的特性。
这是本文方法的核心特征。理解策略感知的概念有助于区分本文方法与Evol-Instruct等策略无关的方法，以及明白为什么用策略自己的rollout而不是更强模型的rollout来判断提示词难度更有效。
研究动机
在非可验证指令跟随的强化学习中，现有方法从静态语料库中抽取训练提示词，这导致了提示词难度与策略能力之间的关键错配。具体来说，当提示词对当前策略过于简单时，所有rollout都能成功完成任务，奖励方差趋近于零，优势信号失效；当提示词过于困难时，所有rollout都失败，同样无法提供有意义的学习信号。例如在实验中，被导师判定为非挑战性的提示词，其rollout平均奖励高达90.76%，标准差仅为12.96%，而挑战性提示词的平均奖励为78.24%，标准差为27.07%。这种错配不是提示词本身的问题，而是提示词与特定策略配对的属性，随着策略在训练中不断提升，原本合适的提示词会变得过于简单，奖励信号逐渐退化。
本文的目标是本文的目标是设计一个框架，能够根据策略的当前能力动态调整训练提示词的难度，确保提示词始终处于能够诱发质量差异的挑战性状态。具体而言，系统能够检测哪些提示词对当前策略不再具有判别力，并以一种单调递增的方式提升这些提示词的难度，同时保持原始任务分布的特性。这样做的目的是在不依赖外部难度调度的情况下，实现自适应的课程学习，让训练信号始终与策略能力同步演进。
与已有工作不同的是，本文的独特切入角度是将LLM的角色从单纯的评判器扩展为导师。以往的工作要么只调整rubric而不修改提示词（如DR Tulu），要么使用标量奖励模型或通用rubric来调整提示词（如EVA），都未能充分利用LLM在成对比较上的优势。本文注意到，判断提示词是否具有挑战性本质上是一个成对问题——需要评估两个rollout在质量上是否存在差异。LLM在成对比较中的表现比独立打分更加敏锐和符合人类判断，本文利用这一特性来精确检测非挑战性提示词，并用同一个LLM来生成有针对性的原子约束，这是以往工作未探索过的维度。
核心方法
LLM-as-a-Tutor的核心思想是用一个LLM同时扮演两个角色：考官和出题者。考官负责通过成对比较策略的两个rollout来判断当前提示词是否具有判别力；出题者负责对被判为非挑战性的提示词附加原子约束来提升难度。整个过程在训练循环中迭代进行，形成一个自适应的课程。直观上，这就像一个真实的导师在观察学生（策略）的答题情况：如果发现学生能轻松完成某个题目，就在原题基础上增加一个小的附加要求；如果发现学生都答不上来，就保持题目难度不变。随着学生能力提升，导师会不断识别新的简单题并逐步增加要求，确保学生始终处于适当的挑战水平。
本文的核心创新在于将LLM的判别能力同时用于检测问题和解决问题。以往方法要么用标量奖励模型判断提示词难度（EVA），要么只调整rubric不调整提示词（DR Tulu），都错过了利用LLM成对比较优势的机会。本文的关键洞察是：判断提示词是否需要调整本身就是对rollout质量的成对比较任务，这正是LLM最擅长的模式。更重要的是，本文采用append-only的设计，每次只附加一个原子约束而不重写整个提示词，这保证了难度单调递增且保留了原始任务分布。相比之下，重写提示词可能改变任务本质甚至降低难度，无法提供这种保证。实验证明，append策略优于rewrite和reset策略。
方法步骤详情
方法分为三个主要步骤。首先，对于每个种子提示词$x$，导师生成一个基础rubric $R(x)$，涵盖该提示词的一般质量要求。其次，在每个训练迭代开始时，导师处理所有提示词：对每个提示词，从当前策略$\pi_\theta$中采样两个rollout $y^{(1)}, y^{(2)}$，判断它们在质量上是否难以区分。如果可以区分，说明提示词仍具挑战性，不做修改；如果难以区分，说明提示词过于简单，导师会生成一个原子约束$c$和对应的rubric $R_c$，将提示词更新为$\tilde{x} = x \oplus c$，rubric更新为$\tilde{R}(x) = R(x) \cup R_c$。第三，使用调整后的$(\tilde{x}, \tilde{R}(x))$进行GRPO训练，LLM评判器对每个rollout在所有rubric标准上打分，加权求和得到奖励。随着迭代进行，同一提示词可能被多次附加约束，形成针对该策略的个性化课程。
技术新颖性
本文的技术新颖性体现在多个方面。首先，首次将LLM的成对比较能力用于提示词难度检测，相比标量奖励模型提供了更精确的策略-提示词匹配度判断。其次，提出的append-only约束附加机制保证了难度单调递增，这是重写方法无法提供的理论保证。第三，单一LLM同时承担考官和出题者两个角色，通过统一的接口实现检测和生成，简化了系统设计。第四，本文首次将提示词适应性与rubric-based奖励结合，展示了提示词调整是策略感知的一个独立维度，与rubric调整互补而非替代。最后，消融实验验证了策略感知的关键性：用策略自己的rollout判断比用更强模型的rollout判断更有效（28% vs 47%的约束添加率），说明目标是要匹配当前策略而非追求绝对难度。
实验结果
在三个复杂指令跟随基准上的实验表明，LLM-as-a-Tutor在大多数指标上超越了所有基线方法。平均得分为51.96，比最好的非RL方法Distillation（46.05）高5.91分，比最好的策略自适应基线EVA（51.04）高0.92分。具体到每个基准：FollowBench上Overall得分15.07，显著高于EVA的14.93和Policy-adaptive rubrics的13.93；AdvancedIF上Micro得分67.97，高于EVA的66.66；InfoBench上DRFR得分73.59，略高于EVA的73.43。这些结果验证了提示词调整的价值：即使策略自适应的rubric方法（DR Tulu思路）也无法达到提示词调整的效果，说明当提示词本身无法诱发rollout质量差异时，任何rubric调整都无法恢复判别信号。消融实验进一步确认了策略感知的重要性：无条件添加约束（Always，100%添加）和随机添加（Random，28%添加）的得分分别为42.13和42.82，都低于自适应方法（43.19）；用更强模型（8B）的rollout判断而非策略自己（1.7B）的rollout判断，虽然添加了更多约束（47% vs 28%），但得分只有42.79，低于自适应方法。这证明目标是匹配当前策略而非追求绝对难度。策略规模分析显示，随着策略从0.6B增长到4B，被导师判定为非挑战性并添加约束的比例从8.1%单调增长到40.5%，验证了方法的自适应性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FollowBench (HSR) | 得分 | 40.91 | 39.14 (EVA) | +1.77 |
| FollowBench (SSR) | 得分 | 62.28 | 61.04 (EVA) | +1.24 |
| FollowBench (Overall) | 得分 | 15.07 | 14.93 (EVA) | +0.14 |
| AdvancedIF (Micro) | 得分 | 67.97 | 66.66 (EVA) | +1.31 |
| InfoBench (DRFR) | 得分 | 73.59 | 73.43 (EVA) | +0.16 |
| Average | 平均得分 | 51.96 | 51.04 (EVA) | +0.92 |
局限与改进
作者在讨论中承认了几个局限性。首先，当前方法主要针对指令跟随任务，通过附加原子约束来提升难度，这种设计在约束数量是难度自然度量的任务上有效，但可能不适用于其他领域。作者提出可以通过添加推理步骤、边缘案例或引用要求等方式扩展框架。其次，append-only设计虽然保证了难度单调递增，但随着迭代进行，提示词可能累积过多约束，偏离原始任务语义。第三，导师模型的能力直接影响判断质量，虽然实验显示8B模型指导1.7B策略有效，但当策略接近导师能力时可能失效。此外，本文没有考虑导师判断本身的噪声和误差，成对比较虽然比独立打分更可靠，但仍可能出现误判。最后，方法计算开销较大，每个迭代需要为所有提示词采样两个rollout并进行判断，在大规模场景下可能需要优化。
独立分析的弱点
从独立分析的角度看，本文存在几个可以改进的弱点。首先，约束生成模板相对固定，主要针对指令跟随的添加要求模式，缺乏对更复杂任务类型的支持。改进方向可以是针对不同任务类型设计专门的修改模板，如推理任务的添加推理步骤、代码任务的添加边缘案例等。其次，当前方法每个迭代对所有提示词进行检测和可能的调整，计算开销较大。可以设计增量检测策略，只对上一轮检测为挑战性的提示词进行重检，或者基于奖励变化预测哪些提示词可能变得不再具有挑战性。第三，append-only设计虽然保证单调性，但缺乏减少难度的机制，当策略遇到困难时无法回退。可以考虑加入难度降低机制，或者在多个约束中选择性激活部分约束。第四，方法对导师模型的判断质量较为敏感，可以引入多导师投票或人类反馈校准来提升判断可靠性。最后，当前评估主要在小模型（1.7B）上，需要在大规模模型上验证方法的scalability。
未来方向
作者提出的未来工作方向包括：将框架扩展到指令跟随之外的领域，如多步推理任务（添加推理步骤）、代码任务（添加边缘案例）、事实问答（更严格的引用要求）等，这些领域都有自然的appendable难度提升方式。基于本文成果，可以延伸的研究方向包括：探索非append式的提示词修改策略，如条件重写或约束替换，在保证难度单调性的同时提供更大的灵活性；研究多导师系统，用不同专长的导师判断不同维度的质量，提高判断的全面性；将提示词适应性与rubric适应性结合，同时调整提示词和rubric，探索协同效应；在更大规模的策略模型上验证方法，研究当策略能力接近导师时的边界情况；开发自动化约束模板生成机制，减少人工设计模板的工作量，使框架更具泛化性。
复现评估
本文的复现难度中等。作者提供了详细的实验配置（见附录C），包括训练超参数、提示词模板等。使用的模型Qwen3-1.7B和Qwen3-8B都是开源模型，相对容易获取。训练数据集WildChat也是公开的。评估基准FollowBench、AdvancedIF、InfoBench都有公开的评估代码。主要挑战在于计算资源：训练3个epoch需要4K提示词，每个提示词采样G个rollout（具体G值论文未明确给出，但通常在4-8之间），加上导师判断和评判器打分，整体计算需求不小。此外，实现细节如GRPO的具体实现、导师提示词模板（附录E.2）的精确格式等需要仔细参考论文。作者在附录中提供了完整的提示词模板，这是一个良好的实践。总体而言，如果具备足够的GPU资源，复现本文主要结果是可行的，但可能需要一些调试工作来匹配论文中的确切设置。
论文图表
图3用一个具体例子展示了单个原子约束如何将饱和的提示词转化为具有判别性的提示词。在原始提示词上，所有rollout在基础rubric上得分为100（标准差0）；附加一个要求引用具体公司政策名称的约束后，rollout得分出现分化（均值92.5，标准差14.9）。图中展示了两个rollout的对比：Rollout A明确引用了政策名称（得分100），Rollout B回避了具体名称（得分60）。
这个定性例子具体展示了方法的工作机制，让读者直观理解如何通过一个小的约束改变来恢复判别信号。它连接了理论解释和实际效果。