SHERPA：教会大语言模型自适应地教学 Sherpa: Teaching LLMs to Teach Adaptively
用多轮强化学习让教师模型适应不同学习偏好的模拟学生，直接最大化学习成效
前置知识
多轮强化学习（Multi-turn RL）
智能体在一局（episode）中进行多步决策、每步产生动作并与环境交互，奖励通常在轨迹结束后才结算。难点在于信用分配：要把最终的标量奖励分配到轨迹中的每一个 token 或每一个回合上。常见做法是把整条轨迹的回报广播给所有 token，再配合组内基线或价值函数来降低方差。
SHERPA 中教师要在最多 10 轮的辅导对话里学习，而奖励只取决于最后一刻学生的测试提升。理解多轮 RL 的信用分配问题，才能明白论文为何要设计 turn 级掩蔽回报 $U_{i,t}=m_{i,t}R_i$ 这一关键机制。
GRPO / 无批评者 RL（Critic-free RL）
DeepSeekMath 提出的组相对策略优化：对同一问题采样一组共享条件的轨迹，用组内其他轨迹的平均奖励作为基线（leave-one-out 中心化）来计算优势，再用批量标准差归一化，从而省去需要单独训练的价值网络（critic）。
SHERPA 的优势计算公式 $\hat{A}_{i,t}=(U_{i,t}-\bar{U}_{-i,t})/(\sigma_B+\epsilon)$ 正是 leave-one-out 组基线加 turn 级归一化的直接应用，不理解 GRPO 就读不懂第 2.3 节的优化目标。
PPO 与异步训练（Decoupled PPO）
PPO 通过重要性比率 $\rho_{i,t,k}(\theta)$ 的裁剪（clip）约束每次策略更新的幅度。在 AReaL 这类异步系统中，rollout 样本可能来自较旧的策略版本，因此要把行为策略修正项 $w_{i,t,k}$ 与近端裁剪项解耦，还可加双重裁剪和重要性权重截断来增强稳定性。
论文的实现完全构建在 AReaL 异步 RL 框架上（附录 A.2 给出了 decoupled PPO、双重裁剪系数 $c=3$、重要性权重阈值 $\kappa=5$ 等细节），这是复现该工作必须掌握的基础设施知识。
模拟学生（Simulated Students）
用 LLM 扮演学习者与教师模型对话，为教师训练提供交互环境。现有实现方式包括：直接用提示词让强模型扮演新手、用机器遗忘（unlearning）删减知识、微调模型模仿错误。但这些方式要么学生仍能从通用讲解中受益（偏好不显著），要么模仿错误会损害解题能力。
模拟学生是 SHERPA 训练环境的核心。论文正是针对上述缺陷，提出弱模型加门控的原型设计，使学习提升可以可靠地归因于教师的教学，这是全文动机链条的关键一环。
LLM-as-a-Judge 与门控机制
用大模型按明确规则对文本做二元判定（如 PASS/FAIL、是否泄露答案），充当可编程的过滤器或评估器。相比笼统的打分规则，把判定标准写得非常具体（逐数值比对、按偏好逐条判据）能显著减少误判。
SHERPA 的两个门（guidance gate 机械比对数值是否等于标准答案、adaptive gate 按六条偏好判据逐一判定）都由 LLM 判定器实现，训练用 Qwen3-8B 判定、评测改用留出的 Qwen3.8-27B-FP8 以避免自我偏好。
脚手架教学与学习科学
教育心理学中的一类教学干预策略：支架式引导（不给答案、留思考空间）、苏格拉底式提问、子目标分解、错误诊断、工作示例演示、独立验算、对比案例等。大量实证研究（如 Pólya 1945、Margulieux 2016、Alfieri 2013 元分析）支持这些策略对学习效果的作用。
SHERPA 的六个学生原型偏好（尝试诊断、因果解释、子目标分解、步骤示范、独立验证、对比比较）全部取自这些经典文献，理解其教育学出处才能理解为何这些偏好能代表真实且互异的教学需求。
研究动机
会解题不等于会教学。Srinivasa 等人 2025 年的 TutorBench 评测发现，16 个前沿模型没有一个在其专家撰写的辅导评分标准上超过 56%；Macina 等人的 MathTutorBench 也表明强大的解题能力并不能直接转化为有效的教学。这对真实学习者影响重大：已有研究（Kosmyna 2025 的认知负债实验、Bastani 2025 发表于 PNAS 的高中数学随机实验）警告，直接给答案式的 AI 辅助不仅无助于学习，还可能降低认知投入、损害后续独立解题表现。为了训练 LLM 教师，已有工作要么依赖教学示范和偏好数据做 SFT 与偏好优化（质量与覆盖度受限），要么转向让教师与模拟学生交互的在线强化学习。但后者的根本缺陷在于：PedagogicalRL 和 PEARL 等方法的奖励都编码了预定义的'好教学'标准（如泄漏判定、帮助性打分、多条教学法准则），而不是建立在个体学生真实学习结果之上。可现实中学生的偏好与需求差异巨大，脱离这种异质性去规定教学行为，注定无法适配每个学习者。
本文的目标是本文的目标是训练一个能自适应教学的教师 LLM：它不预先被告知'什么是好教学'，而是通过与具有不同学习偏好的学生交互，从反馈中推断对方的需求，并直接以'学生任务解决能力的提升'为优化目标。具体而言，论文希望做到三件事：第一，构造一组教学需求真正互异的模拟学生原型，使教师若不区分对待就无法让学生进步；第二，用结果导向的奖励（学生做题准确率的提升）训练 Qwen3-8B 教师在 MATH 数学题上辅导 Qwen3-1.7B 学生；第三，验证这种训练不只在训练用的学生原型上有效，还能泛化到训练时未见过的偏好（OOD 原型）、未见过的学生基座模型（Gemma、Llama）、外部教学基准（MathTutorBench）以及人类教师的真实判断。
与已有工作不同的是，本文最独特的切入点是把'教学规范的指定'与'教师策略的优化'彻底分离。以往工作把教学法准则写进教师的奖励函数里（预定义什么叫好教学），SHERPA 反其道而行：把多样性放到学生一侧——用六个源自教育文献的学习偏好实例化不同学生原型，教师侧的奖励则保持极简，只有学生的成绩提升这一项。为了让学生偏好真正'起作用'，论文设计了一个门控机制：符合偏好的指导才能透过门到达学生基座模型并引发实质推理，不符合的指导会被拦截并收到脚本化的抱怨反馈。另一个关键选择是用一个不借助帮助就无法解题的弱模型（Qwen3-1.7B）做学生基座，而不是用强模型提示扮演或遗忘改造，这使得学生成绩的提升可以干净地归因于教学本身，保证了奖励信号的可信度。
核心方法
SHERPA 把一次教学组织成'备课—辅导—测验'三阶段的课堂周期，并通过多轮强化学习优化教师策略 $\pi_\theta$。直觉上，就像人类老师先自己解一遍题再因材施教，模型教师也先私下准备解题草稿，然后在多轮对话中观察学生的反应、推断其偏好，最后以学生在独立测验中的提升作为唯一奖励。形式化地，每个学生原型 $E_z$ 由潜变量 $z$（教学偏好）定义，教师观察不到 $z$，只能从对话回复中推断。优化目标是最大化学生做题概率的提升：$$\max_\theta \; \mathbb{E}_{(x,z)\sim D,\, C_S^H\sim P_\theta(\cdot|x,z)} \left[ p(x,z,C_S^H) - p(x,z,C_S^0) \right]$$ 其中 $p(x,z,C_S^H)$ 是辅导 $H$ 轮后学生答对的概率，$p(x,z,C_S^0)$ 是同一冻结学生模型在无辅导时的概率。技术上：门控机制让偏好'有后果'（不匹配的指导被拦截）；奖励用重复测试估计（辅导后 8 次采样、无辅助 8 次采样）的准确率之差；训练采用无批评者的组相对优势加 turn 级掩蔽回报，再走异步 PPO（AReaL 框架），整个流程可用 Qwen3-8B 教师 + rank-16 LoRA 在 759 道过滤后的 MATH 题上完成。
核心创新是'规范外置、结果内置'的反转设计，以及让偏好真正有因果后果的门控机制。已有 RL 教师训练（PedagogicalRL、PEARL）在奖励里直接写入教学法评分规则，这等于替所有学生规定了统一的好教学模板；SHERPA 则把'什么指导对这个学生有用'编码为学生侧的门：guidance gate 用 LLM 判定器逐数值检查教师消息是否泄露最终答案（中间推理和部分解允许），防止'直接报答案'的捷径；adaptive gate 检查教师消息是否满足该学生原型的特定偏好（如子目标分解、对比比较），不满足则拦截并返回脚本化抱怨（如'Don\'t directly show me the answer.'）。被拒消息只留在教师上下文供其调整，绝不进入学生上下文 $C_S^{t+1}=C_S^t\oplus(a_t,o_t)$。这与已有模拟学生的本质区别在于：不是用强模型提示扮演新手（偏好无区分度）、不是用遗忘删知识（删不干净）、也不是微调模仿错误（损害解题能力），而是用天然解不动题的弱基座加外部门控，同时满足论文提出的选择性（偏好决定进步）与信息性（回复反映偏好）两条设计原则。
方法步骤详情
第一步，数据构建：从 MATH 数据集中过滤出'教师能解、学生独立解不了'的题目，保留 759 道训练题和 528 道评测题。第二步，备课：教师最多尝试 3 次（每次上限 4096 token）私下解题，经验证正确的解法草稿作为私有背景保留在教师上下文开头，并在同题的所有轨迹间共享；附录显示备课使整体准确率从 45.3% 提到 48.6%。第三步，辅导：最多 10 轮，教师每轮先输出 私有推理再输出 学生可见指导；每条指导要过两道门——guidance gate（Qwen3-8B 判定器机械抽取消息中的数值/算式，算出值后与标准答案比对，泄露即拦截）和 adaptive gate（按该原型的偏好判据判定，如子目标分解要求'点明当前子目标并说明其与总目标的关系'）；被拒则学生返回池中随机抽取的抱怨语句，教师据此调整。第四步，测验：把累计的学生上下文 $C_S^H$ 连同原题交给学生从零解题，采样 8 次估计辅导后准确率，同法 8 次估计无辅助准确率，两者之差即为轨迹奖励 $R$。第五步，优化：每题采 8 条同原型轨迹，被拒回合不进入 $C_S^H$ 故其 turn 级回报被掩蔽为零（$U_{i,t}=m_{i,t}R_i$），做 leave-one-out 中心化与批量归一化后加局部格式/重复惩罚（$-0.5$）， advantage 广播到该回合所有教师 token，用异步 PPO 更新 rank-16 LoRA，共 1500 步、学习率 $5\times10^{-5}$、无 KL 惩罚、clip 0.2。
技术新颖性
技术新颖性有四点。其一，门控式学生原型是对模拟学生构建方式的范式修正：把'偏好'实现为外部可执行的判据而非提示词描述，首次让'学生偏好'在训练环境中既可选择（selective：偏好决定成绩提升）又可推断（informative：抱怨反馈透露偏好），论文用 6×6 策略-偏好矩阵实验证明提示式学生两条性质都不具备（抱怨只出现在 28.9% 的失配回复中且混在继续解题的文本里），而门控设计两条都成立。其二，turn 级掩蔽回报被证明可解释为掩蔽策略梯度代理目标 $\mathcal{L}_{mask}(\theta;\theta_{old})=\mathbb{E}[\sum_t \rho_t(\theta)m_t R]$ 的回报权重，消融显示加掩蔽在 500 步内以约 38% 更少的生成 token（80.5M vs 130M）达到与情节级 GRPO 相当的成绩（59.5% vs 58.6%）。其三，实证揭示了'预定义准则惩罚损害泛化'：给门失败加 0.25/0.5 的奖励惩罚，MathTutorBench 教学平均分从 79.2% 跌到 70.6%/66.0%，学生成绩从 69.0% 跌到 57.5%，而纯结果奖励反而让合规率自然上升、泛化更好。其四，训练与评测判定器分离（训练用 Qwen3-8B，评测用留出的 Qwen3.8-27B-FP8）避免了判定器自我偏好造成的虚高。
实验结果
论文的实验链条层层递进。（1）学生原型上的成绩：在 528 道 MATH 题与 7 个原型上，SHERPA-DP 把学生整体测试准确率从基座教师辅导下的 48.6% 提升到 69.0%（95% CI [66.8, 71.2]），即平均提升 20.5 个百分点；无独立辅助的学生准确率仅 36%。它在每一个原型上都超过 PedagogicalRL（52.7%）和只用品偏好学生训练的 SHERPA-NP（52.0%），且 OOD 原型（因果解释 77.1%、验证 66.4% 等训练时未见的偏好）也大幅受益（OOD 平均 47.9%→65.1%）。三个随机种子的重复实验给出 68.9%±2.0% 的稳定性。（2）外部基准 MathTutorBench：教学响应平均分（Ped. Avg.，四个 Ped-RM 胜率的均值）从 52.5% 升至 79.2%，全面超过 PedagogicalRL 的 63.2%，且四项细分（脚手架 33.1→72.0、指令遵循 74.0→90.3、及各自困难版 32.4→67.3、70.6→87.2）全部提升；指令遵循 90.3% 甚至超过 Gemini 3.8 Flash 的 69.9%。（3）人类评估：96 名高中教师在源自 Khan Academy CoMTA 的 320 组对话上做盲评，SHERPA-DP 以 79.6% 的去平局胜率（728 vs 187 票）压倒基座，四个请求类型全部占优（75.6%–85.5%），包括训练未见的'错误预判'偏好；87/96 名教师更常选它。（4）机制分析：单轮接受教学的效果从基座的 4.1pp 提升到 24.7pp，而平均有效教学轮数从 2.6 降到 1.4，说明提升来自'每句话更对路'而非'说得更多'。（5）迁移性：换学生基座仍有效（Gemma-3-1B-IT 14.3→21.7%，Llama-3.1-8B 37.5→53.5%，此时 PedagogicalRL 与 SHERPA-NP 几乎无增益）；换教师基座也有效（Ministral-3-8B 训 300 步从 39.6% 到 55.0%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 模拟学生数学辅导（7 类原型，MATH 528 题） | 学生测试准确率（%） | SHERPA-DP 69.0（ID 72.0 / OOD 65.1） | 未训练 Qwen3-8B 48.6；PedagogicalRL 52.7；SHERPA-NP 52.0 | +20.4pp（平均 +20.5pp），对 PedagogicalRL +16.3pp |
| MathTutorBench 教师响应生成 | Pedagogy Average（4 项 Ped-RM 胜率均值，%） | 79.2 | 未训练 Qwen3-8B 52.5；PedagogicalRL 63.2；Gemini 3.8 Flash 72.4 | 对基座 +26.7pp，对 PedagogicalRL +16.0pp，超过 Gemini +6.8pp |
| MathTutorBench 指令遵循（标准/困难） | Ped-RM 胜率（%） | 90.3 / 87.2 | 未训练 74.0 / 70.6；Gemini 3.8 Flash 69.9 / 74.3 | 标准 +16.3pp，困难 +16.6pp |
| 人类教师盲评（CoMTA 320 组对话，96 名教师） | 去平局胜率（%） | 79.6（728 票） | 未训练 Qwen3-8B 20.4（187 票） | 约 +59pp；87/96 名教师整体更偏好本文模型 |
| 跨学生基座迁移（Gemma-3-1B-IT / Llama-3.1-8B） | 学生整体准确率（%） | 21.7 / 53.5 | 未训练教师 14.3 / 37.5（PedagogicalRL 仅 14.0 / 38.5） | +7.4pp / +16.0pp，而基线方法几乎无增益 |
| 跨教师基座迁移（Ministral-3-8B-Instruct，300 步） | 学生整体准确率（%） | 55.0 | 未训练 Ministral 39.6 | +15.4pp，且七个原型全部提升 |
| 单轮教学效率分析 | 首次接受回合的学生提升 / 平均有效轮数 | 24.7pp / 1.4 轮 | 未训练 4.1pp / 2.6 轮 | 单轮效果 +20.6pp，同时交互更精简 |
局限与改进
作者承认并可见于数据的局限包括：所有训练教师都会在 MathTutorBench 的错误定位（Mistake Location 37.1%→30.3%，PedagogicalRL 更差至 18.7%）上退步，多数模型苏格拉底提问（BLEU 25.3→21.9）也下滑，说明以学生成绩为目标的训练存在副作用；人类研究中少数教师认为本文模型的解释'可能信息过载'，适应性有时以简洁性为代价。我自己观察到的局限还有：其一，整个框架绑定在数学这一答案可自动判定的领域，奖励的可信度依赖于标准答案比对，扩展到开放性学科（写作、讨论）时'学习提升'如何定义尚无方案；其二，学生原型虽源于教育文献但只有六种、且偏好由人工撰写判据的 LLM 判定器执行，判定噪声会直接传导为环境噪声（训练用 Qwen3-8B 判定、其准确率未单独报告）；其三，人类评估是单轮回复的成对盲评，衡量的是'更像好老师'而非真实多轮教学后的学习增益，sim-to-real 的最后一公里仍未验证；其四，奖励估计需要对每条轨迹做 8+8 次重复测试，评测与训练的成本都显著高于普通单轮 RLHF；其五，训练题库经双重过滤后只剩 759 题，规模很小，方法对更大题库和更难题目的扩展性未知。
独立分析的弱点
独立分析有四个可改进的弱点。第一，奖励的方差与成本：每条轨迹要用 16 次测试（8 辅导后 + 8 无辅助）估计两个准确率再作差，小样本带来的估计噪声会稀释梯度信号；改进方向是引入顺序概率比检验或自适应停止来减少测试次数，或学习一个价值网络直接预测提升。第二，门控判定的可靠性：guidance gate 只做数值等值比对，教师可以用文字描述答案的关键性质（如'渐近线间距等于周期'）间接泄题而不被拦截；adaptive gate 判据由人工撰写，覆盖不了判据之外但同样合理的偏好表达。改进方向是把判定器升级为可验证的程序化检查或训练专门的泄露检测模型，并用人类标注校准判定一致率。第三，学生模型过于'工具化'：真实学生会给出含糊、前后矛盾、甚至错误的反馈，而 SHERPA 的学生抱怨来自固定语句池，教师可能学到对这种理想化信号的过拟合；改进方向是在抱怨池中加入噪声与多样性，或按 Yang 等人 2026 的思路同时建模行为保真度与指导响应性。第四，单领域与单轮评估：人类盲评只覆盖单条回复，无法衡量长程教学策略（何时结束教学、何时复习旧错）；改进方向是构建跨会话的纵向评估，让学生在多道题、多会话中成长，检验教师的长期教学规划能力。
未来方向
作者在结论中提出的方向包括：把学生原型扩展为多种偏好的组合乃至连续空间，因为真实学习者的需求往往是'子目标分解为主、兼要因果解释'的混合体；以及处理学生自己也不清楚偏好的情形，要求教师通过更长的交互逐步推断并确认需求，即把教学变成一个部分可观测的偏好识别问题。基于本文成果还可以自然延伸：其一，把门控原型的'判据'从人工撰写改为从真实教学对话（如 MathDial、CoMTA）中自动挖掘，让原型分布对齐真实学生群体；其二，利用师生分离架构做课程式训练——随教师能力提升逐步更换更强或偏好更隐蔽的学生，形成自动化的难度课程；其三，把六个原型上的表现作为多目标信号，研究偏好间的权衡边界（例如 Step 原型提升仅 51.8%，远低于 Causal 的 77.1%，说明某些偏好本质上更难服务）；其四，把该框架推广到数学之外的领域，核心挑战是构造'结果可验证'的测验器，代码生成、可执行推理等有自动判分器的领域是首选试验场；其五，结合 Mistake Location 退步的现象，在奖励中加入轻量的诊断能力正则而不引入预定义教学惩罚，探究能否兼得。
复现评估
复现条件较好。代码与模型已在 GitHub 开源（SALT-NLP/Sherpa），训练栈基于开源的 AReaL 异步 RL 框架，基座全部是开放权重模型（Qwen3-8B 教师、Qwen3-1.7B 学生、可换 Gemma-3-1B-IT、Llama-3.1-8B、Ministral-3-8B）。论文与附录给出了完整配方：MATH 双重过滤得 759/528 题；rank-16 LoRA（缩放 16）作用于所有线性投影；1500 步、每步 16 题、每题 8 轨迹、消费者批 16、最多 64 并发 rollout、版本滞后 2、lr $5\times10^{-5}$、clip 0.2、无 KL；辅导上限 10 轮、每轮 1024 token、温度 1.0；测试采 8+8 次；门控判定器训练用 Qwen3-8B、评测用 Qwen3.8-27B-FP8（温度 0）；附录 D 逐字给出全部提示词模板（含六条 adaptive gate 判据与抱怨池）。算力方面论文未明确 GPU 型号与数量，但 64 并发 rollout、LoRA、掩蔽节省 38% token（500 步约 80.5M 生成 token）表明是中小规模配置，估计数张 A100 级别的卡即可。难点主要在于工程：多轮 episode 的异步 rollout、双门控判定、以及 16 次测试的奖励估计都会拉长训练时间；若需重做人类研究（96 名教师、Prolific、$16/小时）还需额外预算。总体评估为中等偏上难度，核心超参与提示词均已齐备。
论文图表
人类盲评结果：96 名高中教师对 320 组回复三票评审（960 判次），SHERPA-DP 得 728 票 vs 基座 187 票（45 平），去平局胜率 79.6%；四类请求（含训练未见的错误预判）胜率 75.6–85.5%。
将模拟学生上的成绩提升与人类教师的专业判断对接，是'sim-to-real'方向上最重要的证据。