验证器决定哪些失败轨迹获得教师引导,按组难度加权,弥补GRPO盲区
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
数据合成
VLA
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
综述
信息检索
模仿学习
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
把标准答案当临时脚手架,自适应提示加奖励门控蒸馏,破解RLVR奖励稀疏
强到弱蒸馏中,KL方向与学习率而非rollout策略决定性能、遗忘与更新稀疏性。
两个异构模型互换彼此全错提示上的同伴轨迹,等预算下GRPO平均多涨2.1分
用GUI-CLI混合轨迹与CLI感知奖励训练智能体,学会何时及如何使用命令行
三项改动稳定PPO评论家网络,三任务RLVR全面超越PPO与VAPO
把温度差变成可估计的探索收益信号,用JS散度做token级信用分配加速RLVR
用熵与优势符号耦合的EAPO,强化惊讶成功、纠正重复失败,保留失败响应的恢复路径
把训练-推理失配表示为对数几率位移,在位移坐标用单一阈值截断,比值上限随置信度自动收紧
开源八阶段后训练配方:SFT→可验证RL→Agent RL→RLHF,按奖励可靠性排序。
用贝尔曼方程把 PMD 改写为免评论员的轨迹级目标,AIME 平均准确率超 GRPO 11 个百分点
先独立练强技能教师,学生出师后在线判定并自动“退役”教师
用难度感知的奖励塑形让推理模型学会何时思考、思考多深。
专家判断编译为可执行科学检查,把科学代码库变成智能体可训练、可评估的环境
用169个不可能任务与机器可验证证书,压力测试自动生成评分量规能否抵御对抗性答案利用
在在策略rollout中做稀疏局部纠正,用优势回归学习混合来源轨迹,兼顾探索与可学习性。
同一GRPO配方下,13种RLVR数据策略均无可复现增益
用难度自适应树搜索、句子熵分叉与兄弟多样性奖励扩展 RLVR 的 pass@k 推理覆盖
在线策略反向蒸馏:激发弱到强泛化
👍 69用弱教师策略偏移方向放大强学生自身梯度,加速训练并突破教师上限
以验证器优势校准同模型密集自引导,用轨迹平衡拟合归一化目标分布实现自改进。