揭示 GRPO/Dr. GRPO/DAPO 是对组标准差的三种操作
Yong Yi Bay, Kathleen A. Yearick
2026-07-02
GRPO
RLVR
强化学习
策略优化
语言模型推理
揭示现有LLM多样性度量只捕捉表面措辞变化而非方法层面的策略差异,并提出方法级多样性评估框架
Sangmook Lee, Minbeom Kim, Jeonghye Kim, Dohyung Kim, Sojeong Rhee, Kyomin Jung
2026-07-01
RLVR
多样性度量
奖励黑客
数学推理
测试时扩展
通过惊异度引导的令牌级优势重加权解决GRPO训练中的策略熵坍塌问题
Haipeng Luo, Qingfeng Sun, Songli Wu, Can Xu, Wenfeng Deng, Han Hu, Yansong Tang
2026-06-18
GRPO
RLVR
大语言模型
强化学习
熵稳定
通过token级梯度分析提出WAPO方法,解决RLVR训练不稳定性问题
Prasanth YSS, Zhichen Ren, Rasa Hosseinzadeh, Ilan Gofman, Yuqi Chen,...
2026-06-17
RLVR
大语言模型
强化学习
策略优化
ADR框架通过原子分解重组生成高质量可验证代码任务,突破RLVR数据瓶颈
Jiasheng Zheng, Boxi Cao, Boxi Yu, Yuzhong Zhang, Jialun Cao, Yaojie Lu,...
2026-06-05
RLVR
代码生成
大语言模型
强化学习
数据合成
把全词表自蒸馏与RLVR奖励统一为策略梯度,稳定提升LLM推理性能。
Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu
2026-06-04
RLVR
大语言模型推理
强化学习
知识蒸馏
策略优化
在RLVR中引入时间调度维度,按时序从后向前渐进优化轨迹百分位token
Jinghao Zhang, Ruilin Li, Feng Zhao, Jiaqi Wang
2026-06-02
GRPO
RLVR
token级优化
信用分配
时间调度
12B参数MoE模型,仅激活2.5B参数,实现代码生成和工具调用的IDE部署级效率
Marko Kojic, Ivan Bondyrev, Aral de Moor, Joseph Shtok, Petr Borovlev,...
2026-06-01
Mixture-of-Experts
RLVR
代码生成
工具调用
投机解码
把Muon的全谱白化改成高通滤波,专攻VLA与RLVR两类低质量梯度。
Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu
2026-05-25
Muon
Newton-Schulz
RLVR
优化器
视觉-语言-动作
把RLVR更新视为token梯度上的线性判别器,用判别式系数重塑正负质心。
Kaiyi Zhang, Wei Wu, Yankai Lin
2026-05-22
DAPO
RLVR
token信用分配
判别器视角
强化学习
RLVR权重更新呈秩-1线性结构,RELEX仅用15%训练步外推未来检查点
Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng
2026-05-21
RLVR
SVD
低秩结构
强化学习
权重外推
揭示RLVR训练中存在反直觉的不可学习样例,代表模型表征的根本性缺陷。
Yulin Chen, He He, Chen Zhao
2026-05-21
RLVR
大语言模型
强化学习
推理能力
梯度分析
用 9 类任务、9 种奖励的 23K RLVR 数据集和 TMN-Reweight 多任务优化算法,让 30B 模型长上下文能力逼近 R1-0528。
Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen,...
2026-05-20
GRPO
RLVR
后训练
多任务学习
强化学习
通过动态调整rubric标准的权重,将训练压力导向当前策略可学习的标准,提升多目标强化学习效率
Utkarsh Tyagi, Xingang Guo, MohammadHossein Rezaei, Daniel George, Anas...
2026-05-20
RLVR
Rubric评估
多目标优化
奖励设计
强化学习
提出'岔路口假说',论证推理模型的覆盖率收缩由微调数据中的决策点驱动,而非算法本身。
Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K...
2026-05-20
RLVR
SFT
决策点
微调数据
推理多样性
用策略级提示诱导多样化推理轨迹,让 RLVR 探索效率提升 8 倍
Chanuk Lee, Sangwoo Park, Minki Kang, Sung Ju Hwang
2026-05-18
GRPO
LLM 推理
RLVR
探索增强
策略蒸馏
把失败轨迹转成修正样本,让模型同时学会做对与改对。
Mengjie Ren, Jie Lou, Boxi Cao, Xueru Wen, Hongyu Lin, Xianpei Han, Le Sun,...
2026-05-18
GRPO
RLVR
代码生成
失败利用
推理能力
用 756 张手绘 Jordan 曲线图测试 VLM 的视觉拓扑层级推理能力。
Amirreza Mohseni, Mona Mohammadi, Morteza Saghafian, Naser Talebizadeh Saradari
2026-05-15
RLVR
基准测试
拓扑推理
结构化预测
视觉-语言模型
OmniClean 去偏评测加 OmniBoost 三阶段后训练,3B 模型可比肩 30B
Che Liu, Lichao Ma, Xiangyu Tony Zhang, Yuxin Zhang, Haoyang Zhang, Xuerui...
2026-05-15
RLVR
全模态语言模型
后训练
自蒸馏
视觉去偏评测
仅用128条随机抽取的示范样本,让GRPO+DPO的少样本RLVR超越千条SFT数据方法。
Kai Yan, Alexander G. Schwing, Yu-Xiong Wang
2026-05-15
DPO
GRPO
LLM后训练
RLVR
少样本学习