按token与GPU时对齐预算后稠密奖励全线落败,按预测难度选提示词反而带来可复现小增益
Vikash Singh, Weicong Chen, Debargha Ganguly, Yanyan Zhang, Mohsen Hariri,...
2026-11-11
GRPO
LLM推理
RLVR
提示词选择
评估方法学
4系数闭式定律预测LLM推理每token能耗,误差较SOTA低3.1–3.5倍,无需逐模型校准
Hiari Pizzini Cavagna, Andrea Proia, Daniele Cesarini, Zeynep Kiziltan,...
2026-11-05
Green AI
LLM推理
Token经济学
注意力机制
能耗建模
把自身权重量化或剪枝成弱副本,用两者token级对比作密集监督,无需特权信息即可提升推理
Yecheng Wu, Song Han, Han Cai
2026-10-30
LLM推理
后训练
在策略蒸馏
幅度剪枝
模型量化
用信息增益奖励做强化学习,把序列贝叶斯实验设计摊销进 LLM 的推理过程,习得可泛化的提问策略
Anita Kriz, Antonin Berthon, Nicolás Astorga, Mihaela van der Schaar
2026-10-29
LLM推理
RLVR
主动信息获取
信息增益
强化学习
Outcome RL的pass@1提升主要来自按时答完与更可靠,很少带来新解题能力
Shan Yang
2026-10-28
LLM推理
RLVR
pass@k分析
强化学习
评测方法学
证明同等提示与格式下约束解码不降反升性能,并提出格式/有效性/推理三类约束分类
Ngoc Trinh Hung Nguyen, Alonso Silva, Armen Aghasaryan, Mehwish Alam
2026-10-27
LLM推理
受约束解码
因果消融
格式控制
理论分析
用稀疏历史分布缓存替代持久教师模型,实现单策略、时序稳定的自蒸馏强化学习
Aryan Das, Arnab Bhattacharya, Vinay Kumar Verma
2026-10-26
LLM推理
RLVR后训练
内存效率
函数空间正则化
持续学习
用RL训练学生初始化的出题器,生成能最大化教师监督信号的蒸馏问题
Jiashuo Sun, Hao Zhang, Xueqiang Xu, Heng Wang, Yixuan Xie, Pengcheng Jiang,...
2026-10-21
LLM推理
合成数据
在线策略蒸馏
强化学习
知识蒸馏
用 log-odds 累积参数化重构 PPO 评论家,显式建模价值演化,推理提升 7-10 分
Futing Wang, Chenxi Li, Jianhao Yan, Yun Luo, Zhi Wang, Yizhuo Li, Runzhe...
2026-10-14
LLM推理
PPO
价值函数
信用分配
强化学习
仅用结果对错做RL奖励,让生成式PRM的思维链自发学会逐步过程验证
Shengda Fan, Xin Cong, Zhong Zhang, Haotian Chen, Yankai Lin
2026-10-12
GRPO
LLM推理
强化学习
生成式验证器
过程奖励模型
用α散度变分推导的双分支核替代裁剪,修复RLVR离策略训练的梯度饥饿
Yihang Chen, Yuanhao Ban, Cho-Jui Hsieh
2026-10-09
LLM推理
强化学习
离策略学习
策略优化
用半事实扰动下的token概率稳定性修正GRPO优势,实现细粒度信用分配,提升推理与鲁棒性
Junshu Pan, Zhizhang Fu, Shulin Huang, Yiran Ding, Zifan Cheng, Wenqi Shao,...
2026-10-08
LLM推理
RLVR
信用分配
强化学习
鲁棒性
把标准答案当临时脚手架,自适应提示加奖励门控蒸馏,破解RLVR奖励稀疏
Hoang Phan, Minh Pham, Chau Pham, Chinmay Hegde, Trung Le, Qi Lei
2026-10-07
LLM推理
RLVR
多模态推理
强化学习
自适应提示
冻结主干仅训12288参数学会读取历史K/V库,多轮推理最高提升11.67个百分点
Jipei He, Wenhui Tan, Xiaoyi Yu, Enver Sangineto, Fiorenzo Parascandolo,...
2026-10-05
KV缓存复用
LLM推理
参数高效微调
多轮会话
注意力机制
用CTC单调对齐显式编码时序,让LLM在结构化证据上推理,免参考评判口型与文本是否匹配。
Rui Liu, Bhavin Jawade, Haoqi Li, Shivam Mehta, Karan Saxena, Yinghong Lan,...
2026-10-02
CTC对齐
LLM推理
唇语同步
多模态
视频语言模型
把自蒸馏监督转移到教师可被模仿的已验证轨迹上,收益不再随模型规模衰减
Md. Ismail Hossain, Humaira Kousar, Isidora Chara Tourni
2026-10-01
LLM推理
可验证奖励
知识蒸馏
自蒸馏
训练效率
用最大耦合的接受/纠正事件内生路由token级监督,让在线策略蒸馏既准又快
Miteto Wei, Xiaohan Wang, Zehao Chen, Jiajun Chai, Sichao Liu, Li Wang,...
2026-09-30
LLM推理
信任域
在线策略蒸馏
投机解码
最大耦合
把温度差变成可估计的探索收益信号,用JS散度做token级信用分配加速RLVR
Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Wei Lin, Guojun Yin, Ran He
2026-09-30
LLM推理
RLVR
信用分配
强化学习
探索策略
用熵与优势符号耦合的EAPO,强化惊讶成功、纠正重复失败,保留失败响应的恢复路径
Woongyeong Yeo, Minki Kang, Chanuk Lee, Sangwoo Park, Jinheon Baek, Sung Ju Hwang
2026-09-29
LLM推理
RLVR
信用分配
强化学习
探索
将在线蒸馏重构为 KL 正则强化学习,用乐观最小二乘目标实现离策略复用与更高 Pass@k
Shangzhe Li, Yuxiao Yang, Tianrun Yu, Kaixiang Zhao, Xiaoyun Wang, Taylor W....
2026-09-29
LLM推理
强化学习
样本效率
知识蒸馏
策略优化