单检查点可变循环数的4B循环语言模型,以潜空间重复计算以小搏大。
Maxim Fishman, Simeng Sun, Shantanu Acharya, Faisal Ladhak, Brian Chmiel,...
2026-11-04
RLVR
nGPT
循环语言模型
推理优化
模型量化
让自教师边指导边进化、按指导可靠性加权学生损失,使 OPSD 持续提升
Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Guojun Yin, Shuhui Wang
2026-11-03
LLM后训练
RLVR
在线自蒸馏
教师演化
自适应损失加权
廉价System-1预测交互效用、门控System-2执行,$\rho_u$是扩展效率新坐标
Qi Wang, Yun Qu, Lizhou Cai, Heming Zou, Haoang Chi, Yiqin Lv, Xiang Li,...
2026-11-02
RLVR
System-1/System-2协同设计
信息论
智能体效率
条件交互
免训练递归智能体近乎攻破现有定理证明基准,并自动生成更难的代码验证任务集AEGIS
Debargha Ganguly, Divya Raghunathan, Dejan Jovanović, Vikash Singh, Soonho...
2026-10-30
LLM Agent
Lean
RLVR
基准数据集
定理证明
用信息增益奖励做强化学习,把序列贝叶斯实验设计摊销进 LLM 的推理过程,习得可泛化的提问策略
Anita Kriz, Antonin Berthon, Nicolás Astorga, Mihaela van der Schaar
2026-10-29
LLM推理
RLVR
主动信息获取
信息增益
强化学习
用单图多区域合成数据加 RLVR 训练"连接证据"能力,泛化提升空间感知与长上下文
Lai Wei, Yatai Li, Liangbo He, Jun Lan, Renjie Gu, Linhan Cao, Junkai Lin,...
2026-10-28
RLVR
具身智能
多模态大模型
数据合成
空间感知
Outcome RL的pass@1提升主要来自按时答完与更可靠,很少带来新解题能力
Shan Yang
2026-10-28
LLM推理
RLVR
pass@k分析
强化学习
评测方法学
稳定化Actor-Critic训练配方,提供token级优势与难度感知选题,将RLVR扩展至397B
Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
2026-10-27
Actor-Critic
MoE大模型
PPO/GAE
RLVR
价值函数预训练
用研究世界模型预测实验增益作 RL 奖励,配合在线校准训练出会提出模型改进的 LLM
Minhua Lin, Zijun Wang, Zewen Liu, Zhaotian Weng, Bing He, Zhan Shi, Benoit...
2026-10-22
RLVR
世界模型
奖励过度优化
强化学习
自动化AI研究
以真实未来事件预测为活环境,参数、技能、环境三轴共演化实现递归自我改进
Zhipeng Chen, Yunsen Liang, Yanxi Chen, Hongkang Zhao, Lingyun Feng, Ruiyang...
2026-10-22
RLVR
事件预测
技能蒸馏
智能体系统
环境共演化
自摘要引用提供轮次信用,组内成败对照校准,稀疏奖励变密集
Fangcong Yin, Ming Yin, Tanvi Bhandarkar, Aashu Singh, Eryk Helenowski,...
2026-10-21
LLM智能体
RLVR
信用分配
强化学习
长程任务
用前缀分支树把稀疏终局奖励蒸馏为有界后验教师,免Critic稳定长程智能体RL训练
Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu, Chenglin Li,...
2026-10-19
RLVR
信用分配
大语言模型智能体
强化学习
策略蒸馏
用验证器信息的自回放 JS 距离,把每个奖励的优势精准分配到相关 token
Skylar Zhai, Haonan Wang, Zhining Liu, Linxin Song, Xuwei Ding, Jingcheng...
2026-10-16
GRPO改进
LLM后训练
RLVR
信用分配
多奖励强化学习
锚定噪声扰动输入嵌入,小部分扰动 rollout 即可显著提升 GRPO 探索与推理
Daijiao Liu, Huiyi Wang, Lina Yao, Dong Gong
2026-10-16
GRPO
LLM后训练
RLVR
嵌入空间扰动
探索策略
INT4 KV缓存量化加选择性INT8保护,异步RLVR rollout提速1.8倍且精度不掉点
Sihwan Park, Sung-Yub Kim, Doohyuk Jang, Eunho Yang
2026-10-15
GRPO
KV缓存量化
RLVR
大模型训练
异步Rollout
CALIF用参考策略似然区间校准RLVR奖励,约束满足与回答质量兼得
Sangyeon Yoon, Wooseok Seo, Hamish Ivison, Hyesoo Hong, Donghoon Kim, Wonjun...
2026-10-15
RLVR
大模型对齐
奖励黑客
指令遵循
以剩余待生成token数为进度信号,在多轮RL中实现步级信用重分配
Xuyan Ye, Xiyan Fu, Shengda Fan, Jiawei Cui, Yankai Lin, Wei Lu
2026-10-14
RLVR
信用分配
多轮智能体
强化学习
过程监督
把事后轨迹的教训蒸馏为交互前预判,让全对或全错的轨迹也能产生学习信号
Haoxiang Zhang, Qinglin Chen, Hiroaki Hayashi, Zhuofeng Li, Siming Zhang,...
2026-10-08
GRPO
LLM Agent
RLVR
前瞻学习
后训练
用半事实扰动下的token概率稳定性修正GRPO优势,实现细粒度信用分配,提升推理与鲁棒性
Junshu Pan, Zhizhang Fu, Shulin Huang, Yiran Ding, Zifan Cheng, Wenqi Shao,...
2026-10-08
LLM推理
RLVR
信用分配
强化学习
鲁棒性
验证器决定哪些失败轨迹获得教师引导,按组难度加权,弥补GRPO盲区
Karn Tiwari, Varnith Chordia, Prathosh A P
2026-10-07
GRPO
RLVR
代码生成
在线策略蒸馏
大语言模型