无需标注或真值验证,用LLM下一token概率自蒸馏训练过程奖励模型
Artyom Gadetsky, Maxim Kodryan, Siba Smarak Panigrahi, Hang Guo, Maria Brbic
2026-05-22
LLM-as-a-Judge
强化学习
推理验证
无监督学习
测试时扩展
训练4B RL编排器动态组合专家模型与层次技能,平均70.1%超越GPT-5
Jinyang Wu, Guocheng Zhai, Ruihan Jin, Yuhao Shen, Zhengxi Lu, Fan Zhang,...
2026-05-22
GRPO
POMDP
多模态智能体
工具调用
强化学习
提出工具编排视觉经验蒸馏,让图像生成智能体自我进化。
Sixiang Chen, Zhaohu Xing, Tian Ye, Xinyu Geng, Yunlong Lin, Jianyu Lai,...
2026-05-22
GRPO
图像生成智能体
多模态大模型
工具调用
强化学习
自调节模拟规划让30B智能体以更少token匹敌1T模型
Mingkai Deng, Jinyu Hou, Lara Sá Neves, Varad Pimpalkhute, Taylor W....
2026-05-22
世界模型
强化学习
智能体推理
自我调节
规划
把难题拆成可验证子问题序列,用子问题级信用分配强化LLM推理
Xitai Jiang, Zihan Tang, Wenze Lin, Yang Yue, Shenzhi Wang, Gao Huang
2026-05-22
信用分配
可验证奖励
大语言模型
强化学习
数学推理
大规模复合声学仿真+双粒度WER门控强化学习实现鲁棒ASR。
Zhifei Xie, Kaiyu Pang, Haobin Zhang, Deheng Ye, Xiaobin Hu, Shuicheng Yan,...
2026-05-21
DG-WGPO
VOICES-IN-THE-WILD-2M
复合声学环境
强化学习
数据仿真
RLVR权重更新呈秩-1线性结构,RELEX仅用15%训练步外推未来检查点
Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng
2026-05-21
RLVR
SVD
低秩结构
强化学习
权重外推
提出可扩展、可验证的规划数据生成框架,用于评测与训练LLM的规划能力。
Ziliang Zhao, Zenan Xu, Shuting Wang, Hongjin Qian, Yan Lei, Minda Hu, Zhao...
2026-05-21
GRPO
LLM评测
可验证奖励
强化学习
数据合成
用工具增强的智能体框架与门控强化学习实现零样本工业异常检测新 SOTA
Rongbin Tan, Fangfang Lin, Zhenlong Yuan, Min Qiu, Kejin Cui, Mengmeng Wang,...
2026-05-21
GRPO
多模态大模型
工业异常检测
工具增强
强化学习
提出变分策略蒸馏(VPD)框架,通过EM算法让教师与学生协同进化,解决RLVR稀疏奖励问题
Yang Li, Erik Nijkamp, Semih Yavuz, Shafiq Joty
2026-05-21
代码生成
变分推断
大语言模型
强化学习
科学推理
通过缝合技术将像素空间奖励模型高效转移到噪声潜在空间,实现快速准确的扩散对齐
Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An,...
2026-05-21
价值函数
强化学习
扩散模型
模型缝合
生成模型对齐
提出生成式记忆策略,让LLM智能体学会何时需要记忆辅助以及如何生成任务相关指导
Xiaoqiang Wang, Chao Wang, Hadi Nekoei, Christopher Pal, Alexandre Lacoste,...
2026-05-21
LLM智能体
工具使用
强化学习
网络导航
记忆机制
揭示RLVR训练中存在反直觉的不可学习样例,代表模型表征的根本性缺陷。
Yulin Chen, He He, Chen Zhao
2026-05-21
RLVR
大语言模型
强化学习
推理能力
梯度分析
揭示 DPO-RLHF 等价性的隐含假设及其失效模式,提出 CPO 保证偏好对齐
Zhiqin Yang, Yonggang Zhang, Wei Xue, Dong Fang, Bo Han, Yike Guo
2026-05-21
DPO
LLM 对齐
RLHF
偏好优化
强化学习
用 9 类任务、9 种奖励的 23K RLVR 数据集和 TMN-Reweight 多任务优化算法,让 30B 模型长上下文能力逼近 R1-0528。
Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen,...
2026-05-20
GRPO
RLVR
后训练
多任务学习
强化学习
AntiSD通过反转自蒸馏梯度方向解决推理RL的捷径偏置问题
Guobin Shen, Xiang Cheng, Chenxiao Zhao, Lei Huang, Jindong Li, Dongcheng...
2026-05-20
GRPO
f-散度
强化学习
推理模型
自蒸馏
用三智能体自动构建可执行工具环境,并合成自然多轮轨迹训练工具调用LLM。
Minrui Xu, Zilin Wang, Mengyi DENG, Zhiwei Li, Zhicheng Yang, Xiao Zhu,...
2026-05-20
LLM Agent
MCP
Qwen3
工具调用智能体
强化学习
把VLM训练成导演理解分镜创意意图,再统一控制信号注入视频生成
Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong...
2026-05-20
专业动画生产
可控视频生成
强化学习
扩散模型
视觉语言模型
用正反答案对比信号解决 RLVR 中 token 级信用分配难题
Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, Rania Elbadry, Omar...
2026-05-20
GRPO 改进
LLM 后训练
信用分配
强化学习
自蒸馏
用自生成多解数据做中段训练,显著提升后续强化学习
Aswin RRV, Jacob Dineen, Divij Handa, Mihir Parmar, Ben Zhou, Swaroop...
2026-05-20
中段训练
合成数据
强化学习
推理多样性
数学推理