构建答案匹配六视角数据集,发现OPSD收益主要来自蒸馏本身,特权参考的额外增益很小且依赖训练轨迹
XiuYu Zhang, Wei Chow, Junfeng Fang, Zhenkai Liang, Tat-Seng Chua
2026-09-18
LLM蒸馏
实证分析
数学推理
特权信息
自蒸馏
7B全开源模型靠深度思考加工具调用双引擎与极致训练效率,在数学和智能体搜索上比肩大型前沿模型。
Jiyan He, Guang Liang, Hao Liu, Haoxiang Guan, Jinbo Sun, Junyi Guo, Wenjun...
2026-09-15
AI原生研发
FP8训练
开源基础模型
数学推理
智能体搜索
开源Nemotron流水线纯自然语言证明获IMO 2026金牌(30/42分)
Ivan Moshkov, Stephen Ge, George Armstrong, Wei Du, Sadegh Mahdavi, Igor Gitman
2026-09-11
后训练
强化学习
数学推理
测试时计算
竞赛证明
让模型自演“粗心推理者”生成负向教师,推开缺陷token的概率分布,无标签提升数学推理
Rongcan Pei, Zhepei Wei, Shuyao Xu, Xinyu Zhu, Wei-Lin Chen, Yu Meng
2026-09-11
LLM自改进
token级门控
数学推理
无标签训练
蒸馏与强化学习
按组内答对数自适应调整裁剪边界,让稀有正确样本保留梯度,pass@1 与 pass@k 双升
Sheng Jia, Xiao Wang, Shiva Prasad Kasiviswanathan, Rein Houthooft
2026-09-07
LLM后训练
RLVR
强化学习
数学推理
策略优化
用一个 ReLU 门控把在策略蒸馏改造成合法的 RLVR 方法,零新增超参数
Wenze Lin, Jiale Zhao, Xitai Jiang, Songde Rao, Yining Li, Shenzhi Wang,...
2026-08-26
RLVR
大模型后训练
强化学习
数学推理
知识蒸馏
MathForm用知识检索与验证迭代构造36.7万条Lean数据,8B形式化模型超越32B对手
Lushi Pu, Weiming Zhang, Xinheng Xie, Zixuan Fu, Bingxiang He, Hengyu Zhao,...
2026-08-19
Lean 4
强化学习
数学推理
数据构造
自动形式化
用稀疏位置探测与验证器校准的蒸馏目标,提升小模型数学推理覆盖
Zikun Qu, Min Zhang, Mingze Kong, Zhiwei Shang, Yikun Ban, Shuang Qiu, Zhongxiang Dai
2026-08-11
在线策略蒸馏
大语言模型推理
强化学习
数学推理
知识蒸馏
将OPD2蒸馏扩展至英/韩/日数学推理,揭示推理迁移与语言保留的差异。
Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han
2026-08-07
LLM后训练
Qwen3
在线策略蒸馏
多语言推理
数学推理
用层循环配方让循环MoE在等算力下稳定胜过普通堆叠
Zitian Gao, Yilong Chen, Yihao Xiao, Xinyu Yang, Ran Tao, Joey Zhou, Bryan Dai
2026-07-20
大模型预训练
强化学习对齐
循环Transformer
数学推理
混合专家模型MoE
把零 RL 直接做到 1T 参数,揭示规模带来的涌现推理行为。
Xinyu Tang, Gangqiang Cao, Yurou Liu, Yuliang Zhan, Xiaochong Lan, Yifan Li,...
2026-07-16
MoE
可验证奖励
大模型
强化学习
推理
首个系统评测大模型高级数学证明生成与验证能力的基准套件
Lingkai Kong, Zijian Wu, Yuzhe Gu, Haiteng Zhao, Wenyong Huang, Shuang Sun,...
2026-07-14
基准测试
大语言模型评测
数学推理
证明生成
证明验证
通过动态构造近端教师解决OPD优化不稳定性,零计算开销实现数学推理性能大幅提升
Zhengpeng Xie, Li Lyna Zhang, Zeke Xie, Mao Yang
2026-07-13
信任区域方法
大语言模型
强化学习
数学推理
知识蒸馏
提出SAO方法,通过单轮次采样和双向token级剪裁稳定异步强化学习训练
Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong
2026-07-09
代码生成
异步训练
强化学习
数学推理
智能体任务
TREK扩展GRPO探索支持,提升数学和Agent性能
Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian...
2026-07-08
Agent
大语言模型
强化学习
数学推理
知识蒸馏
构建18种低资源语言的数学推理基准,揭示多语言模型在低资源语言上的持续性能差距。
Daryna Dementieva, Nikolay Babakov, Kathy Hämmerl, Ilseyar Alimova, Jindřich...
2026-07-08
低资源语言
基准测试
多语言评估
数学推理
语言模型评估
从扩散解码轨迹中自生成特权信息,实现dLLM的有效在策略自蒸馏
Phuong Tuan Dat, Qi Li, Xinchao Wang
2026-07-07
在策略学习
扩散模型
数学推理
自蒸馏
语言模型
揭示训练-推理不匹配导致的目标错位,提出 MIPI 原则和 MIPU 两步框架
Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju...
2026-07-06
LLM 训练
强化学习
数学推理
策略优化
训练-推理不匹配
揭示现有LLM多样性度量只捕捉表面措辞变化而非方法层面的策略差异,并提出方法级多样性评估框架
Sangmook Lee, Minbeom Kim, Jeonghye Kim, Dohyung Kim, Sojeong Rhee, Kyomin Jung
2026-07-01
RLVR
多样性度量
奖励黑客
数学推理
测试时扩展
通过可验证的数据构建解决视觉数学推理中的数据质量和奖励信号可靠性问题
Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang
2026-06-24
多模态学习
强化学习
数学推理
数据验证
视觉推理