用离散语言分数替代token级概率匹配,实现内存高效的推理能力蒸馏
Jing Xiong, Hui Shen, Shansan Gong, Yuxin Cheng, Jianghan Shen, Chaofan Tao,...
2026-02-03
Web问答
强化学习
推理
数学推理
知识蒸馏
通过合成课程问题与求解器协同进化,实现测试时自适应推理提升
Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei...
2026-02-02
GRPO
大语言模型
强化学习
数学推理
测试时训练
基于频域滑动窗口引导dLLM实现结构到细节的解码策略
Siyang He, Qiqi Wang, Xiaoran Liu, Hongnan Ma, Yiwei Shi, Yuerong Song, Ying...
2026-02-02
代码生成
扩散语言模型
数学推理
解码策略
非自回归生成
将推理链渲染为图像,用视觉token替代文本token,实现3.4×压缩和2.7×加速
Yibo Wang, Yongcheng Jing, Shunyu Liu, Hao Guan, Rong-cheng Tu, Chengyu...
2026-01-30
多模态
数学推理
视觉压缩
长上下文
高效推理
用难度感知策略优化与多角度改题,显著提升数学推理
Yanqi Dai, Yuxiang Ji, Xiao Zhang, Yong Wang, Xiangxiang Chu, Zhiwu Lu
2026-01-29
强化学习
数学推理
数据增强
策略优化
揭示LLM基准饱和的真正瓶颈:数据集质量与评判者能力
Marthe Ballon, Andres Algaba, Brecht Verbeken, Vincent Ginis
2026-01-28
LLM-as-Judge
LLM评测
基准测试
数学推理
数据集清洗
通过元强化学习生成自适应课程,突破数学推理性能瓶颈
Shobhita Sundaram, John Quan, Ariel Kwiatkowski, Kartik Ahuja, Yann...
2026-01-27
元学习
大语言模型
强化学习
数学推理
自博弈
通过模型自我验证和提出单步纠正干预,解决强化学习在LLM推理中的信用分配问题
Matthew Y. R. Yang, Hao Bai, Ian Wu, Gene Yang, Amrith Setlur, Aviral Kumar
2026-01-21
GRPO
LLM推理
信用分配
强化学习
数学推理
测试时多智能体协作与经验注入提升推理准确性
Zhiyuan Hu, Yunhai Hu, Juncheng Liu, Shuyue Stella Li, Yucheng Wang, Zhen...
2026-01-16
医学诊断
多智能体
数学推理
测试时学习
经验增强
在GRPO优势之后加反向累积log比,修正自回归KL信用分配
Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang
2026-01-16
GRPO
KL正则化
大语言模型
强化学习
数学推理
三项蒸馏改进技术将4B小模型推理能力提升至超越32B大模型水平
Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue...
2026-01-15
SFT
代码生成
数学推理
知识蒸馏
链式思维推理
两阶段训练:先学判断再学生成,提升推理效率
Jiangshan Duo, Hanyu Li, Hailin Zhang, Yudong Wang, Sujian Li, Liang Zhao
2026-01-14
大语言模型
强化学习
推理优化
效率优化
数学推理
将CoT推理重新表述为迭代去噪过程,通过扩散滑动窗口缓解错误积累
Shidong Cao, Hongzhan Lin, Yuxuan Gu, Ziyang Luo, Jing Ma
2026-01-09
偏好优化
思维链推理
扩散模型
数学推理
错误修正
单个精心设计的数学样本通过RL训练可跨学科提升推理能力
Yiyuan Li, Zhen Huang, Yanan Wu, Weixun Wang, Xuefeng Li, Yijia Luo, Wenbo...
2026-01-09
多学科学习
强化学习
数学推理
数据效率
跨域推理
研究发现大型推理模型存在多语言潜在推理能力,但强弱不均:高资源语言强,低资源语言弱,且在困难任务上几乎不可检测
Yihong Liu, Raoyuan Zhao, Hinrich Schütze, Michael A. Hedderich
2026-01-07
Chain-of-Thought
多语言推理
大语言模型
数学推理
潜在推理
提出FIGR方法,将可执行的图表构建集成到多轮推理中,通过强化学习学习何时以及如何外化中间结构作为视觉状态。
Meiqi Chen, Fandong Meng, Jie Zhou
2026-01-01
代码执行
多模态推理
强化学习
数学推理
视觉推理