找到 116 条结果

构建答案匹配六视角数据集,发现OPSD收益主要来自蒸馏本身,特权参考的额外增益很小且依赖训练轨迹

XiuYu Zhang, Wei Chow, Junfeng Fang, Zhenkai Liang, Tat-Seng Chua 2026-09-18
LLM蒸馏 实证分析 数学推理 特权信息 自蒸馏

7B全开源模型靠深度思考加工具调用双引擎与极致训练效率,在数学和智能体搜索上比肩大型前沿模型。

Jiyan He, Guang Liang, Hao Liu, Haoxiang Guan, Jinbo Sun, Junyi Guo, Wenjun... 2026-09-15
AI原生研发 FP8训练 开源基础模型 数学推理 智能体搜索

让模型自演“粗心推理者”生成负向教师,推开缺陷token的概率分布,无标签提升数学推理

Rongcan Pei, Zhepei Wei, Shuyao Xu, Xinyu Zhu, Wei-Lin Chen, Yu Meng 2026-09-11
LLM自改进 token级门控 数学推理 无标签训练 蒸馏与强化学习

按组内答对数自适应调整裁剪边界,让稀有正确样本保留梯度,pass@1 与 pass@k 双升

Sheng Jia, Xiao Wang, Shiva Prasad Kasiviswanathan, Rein Houthooft 2026-09-07
LLM后训练 RLVR 强化学习 数学推理 策略优化

用一个 ReLU 门控把在策略蒸馏改造成合法的 RLVR 方法,零新增超参数

Wenze Lin, Jiale Zhao, Xitai Jiang, Songde Rao, Yining Li, Shenzhi Wang,... 2026-08-26
RLVR 大模型后训练 强化学习 数学推理 知识蒸馏

通过动态构造近端教师解决OPD优化不稳定性,零计算开销实现数学推理性能大幅提升

Zhengpeng Xie, Li Lyna Zhang, Zeke Xie, Mao Yang 2026-07-13
信任区域方法 大语言模型 强化学习 数学推理 知识蒸馏

TREK扩展GRPO探索支持,提升数学和Agent性能

Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian... 2026-07-08
Agent 大语言模型 强化学习 数学推理 知识蒸馏