构建答案匹配六视角数据集,发现OPSD收益主要来自蒸馏本身,特权参考的额外增益很小且依赖训练轨迹
XiuYu Zhang, Wei Chow, Junfeng Fang, Zhenkai Liang, Tat-Seng Chua
2026-09-18
LLM蒸馏
实证分析
数学推理
特权信息
自蒸馏
把每篇论文改造成可验证训练环境,双阶段利用评分标准进化科研计划生成能力
Yuhan Wang, Zhengxi Lu, Yuchen Yan, Kaitao Song, Wenqi Zhang, Weiming Lu,...
2026-09-01
LLM后训练
强化学习
数据集构建
科研计划生成
自蒸馏
把执行轨迹建成状态图,定位首个偏离断点,仅对恢复段做局部监督的自蒸馏框架
Hangrui Xu, Jiarui Wang, Yang Yang, Chuanbo Zhu, Fangda Chen, Ziqi Wu,...
2026-08-31
LLM智能体
后训练
图结构建模
多轮工具调用
自蒸馏
让仓库自合成 Issue 并蒸馏项目专属技能,破解 SWE 智能体冷启动
Silin Chen, Han Li, Xiaodong Gu, Yuling Shi, Haibing Guan
2026-08-19
Issue解决
LLM Agent
技能库
自蒸馏
软件工程智能体
让特权状态按需介入自蒸馏,使编辑后的LLM能拆分新知识并组合多跳推理
Tianci Liu, Zihan Dong, Tianchun Li, Yi-Chung Chen, Qiming Cao, Xingchen...
2026-08-14
LLM
可组合性
知识编辑
自蒸馏
非结构化知识编辑
用递归贝叶斯信念更新为长程智能体RL做回合级信用分配
Zi-Han Wang, Zhengxi Lu, Zhiyuan Yao, Jinyang Wu, Jie Wu, Zhengzhou Cai,...
2026-08-07
GRPO
强化学习信用分配
智能体RL
自蒸馏
贝叶斯信念更新
首个支持用户与世界内角色进行社交互动的视频世界模型
Liangyang Ouyang, Ruicong Liu, Xuangeng Chu, Kaipeng Zhang, Yoichi Sato
2026-08-06
DiT注意力控制
扩散模型
社交交互
自蒸馏
视频世界模型
按教师信号的局部持久性,为每个 token 分配自适应蒸馏权重。
Chunji Lv, Yangguang Wei, Junlin Liu, Yang Gao, Ming Liu, Xinming Wang,...
2026-08-05
GRPO
信用分配
智能体强化学习
知识蒸馏
稀疏奖励
用工具执行结果构造轮次级多视野事后监督,自适应调制强化学习优势。
Changle Qu, Sunhao Dai, Hengyi Cai, Yuqi Zhou, Xinran Chen, Simon, Jun Xu
2026-08-05
GRPO
LLM智能体
信用分配
工具集成推理
强化学习
将特权偏移重解为反事实敏感度,重分配 GRPO token 信用以提升长链推理。
Qiangqiang He, Zhongheng Wu, ZiJian Wang
2026-08-03
GRPO
信用分配
强化学习
自蒸馏
长链推理
把在线自蒸馏视为β=1的KL正则化策略优化特例,借logit插值与回报到当前信贷分配改进推理
Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang
2026-07-31
RLHF
强化学习
推理大模型
知识蒸馏
策略优化
用原图与擦除图像的预测对比构造自蒸馏目标,无需外部教师或答案提示。
Yijun Liang, Yunjie Tian, Yijiang Li, Yuqi Jia, Furong Huang, Tianyi Zhou, Di Fu
2026-07-24
多模态后训练
对比学习
知识蒸馏
自蒸馏
视觉语言模型
用持久的世界状态寄存器让多智能体视频世界模型保持跨视角一致性
Sicheng Mo, Yuheng Li, Ziyang Leng, Krishna Kumar Singh, Bolei Zhou
2026-07-24
Minecraft
Mixture-of-Transformers
世界模型
多智能体
扩散模型
按轨迹正确性分流的混合自蒸馏框架,统一RLSD稳定优化与OPSD方向纠正。
Qiye Cai, Yichuan Ma, Linyang Li, Peiji Li, Yongkang Chen, Qipeng Guo,...
2026-07-22
信用分配
可验证奖励RLVR
大语言模型推理
强化学习
自蒸馏
构建可验证的离线维基百科环境,让搜索智能体自蒸馏迭代进化。
Xinyu Geng, Xuanhua He, Sixiang Chen, Yanjing Xiao, Fan Zhang, Shijue Huang,...
2026-07-21
工具使用
强化学习
智能体
深度搜索
自蒸馏
用像素对扭曲流场从图像编辑样本实时生成视频编辑训练数据
Dingyun Zhang, Lixue Gong, Wei Liu
2026-07-21
扩散模型
指代表达分割
数据合成
模态对齐
流匹配
用理论ground库与自蒸馏让模型在用户母语中做文化适配的道德推理。
Ayoung Lee, Ryan Kwon, Yunxiang Zhang, Yuxuan Liu, Peter Railton, Lu Wang
2026-07-14
基准测试
多语言NLP
提示工程
文化对齐
自蒸馏
从扩散解码轨迹中自生成特权信息,实现dLLM的有效在策略自蒸馏
Phuong Tuan Dat, Qi Li, Xinchao Wang
2026-07-07
在策略学习
扩散模型
数学推理
自蒸馏
语言模型
SDPO在专业化任务上表现强劲但持续学习中易遗忘
Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen...
2026-07-03
LLM后训练
强化学习
持续学习
知识保持
自蒸馏
TAPO通过构建微观反思轨迹,让模型从自己的错误中学习,在数学推理任务上显著提升表现
Zhilin Huang, Hang Gao, Ziqiang Dong, Yuan Chen, Yifeng Luo, Chujun Qin,...
2026-06-23
大语言模型
强化学习
推理能力
自蒸馏
错误纠正