检测教师漂移起点并验证可恢复性,只在可教前缀上蒸馏,提升低资源语言推理。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
少想一点:面向推理压缩的局部偏好学习
👍 65定位模型推理中的过度思考状态,从同一状态重生成更短续写,用局部偏好对训练模型学会何时停止。
首个token级自适应OPSD:多教师池配合投票与KL选择,逐token匹配最优监督
在教师RL轨迹中插入中间检查点,用早/晚两段偏移的方向一致性门控终点偏移信号。
基于批评引导的在线策略蒸馏恢复可靠监督
👍 26教师会跟随学生错误但仍能识别错误,CriticOPD 用批评引导改写恢复蒸馏监督可靠性
在学生轨迹的关键决策点重采样分支续写,扩展教师监督覆盖,全面超越单/多轨迹 OPD。
面向大语言模型的通用文本教学
👍 15不更新参数,把师生知识差距蒸馏成可跨模型复用的自然语言教材Primer
质疑问题:维持推理模型的自进化
👍 48给自生成问题加上有效性与新颖性双重质检,让推理模型自进化十轮持续涨点
把测试时扩展目标从单维帕累托前沿转向用户三维需求的联合满足率,并用跨用户经验复用摊销策略发现开销
跨分词器在线蒸馏中,严格位置的紧凑监督优于扩大对齐覆盖
验证器决定哪些失败轨迹获得教师引导,按组难度加权,弥补GRPO盲区
提出数学原语与PRIM基准诊断LLM数学理解,发现独立结构发现是瓶颈,并用ABSORB自蒸馏修复
用15语言符号化数学基准,联合量化模型规模、语言资源、推理与类型距离对跨语言迁移的影响
更好的监督就在近旁:邻域在线策略自蒸馏
👍 12将特权教师参数邻域的扰动专家组成池,逐状态路由监督以增强在线自蒸馏
两个异构模型互换彼此全错提示上的同伴轨迹,等预算下GRPO平均多涨2.1分
在在线策略蒸馏中用学生前缀做RL更新教师,把教师侧分布偏移变成优化目标
同家族在线策略蒸馏的缩放特性
👍 17OPD峰值精度可由师生规模与教师分数用幂律提前预测,弱教师能把大模型教得超过自身
提出信息效率比IER衡量token梯度估计可靠性,0.1%-1%预算即可匹敌全量OPD
面向在线策略蒸馏的教师-学生差异校准
👍 10用正负特权探测教师自偏差区间,只把超出区间的师生差异作为蒸馏信号
用难度感知的奖励塑形让推理模型学会何时思考、思考多深。