首个针对扩散LLM的自蒸馏框架,用自生成答案作后缀条件,步级监督提升推理能力
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
用辩证推理解决LLM临床风险预测中的风险极化问题
构建英中对照逻辑推理基准,揭示大模型在中文复杂表达上的推理短板。
用大语言模型对齐量子算子
👍 3首次将量子酉算子直接映射到LLM潜在空间,实现量子电路综合与语言条件化控制
通过token级梯度分析提出WAPO方法,解决RLVR训练不稳定性问题
混合线性注意力+KPop RL+异步流水线,构建开放高效万亿智能体模型家族
550B总参/55B激活的MoE+Mamba混合架构,主打智能体长任务推理,吞吐量最高达同精度开源模型的5.9倍。
利用参考解决方案作为密集奖励脚手架,改善LLM推理路径覆盖
提出PAUSEREC,用可训练替代显式推理链,提升LLM推荐效果并大幅降低成本
系统阐述LLM从对话助手到持久工作AI的演进路径,提出Workspace+Skill核心范式
SciAgentArena:跨5领域198任务,系统评测18个AI智能体科学发现能力
通过嵌入级语义邻居混合提升强化学习推理探索能力
通过显式边界标记使隐藏状态循环推理可RL优化且可解释
通过二元验证器信任信号改进在线策略蒸馏,在数学推理基准上平均提升1.98%
用流形幂迭代重新设计混合专家路由器
👍 90通过将路由器行与专家权重矩阵的主奇异方向对齐,提升MoE模型性能
协同进化LLM策略与训练工具,超越人工RL基线
RACES框架将可验证环境像乐高积木一样递归组合,突破线性扩展限制提升LLM推理泛化能力。
通过梯度累积控制版本漂移,实现零气泡、零额外内存的异步流水线训练
提出 Feedback Distillation 方法,改进定理证明训练
SKIM框架将LLM技能压缩为自适应多分辨率软token,平衡推理效率与任务性能