标签： 全部 强化学习 扩散模型 大语言模型 基准测试 视频生成 LLM智能体 世界模型 视觉语言模型 GRPO 多模态大模型 知识蒸馏 基准评测 具身智能 流匹配 机器人操作 多智能体系统 智能体 LLM Agent 可解释性 图像生成 代码生成 多模态学习 检索增强生成 注意力机制 RLVR 后训练 视频理解 机器人学习 长上下文 多模态 数学推理 图像编辑 VLA 数据合成 多模态大语言模型 推理加速 高效推理 评测基准 自监督学习 工具调用 对比学习 扩散语言模型 视觉-语言-动作模型 参数高效微调 Transformer 工具使用 LoRA 持续学习 LLM评估 自蒸馏 多模态推理 RAG 模仿学习 综述 LLM推理 信息检索 信用分配 在线策略蒸馏 模型压缩 合成数据
找到 305 条结果
相关性 | 日期

分支化在策略蒸馏（BranchOPD）

👍 6

在学生轨迹的关键决策点重采样分支续写，扩展教师监督覆盖，全面超越单/多轨迹 OPD。

Dongyang Chen, Shudong Liu, Shubo Li, Duoxun Tang, Jinwei Liang, Zehuan Wu, Lewei Lu 2026-10-13
LLM智能体 分支采样 在策略蒸馏 大模型推理 数学推理
✅ 已总结
详情 →

基于合成自蒸馏的小型模型持续后训练

👍 37

把自蒸馏重写外包给稍大的同家族模型并配合拒绝采样，让小模型学新领域能力而不遗忘旧能力。

Woosung Koh, Hyunsoo Lee, Kyungjae Lee, Haeju Park, Dahyun Lee, Dasol Hwang,... 2026-10-12
分布对齐 合成数据 小型语言模型 持续学习 灾难性遗忘
✅ 已总结
详情 →

面向大语言模型的通用文本教学

👍 15

不更新参数,把师生知识差距蒸馏成可跨模型复用的自然语言教材Primer

Zhanyi Lu, Huan Wang 2026-10-12
上下文学习 代码生成 免参数更新 数学推理 知识蒸馏
✅ 已总结
详情 →

REMORY：面向上下文压缩的残差记忆学习

👍 48

在摘要后附加可学习软记忆向量，让冻结LLM逼近全上下文表现

Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong,... 2026-10-09
Agent记忆 上下文压缩 知识蒸馏 软提示 长上下文
✅ 已总结
详情 →

在线蒸馏中的增益与坍塌：一个强化学习视角

👍 29

教师即隐式奖励模型：在线蒸馏只放大既有能力，偏好偏置导致奖励黑客式坍塌。

Han Cui, Jianhao Yan, Yun Luo, Hongbo Zhang, Zhizhang Fu, Yue Zhang 2026-10-08
在线策略蒸馏 大语言模型后训练 奖励黑客 强化学习 知识蒸馏
✅ 已总结
详情 →

基于负策略采样序列的在线策略蒸馏

👍 19

在rollout阶段混入更弱负策略的序列，不改蒸馏奖励即为OPD补上负向信号并全面提升

Jaehui Hwang, Dongyoon Han, Sangdoo Yun, Byeongho Heo 2026-10-08
LLM后训练 在线策略蒸馏 推理增强 知识蒸馏 负样本学习
✅ 已总结
详情 →

面向神经网络压缩的可学习函数子空间

👍 6

把每层要删除的子空间参数化为可学习正交投影，端到端对齐网络输出，高压缩率下大幅超越现有低秩压缩方法

Massimo Bini, Anders Christensen, Stephan Alaniz, Judah Goldfeder, Ole... 2026-10-07
KV缓存优化 低秩分解 大语言模型 模型压缩 知识蒸馏
✅ 已总结
详情 →

混合注意力大语言模型中的多语言性

👍 5

首次揭示混合注意力LLM的多语言表征组织方式,证明首层全注意力布局让多语言训练提速至2.5倍

Lucas Bandarkar, Junlin Hu, Chenyuan Yang, Mohsen Fayyaz, Nanyun Peng 2026-10-07
Gated DeltaNet 可解释性 多语言 混合注意力 知识蒸馏
✅ 已总结
详情 →