LSD把已解题组路由到EMA自教师做在线蒸馏,消除冗余长度且精度不降反升
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
奖励模型先为每个案例自适应生成评分标准,再逐条核查并输出细粒度分数
把上下文变成模型可自由编辑的文件,零样本即超越人工设计的上下文管理策略
单步去噪把低分辨率视频精修至4K,延迟降8.91倍
用GUI-CLI混合轨迹与CLI感知奖励训练智能体,学会何时及如何使用命令行
把RL训练中被丢弃的历史自生成轨迹变成可复用经验,只对精选片段施加模仿损失
三项改动稳定PPO评论家网络,三任务RLVR全面超越PPO与VAPO
Marathoner:超长时程自主智能体
👍 19以PR任务合成、RFT与后期奖励强化学习,训练9B模型连续执行10小时以上并超越部分闭源模型
低DPI全局概览加按需高分辨率区域增强,打破视觉文本压缩的压缩率-性能权衡
在在线策略蒸馏中用学生前缀做RL更新教师,把教师侧分布偏移变成优化目标
VoxPolyMem:交互感知多方口语记忆框架,配合证据增益EG-GRPO检索策略大幅超越基线
同家族在线策略蒸馏的缩放特性
👍 17OPD峰值精度可由师生规模与教师分数用幂律提前预测,弱教师能把大模型教得超过自身
把温度差变成可估计的探索收益信号,用JS散度做token级信用分配加速RLVR
按各域反馈方差缩放多教师蒸馏优势,找回被淹没的数学增益
组内智能体评分器给通过测试的解排质量序,和保持地重分配优势,稳定代码智能体RL。
交错强化学习驱动的统一模型原生反思学习
👍 41用整轨迹强化学习让统一多模态模型学会检查、诊断并修复自己生成的图像
小模型先推理再诊断知识瓶颈,按需分档求助强模型,4B低成本胜14B
用可复用服务组合生成跨环境任务训练智能体,八大基准平均提升9.17分
用规则指纹筛选推理路径多样的SFT数据,显著提升RL后的泛化覆盖率
用熵与优势符号耦合的EAPO,强化惊讶成功、纠正重复失败,保留失败响应的恢复路径