让模型自己当老师,把稀疏二元奖励转成稠密 token 级自监督。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
在导数空间用对抗目标训练连续流模型,仅10个epoch后训练即大幅降低FID
首个 UMM 统一代码库,标准化 15 个模型的评估与后训练,揭示架构统一≠表征统一。
通过筛选高方差轮次和功能等价奖励,将SFT轨迹转化为高效RL训练,实现4倍计算节省同时保持OOD泛化
将经典RL的马尔可夫状态引入LLM后训练,突破能力天花板,实现指数级样本效率提升
30B MoE模型通过级联RL+在线蒸馏,在IMO/IOI/ICPC三大竞赛获金牌
系统比较SFT和RL在LLM后训练中的作用、差异与融合方法
手术式后训练:剪除错误,保留知识
👍 12通过最小化编辑的数据修正和奖励二分类损失实现高效推理注入且避免灾难性遗忘
用显式约束生成高质量交互数据并确定性验证,训练4B小模型匹敌70B大模型
少即是多:在LLM特征空间中合成多样数据
👍 67用稀疏自编码器识别缺失任务特征,覆盖式合成少量高效数据,达到150倍数据量基线的性能
超越教师:基于奖励外推的泛化在线策略蒸馏
👍 70通过奖励外推实现超越教师的在线策略蒸馏框架
弱驱动学习:如何让弱智能体使强智能体更强
👍 169复用训练中弱模型作为纠正信号,通过混合logit训练持续增强强模型
构建百万级科学推理数据集,三阶段后训练提升4B模型科学推理
用RL后训练大幅提升视频世界模型的动作跟随精度和视觉质量
将注意力分布视为策略,用RL优化注意力分配以提升多模态LLM视觉推理能力
多任务GRPO:跨任务的可靠LLM推理
👍 14提出MT-GRPO算法,通过自适应任务加权和比例保持采样实现多任务推理的均衡优化
开源全流程后训练框架,用32B模型在SWE-bench Verified上达到70.8%解决率
通过最优传输对齐文本-视频嵌入空间,实现无需人工标注的视频生成后训练
在学术级算力下,通过轻量级后训练实现主权LLM的采用性与主权能力
训练UMM同时生成深度图和分割图,反向提升视觉理解能力