用训练期新视角生成器教会模型主动规划视角并在脑内想象场景,提升空间推理。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
提出Semi-OPD,用初始学生的离线轨迹蒸馏,14/17组师生对上胜过在线蒸馏并提速至11.4倍
自回顾蒸馏:将事后经验转化为先验前瞻
👍 166把事后轨迹的教训蒸馏为交互前预判,让全对或全错的轨迹也能产生学习信号
用教师减基座的偏移替代端点目标做MOPD,目标更近更均衡,省35%算力
良性SFT大幅削弱智能体后门、RL保留甚至放大残余后门,攻击者可刻意增强其持久性
在冻结DLM的特征空间里做MMD后训练,让扩散语言模型少步生成质量与并行解码效率兼得
提出数学原语与PRIM基准诊断LLM数学理解,发现独立结构发现是瓶颈,并用ABSORB自蒸馏修复
按信息增益挑出去噪中少数关键承诺,仅用200题离线自蒸馏即胜过全序列SFT与在线RL
免部署软件环境,用图像生成器合成 GUI 训练轨迹并成功迁移
视频生成模型的后训练与对齐综述
👍 20首篇系统梳理视频生成后训练与对齐的综述:四族方法、数据基准与开放挑战
学习式目录策展加 GRPO 后训练,让 LLM 商品搜索平均提升 14 分
VGBENCH 基准揭示音频 LLM 认得命令却不会因声学上下文收手,后训练可学会门控
教师看空间提示、学生只看图,3000张合成计数图自蒸馏出可迁移的真实视觉感知
固定状态换目标重排动作偏好,激发预训练世界知识,实现未见环境的可迁移决策
构建5万条智能体错误-诊断对,验证失败经验可转化为诊断与修复训练信号
Marathoner:超长时程自主智能体
👍 19以PR任务合成、RFT与后期奖励强化学习,训练9B模型连续执行10小时以上并超越部分闭源模型
像素扩散模型的对抗训练
👍 12在预训练像素扩散模型上加判别器后训练,恢复缺失高频细节并全面提质
联合训练主干与迭代决策器,把额外迭代精准分配给受益token,让循环模型测试时扩展超越非循环基线
用规则指纹筛选推理路径多样的SFT数据,显著提升RL后的泛化覆盖率
在学生状态处学习教师续写(OLIVE)
👍 33学生生成前缀、教师在线续写接管,仅用教师文本训练,效果超 OPD 且训练更省时