通过停止梯度算子实现无界正向更新的非对称优化框架,解决RL中探索与稳定性的矛盾
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
揭示训练-推理不匹配导致的目标错位,提出 MIPI 原则和 MIPU 两步框架
评估AI代理通过反馈迭代改进可执行策略的能力
揭示 GRPO/Dr. GRPO/DAPO 是对组标准差的三种操作
无需人工标注,通过分层反馈引导策略优化实现移动GUI代理的自适应
ZPPO通过BCQ/NCQ将教师知识仅注入提示词,在31个基准上显著提升小模型性能
通过token级梯度分析提出WAPO方法,解决RLVR训练不稳定性问题
用 rollout 级冲突过滤 + query 级重加权,解决多奖励聚合中正负优势互相抵消的难题。
把RL粒度从token拉到step,对齐MDP与信用分配单元。
通过嵌入级语义邻居混合提升强化学习推理探索能力
用精确KL散度替代噪声比率裁剪,提升Flow模型RL微调效率
重新思考大语言模型强化学习中的散度正则化
👍 34提出DRPO方法,用平滑正则化替代硬mask,改进LLM RL训练稳定性
自蒸馏策略梯度
👍 28把全词表自蒸馏与RLVR奖励统一为策略梯度,稳定提升LLM推理性能。
ESPO: 提前停止近端策略优化
👍 20ESPO通过提前终止失败轨迹节省20%+token并提升LLM推理性能
在RLVR中引入时间调度维度,按时序从后向前渐进优化轨迹百分位token
为多奖励GRPO引入方差自适应权重,兼顾训练稳定与目标协同
大规模复合声学仿真+双粒度WER门控强化学习实现鲁棒ASR。
用 Hölder 平均统一 GRPO 系列聚合方式,提出动态 p 退火。
把多任务扩散RL的训练冲突与灾难遗忘统一在在线策略蒸馏框架下。
把 GRPO 族方法重写为对响应单纯形的显式目标投影,提出 LPO