通过价值引导解码和树结构优势强化,解决生成式推荐中概率-奖励错配问题
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
通过按智能体归一化优势值,解决多智能体LLM系统中RL训练的梯度不稳定问题
用多样化推理大纲引导并行路径探索,突破大推理模型并行思维中的信息饱和瓶颈
提出TP-GRPO框架,用增量式步骤奖励和转折点检测缓解Flow-GRPO的奖励稀疏问题
通过动态调整PPO裁剪阈值灵活控制RL训练中的策略熵
通过Focal加权缓解群相对RLVR在中等组大小下的分布锐化问题,无需额外计算
大语言模型强化微调中的熵动力学研究
👍 38从单 token 对数更新出发,建立 RFT 熵变化的理论框架并推导出实用的熵裁剪方法
基于潜在动作的自改进世界建模
👍 32将动作视为潜在变量,通过前向-逆向模型交替优化实现无标注世界建模
ProGRPO通过置信度重加权解决RLVR训练中的熵崩溃问题
解耦用户建模为Profile控制器与角色扮演模型,实现零数据自进化服务对话训练
通过长度归一化消除GSPO的长度偏差,提升RLVR训练稳定性和性能
面向 LLM 智能体的强化世界模型学习
👍 28用自监督 RL 训练 LLM 成为动作条件的世界模型,提升智能体决策能力
用 KL3 估计器替代 GRPO 中的对称裁剪,实现有理论保证的非对称近信赖域约束
自提示语言模型增强强化学习
👍 31通过训练时注入自生成提示解决 GRPO 稀疏奖励下的优势崩塌问题
用 Beta 分布动态建模模型能力,自适应分配 RL rollout 预算以优化探索-利用权衡
Actor-Refiner协作框架解决搜索推理中的多尺度信用分配问题
Rubric-ARM通过交替强化学习联合优化评分标准生成器和判断器,提升LLM后训练效果
测试时课程合成:面向自进化的协同训练框架
👍 29通过合成课程问题与求解器协同进化,实现测试时自适应推理提升
FISSION-GRPO 框架:将执行错误转化为在线策略纠正性监督,提升工具使用错误恢复能力。
提出GUI-AiF框架,通过双奖励机制实现GUI智能体在域和分辨率漂移下的持续学习