在单次自回归轨迹内同时生成候选并排序,用分解式GRPO解决端到端信用分配难题。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
面向多轮智能体强化学习的自适应熵调制
👍 21用响应级熵代理实现无监督信用分配与自适应探索-利用切换
用期望效用和Shapley值做多轮社交对话的逐句奖励分配,让7B模型在社交任务上击败GPT-4o
首篇系统综述 LLM 强化学习中信用分配的论文,梳理 2024-2026 年 47 种方法并提出粒度×方法学二维分类体系。
自蒸馏只控更新幅度,环境奖励锚定方向
通过引入Future-KL散度重构GRPO的信用分配机制,突破LLM推理长度停滞瓶颈
通过四阶段交互协议和双轨GRPO训练,让LLM自主探索未知数据库并生成准确SQL
HCAPO:用 LLM 自身做后视评分,把稀疏终局奖励拆解到关键步骤上。
通过截断步级采样和分解式过程奖励,解决检索增强推理中的信用分配问题
通过反事实信息增益奖励解决多轮RL中的信用分配问题,实现智能体主动不确定性消减
提出分块优势估计方法,为LLM结构化生成中的不同目标分配独立优势信号,解决奖励干扰问题
Actor-Refiner协作框架解决搜索推理中的多尺度信用分配问题
通过自我蒸馏实现强化学习:SDPO算法
👍 50SDPO用模型自身反馈做自蒸馏,突破RL信用分配瓶颈
通过模型自我验证和提出单步纠正干预,解决强化学习在LLM推理中的信用分配问题
将工具调用信用分配建模为二部图匹配问题,实现细粒度的回合级奖励估计