非线性外推低秩参数轨迹,37.5%算力削减下仍提升RLVR性能
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
两阶段RLVR框架联合训练推理和自我改进,无需外部监督信号
LLM 能否在含噪监督下学习鲁棒推理?
👍 38首次系统分析 RLVR 噪声标签机制,提出在线标签精炼方法 OLR。
通过样本路由统一组相对和自蒸馏策略优化
👍 31SRPO将正确样本路由到GRPO、失败样本路由到SDPO,实现早期效率和长期稳定性的双重优势
自蒸馏只控更新幅度,环境奖励锚定方向
15B多域RLVR后训练,30-50%更短推理链
多答案RL训练模型单次前向推理生成多个候选答案及置信度
RLVR仅通过修改极少量关键token分布即可大幅提升推理性能
通过解耦推理与置信度优化目标,解决 RLVR 训练中模型过度自信的根本问题
揭示内在奖励的分布锐化机制与不可避免的崩溃,提出外部奖励作为可扩展替代路径
异构智能体协作强化学习
👍 110异构LLM智能体共享rollout协作训练,仅用一半计算成本平均提升3.6%
绕过扩散LLM不可计算的似然,用速度场整流实现精准对齐
提出INSIGHT方法通过贝叶斯加权互信息优化RLVR训练数据选择
RL 主要锐化已有支持,SFT 扩展支持,需先桥接再锐化
通过双尺度多样性正则化促进LLM推理中的深度探索
首个统一异步执行、时间推理、噪声鲁棒性、歧义消解与多智能体协作的可验证评测基准
利用 RLVR 导致的推理结构塌缩特征,通过 Min-kNN 距离黑盒检测训练数据
提出 RLTR,在 RLVR 中加入跨模型可迁移奖励,提升推理鲁棒性与采样一致性。
通过动态调整PPO裁剪阈值灵活控制RL训练中的策略熵
通过Focal加权缓解群相对RLVR在中等组大小下的分布锐化问题,无需额外计算