用贝尔曼方程把 PMD 改写为免评论员的轨迹级目标,AIME 平均准确率超 GRPO 11 个百分点
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
发现 PPO 价值扁平化失效模式,用稀疏锚点监督 SP3O 让 critic 重新看见价值变化
以验证器优势校准同模型密集自引导,用轨迹平衡拟合归一化目标分布实现自改进。
用一阶局部熵影响定位压低多样性的更新,按师生分歧自适应收缩,保住蒸馏后的pass@k
从失败轨迹诊断错误原因构建分层记忆,引导自博弈出题,无外部资源超越R-Zero与DARC
OPD的增益并非来自教师蒸馏,而是压制学生低概率token;据此提出零监督OPSA,性能反超OPD
用数学教育学的启发式与语义空间解析LLM思维链,诊断推理失败并改进RLVR后训练
TTPO:测试时策略优化
👍 83利用伪标签错误的非对称性,无标签地将自蒸馏与RL惩罚结合于测试时训练
进化策略比GRPO推理覆盖更广:升Pass@1同时保住Pass@K,大参数漂移不等于灾难性遗忘
把小模型的结构化失败模式做成批判式示例库,单次生成即提升大模型推理
混合SFT以不到1/60的算力在RLVR后全面超越下一块推理RL
按目标剩余提升空间动态重加权组相对优势,把RL优化力度转向未饱和目标
面向高效测试时推理的声明级可靠性评估
👍 12把测试时算力从多采样转向声明级证伪验证,等调用量下提升数学推理准确率并显著省 token
新增行为推理基准,揭示智能体面对工具映射漂移时迷信穷举搜索而非演绎。
从黎曼几何修正PPO裁剪,等距更新RIPO显著缓解探索坍缩。
分散式推理中的无政府状态代价
👍 1首次对分散式LLM推理架构进行博弈论分析,揭示GPU饱和导致的效率损失并提出自适应路由解决方案
提出PACT协议,通过结构化动作状态消息减少多智能体系统的token消耗并提升性能
为POT引入检查点恢复机制,一次LLM调用修复失败轨迹,在多个基准上提升3-11pp成功率
提出CPT方法,通过搜索时信息共享减少并行TTS的冗余探索
首个生产级GPU内核生成基准,解决基准与生产环境不匹配问题