仅用128条随机抽取的示范样本,让GRPO+DPO的少样本RLVR超越千条SFT数据方法。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
THINC框架让代码本身成为推理主体,4B模型击败235B基线
数学家新创作的439道研究级数学题,前沿模型最高仅30.4%
用同一模型的双角色自蒸馏,将英语推理能力迁移到17种低资源非洲语言。
在单流自回归中把『何时披露中间推理』变成可学习的决策变量,用蕴含对齐SFT+RL实现。
构建了跨越47国17语、3万+奥数题的MathNet基准,并首次系统性评测模型在数学等价检索上的能力。
将SFT重写为带稀疏奖励的on-policy RL,提出GAL+DCR统一后训练框架
在数学竞赛中,模型本身的能力差距远超任何提示工程优化
用原子知识点重构强化学习提示,实现最小充分引导
提出分歧子集评估框架,揭示LLM关于答案正确性的特权知识仅在事实任务中存在。
两阶段RLVR框架联合训练推理和自我改进,无需外部监督信号
提出文本频率定律:同等语义下高频文本更适合 LLM 提示与微调,结合 TFD 蒸馏与 CTFT 课程训练在 4 大任务验证。
提出ScratchMath基准评估MLLM诊断学生数学错误能力
Actor-Judge架构实现多模态推理无监督自进化,无需标注数据
提出Principia基准和RLLM、ParaGator方法,显著提升LLM推导复杂数学对象的能力
通过策略驱动的技能选择与分层奖励实现数学推理能力的持续进化
首个大规模未解数学问题的自动化验证基准,评估AI的数学发现能力
用预训练的泛化价值模型V0作为先验,自适应融合稀疏采样经验均值,实现低方差基线估计
ODD:免训练、顺序正交投影,提升扩散语言模型Pass@k。
把一阶梯度下降搬进 LLM 解码循环,直接优化 token logits 来精细化推理策略