Direct-OPD:用小模型RL的策略位移当隐式奖励,低成本提升更强的学生模型
Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng...
2026-07-14
后训练
弱到强泛化
强化学习RLVR
知识蒸馏
策略蒸馏
PUST用轻量代理模型探索更新信号再迁移到更强主模型,实现弱到强、可复用的后训练。
Daocheng Fu, Rong Wu, Yu Yang, Xuemeng Yang, Jianbiao Mei, Licheng Wen,...
2026-07-14
后训练
弱到强迁移
强化学习对齐
模块化训练
策略蒸馏
通过训练专用ACI实现语言模型的自主端到端后训练
Zhaojian Yu, Penghao Yin, Shuzheng Gao, Shilin He, Kai Cai, Xiao-Ping Zhang
2026-07-02
Agent-Computer Interface
后训练
自主训练
自动化机器学习
语言模型
研究后训练阶段对生物推理模型泛化的不同影响
Lukas Fesser, Hanlin Zhang, Michelle M. Li, Eric Wang, Bryan Perozzi,...
2026-06-26
后训练
多模态学习
强化学习
泛化能力
生物推理
单代理模型梯度联合优化数据混合比例与模型参数,搜索成本降低550倍
Haoru Tan, Sitong Wu, Yanfeng Chen, Jun Xia, Ruobing Xie, Bin Xia, Xingwu...
2026-06-23
双层优化
后训练
数据混合优化
梯度下降
预训练
通过对比性上下文选择任务增强LLM的上下文 grounding 能力
Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod...
2026-06-19
Agent系统
上下文学习
后训练
多模态推理
强化学习
3B小模型经Spectrum-to-Signal后训练在可验证任务上达到千亿级旗舰性能
Sen Xu, Shixi Liu, Wei Wang, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong...
2026-06-16
MGPO
Spectrum-to-Signal
可验证推理
后训练
小语言模型
首个面向知识与推理密集型视频理解的大规模训练语料库,通过技能导向的QA生成框架和严格质量控制,显著提升模型在知识密集型视频推理任务上的表现
Lin Fu, Zheyuan Yang, Yang Wang, Tingyu Song, Arman Cohan, Yilun Zhao
2026-06-05
后训练
多模态学习
数据集构建
知识密集推理
视频理解
以欠优化区域挖掘与CPT-SFT-RL渐进训练把0.9B文档解析模型推至新SOTA。
Zelun Zhang, Hongen Liu, Suyin Liang, Yubo Zhang, Yiqing Xiang, Jiaxuan Liu,...
2026-06-03
GRPO
OCR
PaddleOCR
后训练
强化学习
通过协同进化策略与解码器解决离散AR T2I模型中的潜在协变量偏移问题
Siyong Jian, Siyuan Li, Luyuan Zhang, Zedong Wang, Xin Jin, Ying Li, Cheng...
2026-05-25
VQ-VAE
后训练
强化学习
文本到图像生成
自回归模型
把视觉感知、文本推理、视觉推理拆成三个独立阶段做后训练,VLM 的视觉推理准确率涨、推理链还变短了。
Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu,...
2026-05-25
GRPO
后训练
强化学习
视觉感知
视觉语言模型
双重潜在对齐框架,解决统一多模态模型理解与生成不一致问题。
Yinyi Luo, Wenwen Wang, Hayes Bai, Marios Savvides, Jindong Wang
2026-05-25
一致性优化
偏好优化
后训练
潜在空间对齐
统一多模态模型
在统一隐空间交错文本推理与音视频潜状态,突破CoT文本瓶颈
Yifan Dai, Zhenhua Wu, Bohan Zeng, Daili Hua, Jialing Liu, Bozhou Li, Yuran...
2026-05-22
全模态
后训练
多模态推理
思维链
隐空间推理
用 9 类任务、9 种奖励的 23K RLVR 数据集和 TMN-Reweight 多任务优化算法,让 30B 模型长上下文能力逼近 R1-0528。
Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen,...
2026-05-20
GRPO
RLVR
后训练
多任务学习
强化学习
把30B-A3B训成IMO/IPhO金牌级推理器:反向困惑度SFT+两级RL+TTS精炼。
Yafu Li, Runzhe Zhan, Haoran Zhang, Shunkai Zhang, Yizhuo Li, Zhilin Wang,...
2026-05-15
MoE
后训练
奥赛推理
强化学习
测试时扩展
OmniClean 去偏评测加 OmniBoost 三阶段后训练,3B 模型可比肩 30B
Che Liu, Lichao Ma, Xiangyu Tony Zhang, Yuxin Zhang, Haoyang Zhang, Xuerui...
2026-05-15
RLVR
全模态语言模型
后训练
自蒸馏
视觉去偏评测
提出「稀疏奖励给大教师、稠密信号传小部署模型」的分配原则,四阶段流程在 MATH 提升 3.4 点
Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard
2026-05-13
GRPO
后训练
奖励密度
强化学习
推理模型
解耦评分标准 RL 中验证器错误与评分标准设计缺陷两类奖励黑客,给出无需外部评审的自内化差距早停信号。
Anas Mahmoud, MohammadHossein Rezaei, Zihao Wang, Anisha Gunjal, Bing Liu,...
2026-05-13
LLM 评审
医疗 AI
后训练
奖励黑客
强化学习
UNO:在统一多模态模型中用理解任务反向监督生成表征
Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang
2026-05-11
后训练
图像生成
图像编辑
理解-生成协同
统一多模态模型
三阶段管线,用黑盒对抗式在线策略蒸馏修复 SFT 分布漂移
Sudong Wang, Weiquan Huang, Xiaomin Yu, Zuhao Yang, Hehai Lin, Keming Wu,...
2026-05-06
Mixture-of-Experts
分布对齐
后训练
在线策略蒸馏
多模态推理