通过最小化编辑的数据修正和奖励二分类损失实现高效推理注入且避免灾难性遗忘
Wenye Lin, Kai Han
2026-03-04
后训练
大语言模型
推理优化
灾难性遗忘
知识蒸馏
将LLM的softmax分类器重新解释为能量模型,通过检测能量溢出来识别幻觉
Adrian Robert Minut, Hazem Dewidar, Iacopo Masi
2026-03-04
可解释AI
大语言模型
幻觉检测
无训练方法
能量模型
用智能体进化合成面向不规则并行数据的高性能代码,平均加速106倍
Liu Yang, Zeyu Nie, Andrew Liu, Felix Zou, Deniz Altinbüken, Amir...
2026-03-04
不规则算法
代码生成
图算法
大语言模型
并行计算
通过参考引导微调(ReGFT)合成模型自有推理轨迹,解决RL训练中的奖励稀疏问题
Yangzhen Wu, Shanda Li, Zixin Wen, Xin Zhou, Ameet Talwalkar, Yiming Yang,...
2026-03-03
大语言模型
奖励稀疏
强化学习
推理能力
数学推理
提出INSIGHT方法通过贝叶斯加权互信息优化RLVR训练数据选择
Xinyu Zhou, Boyu Zhu, Haotian Zhang, Huiming Wang, Zhijiang Guo
2026-03-03
RLVR
大语言模型
强化学习
数据选择
训练效率
提出基于置信度的递归推理框架,让模型自我修正提升精度
Byung-Kwan Lee, Youngchae Chee, Yong Man Ro
2026-03-03
大语言模型
强化学习
推理增强
自纠错
视觉语言模型
提出RLAD框架,通过信任区域比率蒸馏将教师指导嵌入GRPO更新,实现选择性模仿
Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo...
2026-03-02
GRPO
大语言模型
强化学习
推理增强
知识蒸馏
首个针对软件工程的上下文学习基准,定义四种上下文类型并评估其对代码生成、摘要、审查和补丁评估的影响
Haichuan Hu, Ye Shang, Guoqing Xie, Congqing He, Quanjun Zhang
2026-03-02
上下文学习
代码审查
代码摘要
代码生成
大语言模型
通过并行证据采集替代顺序推理,实现高效且泛化的长期智能体搜索
Qianben Chen, Tianrui Qin, King Zhu, Qiexiang Wang, Chengjun Yu, Shu Xu,...
2026-02-27
信息检索
大语言模型
并行推理
强化学习
智能体搜索
ACE通过非对称惩罚过自信错误,在不损失Pass@1的前提下显著扩展推理边界
Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang
2026-02-27
DAPO
GRPO
多样性保持
大语言模型
强化学习
首个将金融推荐从行为模仿转向效用对齐的多视角对话式纵向评估基准
Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan...
2026-02-25
基准测试
大语言模型
对话系统
推荐系统
逆优化
系统研究高效推理训练机制,通过数据、奖励和优化策略实现更短、更准确的推理链生成
Taiqiang Wu, Zenan Zu, Bo Zhou, Ngai Wong
2026-02-25
大语言模型
奖励塑形
强化学习
推理链优化
高效推理
提出反思式测试时规划框架,让具身LLM在部署时通过三种反思机制从失败中学习
Yining Hong, Huang Huang, Manling Li, Li Fei-Fei, Jiajun Wu, Yejin Choi
2026-02-25
具身智能
反思学习
大语言模型
强化学习
机器人规划
基于提示优化自动学习不同场景的隐私-效用权衡策略
Gabriel Loiseau, Damien Sileo, Damien Riquet, Maxime Meyer, Marc Tommasi
2026-02-25
大语言模型
差分隐私
提示优化
文本匿名化
隐私保护
通过算子级抢占和事件驱动调度解耦抢占粒度与调度频率,解决 LLM 服务中长请求导致的头部阻塞问题。
Chia-chi Hsieh, Zan Zong, Xinyang Chen, Jianjiang Li, Jidong Zhai, Lijie Wen
2026-02-25
SLO 优化
大语言模型
性能优化
服务架构
系统调度
用协同演化世界模型替代进化启发式,引导LLM进行GPU内核优化搜索
Shiyi Cao, Ziming Mao, Joseph E. Gonzalez, Ion Stoica
2026-02-24
CUDA
GPU内核优化
世界模型
代码生成
大语言模型
变分推导闭式重要性权重核,64×陈旧下稳定LLM训练
Guobin Shen, Chenxiao Zhao, Xiang Cheng, Lei Huang, Xing Yu
2026-02-23
大语言模型
强化学习
方差缩减
策略优化
重要性采样
提出统一优化框架解释所有解码策略,并设计新的Best-of-K采样器提升多样本生成质量
Xiaotong Ji, Rasul Tutunov, Matthieu Zimmer, Haitham Bou-Ammar
2026-02-23
优化理论
大语言模型
概率单纯形
解码策略
采样方法
提出 NAMO/NAMO-D 优化器,将 Adam 的噪声自适应机制融入 Muon 的正交化动量框架
Minxin Zhang, Yuxuan Liu, Hayden Schaeffer
2026-02-23
优化算法
动量方法
大语言模型
收敛理论
自适应学习率
LLM+GNN联合选择问题与受访者,在预算约束下高效推断群体属性
Ruomeng Ding, Tianwei Gao, Thomas P. Zollo, Eitan Bachmat, Richard Zemel, Zhun Deng
2026-02-23
信息增益
图神经网络
大语言模型
群体推断
自适应实验设计