小模型先推理再诊断知识瓶颈,按需分档求助强模型,4B低成本胜14B
Chanuk Lee, Minki Kang, Sangwoo Park, Woongyeong Yeo, Jinheon Baek, Sung Ju Hwang
2026-09-29
大语言模型
小模型
工具使用
强化学习
推理
把长程历史按KV头互补划分、集体覆盖全部因果历史,以稀疏成本逼近全注意力质量。
Jingze Shi, Zhangyang Peng, Xianduo Li, Yanlin Qi, Xiaotian Lin, Haoxian...
2026-09-29
大语言模型
注意力架构
稀疏注意力
长上下文
高效训练与推理
用键金字塔逐层LSE筛选,把块稀疏注意力的选择开销从O(N²/C)降到O(N log N)
Bohao Tang, Zhen Qin, Yuqi Pan, Zheng Li, Pengfei Liu
2026-09-28
Triton内核
大语言模型
稀疏注意力
长上下文
高效注意力
只对齐最后一层隐状态并在10步内淡出潜在监督,保住早期增益且避免训练坍塌。
Jie Yang, Zhengyu Fang, Zelin Xu, Jiarui Sun, Xiran Fan, Junpeng Wang, Liang...
2026-09-28
可解释性
在线策略蒸馏
大语言模型
知识蒸馏
表示对齐
以代数稀疏化与双曲结构引导两种结构先验,缓解稀疏奖励下的长程推理偏差
Xinyue Zeng, Jiawei Zhang, Yujun Yan, Dawei Zhou
2026-09-28
大语言模型
强化学习后训练
稀疏奖励
结构引导
长程推理
用簇级LoRA先验加用户向量的解码时奖励引导,实现免每用户微调的可扩展个性化生成
Yutong Song, Jiang Wu, Weijia Zhang, Chengze Shen, Shaofan Yuan, Weitao Lu,...
2026-09-28
LoRA
个性化文本生成
偏好学习
参数高效微调
大语言模型
腾讯混元开源 MoE 模型:800 亿总参仅激活 130 亿,性能对标更大模型
Tencent Hunyuan Team, Ao Liu, Botong Zhou, Can Xu, Chayse Zhou, ChenChen...
2026-09-24
Agent
大语言模型
强化学习
推理效率
混合专家 MoE
用熵触发+记忆化树搜索替代无记忆温度采样,同预算精度更高且快3倍
Oleksii Streltsov, Oleksandra Vitko
2026-09-24
大语言模型
推理优化
搜索算法
测试时扩展
解码策略
提出心理健康LLM三阶段演进框架:信息工具、共情对话者到纵向个性化伴侣
He Hu, Yucheng Zhou, Qianning Wang, Yingjian Zou, Chiyuan Ma, Juzheng Si,...
2026-09-23
LLM智能体
大语言模型
心理健康
数据集与评测
综述
发现FP8强化学习全流程的过裁剪失稳根因,提出校准裁剪恢复BF16性能并提速1.5倍
Fanchao Chen, Ziheng Jiang, Ziyun Wei, Zheng Zhong, Du Li, Chi Zhang, Haibin...
2026-09-22
FP8量化
PPO/GRPO
低精度训练
大语言模型
强化学习
数据/函数/权重锚点与合并LoRA组合,将100任务留存率从1.2%提升至34.9%
Zheyuan Zhang, Alvin Zhang, Daniel Khashabi, Tianmin Shu
2026-09-16
LoRA
大语言模型
微调
持续学习
灾难性遗忘
QA-only专家训练隐式选择轨迹分布,蒸馏学生严格继承教师的特化—泛化画像
Yilei Tu, Zihao Li, Shaoxiong Ji, Jörg Tiedemann, Fei Yuan
2026-09-16
KL正则化
参数高效微调
大语言模型
推理轨迹
知识蒸馏
744B MoE 智能体模型以可验证经验流水线训练,并用 769 条任务记录剖析人机分工。
Honglin Guo, Tao Gui, Yicheng Chen, Guanting Dong, Qiming Ge, Yuyang Hu,...
2026-09-15
人机协作
可验证奖励
大语言模型
智能体
递归自我改进
只缓存分组值,把键的线性映射吸收进查询按需重构,KV缓存省45-47%而精度几乎持平
Vishesh Tripathi, Abhay Kumar, Ramsha Khan
2026-09-15
KV缓存压缩
大语言模型
注意力架构
解码加速
高效推理
将精度与效率专精模型的策略偏移离线组合进单个学生模型,同时提升准确率并减少推理token
Yecheng Wu, Song Han, Han Cai
2026-09-15
后训练
在线策略蒸馏
大语言模型
知识蒸馏
能力组合
用200名真实用户500天可穿戴数据出4084道10选1题,14个大模型最高仅72.9%
Ji Soo Lee, Xilun Chen, Pierce Chuang, Ashish Shenoy, Jason Wei, Dohwan Ko,...
2026-09-10
医疗健康AI
大语言模型
数据集构建
时间序列推理
评测基准
推理轨迹中段约20%是冗余的:SFT只保留首尾,效果反超完整轨迹训练
Jaehui Hwang, Sangdoo Yun, Byeongho Heo, Dongyoon Han
2026-09-10
SFT
大语言模型
强化学习
推理训练
数据质量
OPSD以自身加特权信息当教师,但不对称也扭曲信号,可用三个杠杆治理坍缩。
Justin Robert, Raheel Qader
2026-09-08
大语言模型
强化学习
推理
知识蒸馏
综述
提出OR-Clarify基准与InterOPT两阶段框架,让LLM建模前主动澄清关键缺口
Sihan Ge, Yichen Lin, Chenyu Zhou, Jianghao Lin, Tao Yao, Dongdong Ge
2026-09-07
交互式澄清
基准评测
大语言模型
智能体
运筹优化
训练查询侧与物品侧两个LLM关键词生成器,经交替GRPO强化学习协同进化,直接以倒排索引完成检索
Runpeng Dai, Kaili Huang, Changsung Kang, Ciya Liao
2026-09-03
GRPO
信息检索
大语言模型
强化学习
生成式检索