提出受人类睡眠启发的范式,让LLM通过知识蒸馏与做梦实现持续学习与自我改进。
Ali Behrouz, Farnoosh Hashemi, Vahab Mirrokni
2026-06-03
大语言模型
持续学习
知识蒸馏
自我改进
记忆巩固
AbaqusAgent用六个智能体+RAG把自然语言转成端到端有限元仿真。
Titu Ranjan Sarker, Muhammed Jawaad Zulqernine, Ling Yue, Shaowu Pan, Chenxi...
2026-06-03
AI智能体
Abaqus
RAG检索增强
固体力学
大语言模型
提出Draft-OPD,通过错误位置重放机制在验证时错误上训练draft模型,实现5倍以上无损加速
Haodi Lei, Yafy Li, Haoran Zhang, Shunkai Zhang, Qianjia Cheng, Xiaoye Qu,...
2026-06-02
大语言模型
投机解码
推理加速
模型蒸馏
ESPO通过提前终止失败轨迹节省20%+token并提升LLM推理性能
Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu,...
2026-06-02
大语言模型
强化学习
数学推理
策略优化
训练效率
通过KL信任区域引导早期rollout行为,提升策略蒸馏效果
Daniil Plyusov, Alexey Gorbatovski, Alexey Malakhov, Nikita Balagansky,...
2026-06-01
大语言模型
数学推理
知识蒸馏
策略学习
首个将数据无关的自我对弈扩展到开放式任务的框架,通过文档锚定的标准分解实现自我评估和持续自我改进
Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini
2026-06-01
大语言模型
开放式任务
强化学习
检索增强生成
自我对弈
提出token可教性概念,在线策略蒸馏中仅用5%监督token即可超越全量监督
Yuanyi Wang, Su Lu, Yanggan Gu, Pengkai Wang, Yifan Yang, Zhaoyi Yan,...
2026-06-01
在线策略学习
大语言模型
知识蒸馏
选择性蒸馏
构建首个AI科学家提案方法论合理性评估基准,揭示LLM存在系统乐观偏差
Sy-Tuyen Ho, Minghui Liu, Huy Nghiem, Furong Huang
2026-06-01
AI科学代理
基准测试
大语言模型
研究评估
将dLLMs的RL转化为去噪器自蒸馏,避免ELBO似然度替代的TIM偏差
Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong...
2026-06-01
大语言模型
强化学习
扩散语言模型
自蒸馏
首个能同时有效遗忘和保留因果知识的三阶段 LoRA 遗忘框架
Suryash Yagnik, Shubham Gaur, Saksham Thakur, Vinija Jain, Aman Chadha, Amitava Das
2026-06-01
LoRA 适配器
因果推理
大语言模型
机器遗忘
知识编辑
揭示了LoRA参数化记忆遵循幂律容量定律,p>0.5为确定性回忆阈值,提出MemFT优化方法提升记忆效率
Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang
2026-05-29
LoRA微调
参数化记忆
大语言模型
相变分析
记忆容量
研究云端大模型与边缘小模型协作的混合架构,揭示任务依赖的优化策略
Corrado Rainone, Davide Belli, Bence Major, Arash Behboodi
2026-05-29
云边协作
多智能体系统
大语言模型
混合AI
边缘计算
通过学习探测KV协方差的探针向量,将局部线性注意力可扩展地应用于大模型预训练
Yifei Zuo, Dhruv Pai, Zhichen Zeng, Alec Dewulf, Shuming Hu, Zhaoran Wang
2026-05-29
优化器交互
大语言模型
架构设计
注意力机制
通过工具调用重采样解决思考-行动差距,提升智能体推理能力
Minki Kang, Shizhe Diao, Ryo Hachiuma, Sung Ju Hwang, Pavlo Molchanov,...
2026-05-28
多模态学习
大语言模型
工具使用
强化学习
智能体推理
提出双向进化搜索框架,通过进化算子和目标分解突破现有搜索方法的限制,在自改进和推理中显著提升性能。
Guowei Xu, Zhenting Qi, Huangyuan Su, Weirui Ye, Himabindu Lakkaraju, Sham...
2026-05-28
双向搜索
大语言模型
搜索算法
自改进
进化计算
使用弱模型的错误轨迹作为训练信号,让强模型学会自我纠错
Caijun Xu, Changyi Xiao, Zhongyuan Peng, Yixin Cao
2026-05-28
大语言模型
弱到强学习
强化学习
推理模型
自我纠错
用信息瓶颈理论量化探索-利用平衡,通过IBTree提升在线强化学习效率和稳定性。
Hao Jiang, Shurui Li, Tianpeng Bu, Bowen Xu, Xin Liu, Qihua Chen, Hongtao...
2026-05-28
信息瓶颈
在线强化学习
大语言模型
数学推理
树搜索
系统评估混合推理LLM中三种思维模式切换策略在不同规模和任务领域的效率-有效性权衡
Yansong Ning, Mianpeng Liu, Jingwen Ye, Weidong Zhang, Hao Liu
2026-05-28
大语言模型
思维模式切换
效率优化
混合推理
自适应推理
揭示搜索代理依赖内在知识的IKD问题,提出LiveBrowseComp基准测试真实搜索能力
HuiMing Fan, Xiao Wang, Zheng Chu, Qianyu Wang, Zhuoyao Wang, Ming Liu, Bing...
2026-05-28
内在知识依赖
大语言模型
搜索代理
网络搜索
评估基准
限制蒸馏 rollout 到前 N 个 token,解决 OPD 的离策略教师衰减问题
Zhou Ziheng, Jiaqi Li, Huacong Tang, Ying Nian Wu, Demetri Terzopoulos
2026-05-28
在线策略蒸馏
大语言模型
模型压缩
知识蒸馏