RIDE在表征空间沿RL诱导残差外推蒸馏目标,让学生稳定超越RL教师
Hao Li, MeiJia Chen, Weijie Ren, Donghan Li, Zijun Tian, Jingchun Huang, Naibo Wang
在线策略蒸馏
大语言模型推理
强化学习
知识蒸馏
表征学习
自进化搜索代理中出题者与解题者共享错误形成共谋;源级交叉拟合反馈切断回路,七基准平均提升8.8点。
Meijia Chen, Hao Li, Zheng Lu, Hongshan Lin, Junbai Tian, Yichen Liu, Zijun...
LLM自博弈
交叉拟合
奖励黑客
强化学习
搜索代理
把模型对自己生成图像的批评当特权信息,用在线自蒸馏让生成能力在原始提示下自我提升。
Fang Wu, Da Xing, Yanjie Huang, Junxi Wang, Ji Wang, Hejia Geng, Guancheng...
在线策略自蒸馏
文生图
流匹配
统一多模态模型
自我进化
在动作执行前采样并验证多个候选命令,把测试时计算投向模型与框架边界
Minki Kang, Ryo Hachiuma, Shaokun Zhang, Subhashree Radhakrishnan, Yonggan...
动作验证
智能体
模型蒸馏
测试时计算扩展
终端智能体
双层协同进化解与搜索查询,知识缺口门控让LLM按需上网检索
Young-Jun Lee, Jinheon Baek, Soyeong Jeong, Minki Kang, Seungyeon Jwa,...
LLM智能体
科学发现
进化搜索
在可验证域构造长程反思轨迹训练27B模型,实现测试时自我改进并跨域迁移
Hongjin Qian, Chaofan Li, Kun Luo, Wenqing Wei, Jianlyu Chen, Shuqi Lu,...
数据合成
模仿学习
测试时扩展
自改进智能体
长程反思
让 Builder 从执行反馈学元技能,为权重冻结的 Target 现场构建更优执行环境。
Cheng Qian, Kunlun Zhu, Beibin Li, Zhenhailong Wang, Heng Ji
AI4AI
上下文工程
元技能学习
智能体线束设计
测试时自改进
探索-诊断-改进局部循环加全局质量监控实现游戏自主迭代开发,并将经验内化回模型。
Wenyi Wu, Minghao Fu, Jieyu You, Kun Zhou, Siqi Liu, Aayush Salvi, Yiheng...
LLM智能体
智能体验证
游戏生成
监督微调
递归自我改进
直接决策模型在序数任务上只用65–76%的有效候选等级,且该压缩可被BA-LoRA后训练大幅修复
Tianxiang Gao, Jinzhe Li, Zhiyuan Li, Yi Chang, Yuan Wu
LLM可靠性
参数高效微调
序数分类
模型偏差
评估审计
首个交互式3D世界审计基准:213个异常任务上最佳模型仅42.3%,远低于人类83.4%
Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, Tommi...
3D世界审计
VLM
具身智能
基准评测
多模态智能体
让多模态大模型在LLM内部想象出紧凑3D高斯场景再作答,空间推理大幅超越像素级几何注入
Jaewoo Jung, Hyeonseo Yu, Honggyu An, Jisang Han, Mungyeom Kim, Minkyeong...
3D场景理解
3D高斯泼溅
多模态大模型
知识蒸馏
空间推理
用共享参数的嵌套循环Transformer迭代精炼视觉语言状态,1B模型比肩数倍大的稠密VLM
Zhe Qian, Ziyang Gong, Zhongxing Xu, Hehan Li, Zhonghua Wang, Fei Luo,...
参数共享
可解释性
多模态推理
循环Transformer
视觉语言模型
用LLM隐层状态为OEIS五千万序列对排序,8小时验证出62条隐藏数学关系
Pavel Tikhonov, Elena Tutubalina, Ivan Oseledets, Dmitry I. Ignatov, Mikhail...
AI for Mathematics
LLM隐含知识
OEIS
假设发现与验证
可解释性
固定状态换目标重排动作偏好,激发预训练世界知识,实现未见环境的可迁移决策
Yuhan Guo, Jinming Liu, Liang Xu, Ziqiang Li, Jianguo Huang, Zhicheng Wang,...
LLM智能体
世界模型
偏好排序
后训练
泛化与迁移
用智能体化贝叶斯优化管理研究想法,AutoLab 十任务全面领先且最高提速 3.1 倍
Hyeong Kyu Choi, Bhavana Dalvi Mishra, Jiefeng Chen, Mihir Parmar, Rui Meng,...
AutoLab
LLM智能体
搜索与想法管理
自动化科研
贝叶斯优化
构建5万条智能体错误-诊断对,验证失败经验可转化为诊断与修复训练信号
Kunlun Zhu, Xuyan Ye, Yibo Li, Cheng Qian, Beibin Li, Heng Ji
LLM智能体
SFT
后训练
数据集
错误诊断
以单层线性投影直连像素与共享骨干,无编码器统一图像与视频的理解和生成
Cong Wei, Xuanchi Ren, Bryan Chu, Weiming Ren, Huan Ling, Jiahui Huang,...
Mixture-of-Transformers
像素空间生成
无编码器
流匹配
统一多模态模型
146个科学软件任务评测12个VLM智能体,最强模型平均仅得73.7%
Dingyuan Dai, Heli Qi, Lei Liu, Yinxi Li, Baiding Chen, Zijun Dou, Qingcheng...
GUI智能体
基准测试
智能体评估
科学软件
视觉语言模型
冻结语义分支加无约束像素分支双流编码,32×压缩下重建更精、扩散收敛更快
Xu Huang, Ye Huang, Zijun Liao, Yuwei Niu, Xiaojie Li, Menghan Zhou, De Wen...
图像生成
扩散模型
文本生成图像
自编码器
视觉分词器
用答案对比定位监督位置、视觉对比定义监督内容,让潜在视觉推理真正扎根图像证据
Xi Xiao, Tianchen Zhao, Youngeun Kim, Zhuowei Li, Linghan Xu, Jiaye Wu,...
GRPO
可解释性分析
多模态大模型
强化学习
潜在视觉推理
首个为动态场景渲染完整RAD张量的雷达新视角合成方法,用固定PSF解耦场景与传感器。
Merav Keidar, Tomer Borreda, Rajalakshmi Nandakumar, Or Litany
动态场景重建
多普勒渲染
神经场景表示
自动驾驶仿真
雷达新视角合成
只编辑线性奖励头,按数据集自适应挑选属性修正,免重训降低奖励模型偏差。
Shuang Liu, Yongliang Miao, Yanguang Liu, Haoyi Xiong, Mengnan Du
RLHF
偏差缓解
可解释表示
奖励模型
模型编辑
用测试时自进化的多智能体加剧集级持久记忆,在15个语向字幕翻译上全面登顶。
Haibo Jin, Xinjie Li, Najmeh Sadoughi, Yang Liu, Yibo Wang, Zhu Liu, Yuzong Liu
LLM评测基准
多智能体系统
字幕翻译
提示词优化
机器翻译
将MDM解掩码策略分解为五轴决策空间,证明自适应机会集中且稀少,选择性适应优于全局适应
Injin Kong, Sunghwan Choi, Yohan Jo
实证分析
推理时自适应
掩码扩散语言模型
解码策略
选择性决策
无关图像的存在使VLM评审约16-20%的标注改变,但标签并不跟随图像内容
Nagham Omar, Mahmoud Jabarin, Kinan Ibraheem, Lotem Peled-Cohen
LLM-as-a-Judge
VLM评审
习语理解
基准构建
评测鲁棒性
提出 Box2-Bench 度量选择性依赖,并仅用坏工作流训练出能抵制误导引导的模型
Minghan Wang, Boyuan Wang, Jinhang Zuo, Yuxin Tao, Fang kong
反事实微调
基准构建
多智能体
大语言模型
强化学习
六域评测显示 Astra 善决策而弱控制:导航领先、混合操作强,直接灵巧控制与步态生成不可靠
Galbot Team, Xuchuan Chen, Xiaoqian Cheng, Yu Deng, Lihe Ding, Shaocong...
VLA模型
人形机器人
具身智能
大模型评测
导航
仅凭运动学数据重建地形,训练单一肌肉驱动策略掌握斜坡、楼梯与座椅上的全身运动
Merkourios Simos, Chengkun Li, Bianca Ziliotto, Alexander Mathis
地形重建
强化学习
生物力学
肌骨骼控制
运动重定向
自进化的多智能体搜索自动重写智能体 harness,三大基准全面刷新 SoTA
Prithwish Jana, Mononito Goswami, Hao Liu, Xinyu Li, Langlin Huang, Zhehui...
LLM智能体
元进化
多智能体系统
多目标优化
自动化框架发现
首个联合建模循环与稀疏的有界缩放定律,指导循环MoE架构设计
Yanbei Chen, Anirudh Goyal, Raghuraman Krishnamoorthi
参数效率
循环 Transformer
测试时扩展
混合专家 MoE
缩放定律
在关键错误处施加预防性蒸馏、在其后施加恢复性蒸馏,让多轮智能体学会避免并从关键错误中恢复。
Yinghui He, Yapei Chang, Khushi Bhardwaj, Daniele Molinari, Tugrul Konuk,...
LLM Agent
在线策略蒸馏
多轮智能体
强化学习
知识蒸馏
RL 在 VLA 的 Timestep 模块留下低秩更新,shift 方向可预测成败并可引导提分
Minjae Oh, Yoonah Park, Jongwon Lim, Yohan Jo
VLA
参数效率
可解释性
强化学习
机器人操作
首个让智能体边操作运行软件边改代码、并用确定性测试验证修复的四域基准
Prince Zizhuang Wang, Chenhao Liang, Zelong Xu, Aojie Yuan, Xiaolin Zhou,...
可验证奖励
基准评测
多模态智能体
计算机使用智能体
软件工程智能体
以100份长篇GDD构建冻结的依赖感知契约,三轴联动评测并改进编码代理的设计忠实度
Seonho Lee, Wonryeol Jeong, Alberto Cereser, Inha Kang, Hyeonjong Kim,...
LLM-as-a-Judge
LLM智能体
基准评测
游戏开发
规格遵循
让MLLM在视频生成前显式思考,把隐式指令推理转化为可靠的编辑条件信号
Donghao Zhou, Haoyang He, Fan Zhang, Hao Yang, Guisheng Liu, Xin Gao,...
多模态大模型
扩散Transformer
指令引导视频编辑
推理时缩放
显式推理
用二阶统计为键值各造一个可逆变换,把2-bit KV缓存质量拉回接近全精度
Jiale Chen, Vage Egiazarian, Eldar Kurtić, Torsten Hoefler, Dan Alistarh
KV缓存量化
SGLang
大模型推理
量化变换
长上下文
把IndexTTS2蒸馏成掩码非自回归架构,免转录克隆且提速10倍以上
Jian Chen, You Zhang, Mark Vinton
掩码预测
流匹配
知识蒸馏
语音合成
零样本声音克隆
冻结VLM,协同进化高层策略与媒体工具,让超长视频定位更准且更省
Yiduo Jia, Muzhi Zhu, Jinchuan Shi, Hao Zhong, Yuling Xi, Ke Liu, Hao Chen
工具合成
提示工程
时序定位
智能体自进化
视觉语言模型
把自演化的结构化物理语言作为统一表示,贯穿数据、训练与推理,让开源视频模型超越 Veo 3.1
Liming Lu, Xianzheng Ma, Wenkun He, Guanqi Zhan, Yilin Zhao, Junyu Chen,...
数据引擎
智能体自演化
物理合理性
视频世界模型
视频生成
世界模型想象执行并诊断首个失败子任务,把稀缺示教定向投给对应的技能专家
Jiajun Liu, Yifan Chen, Yichao Liu, Jiayi Zhang, Ruoqu Chen, Shaoxuan Xie,...
VLA
世界模型
主动模仿学习
机器人学习
模块化策略
合成预预训练收益持续到7B参数与100B token,但机制是长程检索而非语法先验
Atsuki Yamaguchi, Tatsuro Inaba, Joel Niklaus, Michal Štefánik, Aline...
可解释性
合成数据
实证研究
规模缩放
预训练
以五维记忆框架统一解析注意力演进,发现混合架构与跨层复用正成为主流
Zhentao Tan, Jingyi Shen, Yanbo Li, Yao Liu, Yue Wu, Jieping Ye
KV缓存
注意力机制
混合架构
状态空间模型
稀疏注意力
定向自蒸馏训练小型顾问模型,为冻结前沿LLM提供有效建议
Rishabh Agrawal, Hejie Cui, Shasha Li, Shanchan Wu, Sercan Ö. Arık
GRPO
LLM智能体
工具调用
理论分析
自蒸馏
冻结的智能体保不住安全:训练或投毒潜空间通信链接即可越狱,反向奖励又能修复
Muhammad Huzaifa, Sina Mavali, Thorsten Eisenhofer
LLM安全
多智能体系统
安全对齐
对抗攻击
潜空间通信
揭示批内高相似性是流式自监督学习瓶颈,StreamMAE以运动感知管线解决
Ivan Martinović, Lukas Knobel, Yuki M. Asano
MAE
流式学习
自监督学习
表征学习
视频理解
用16个可解释探针的概率语义状态表征查询,再学习候选模型性能并按目标路由
Vasilis Perifanis, Nikolaos Pavlidis, Symeon Symeonidis
LLM路由
可解释性
成本感知
概率表征
模型选择
按师生对错四种组合重设蒸馏反馈:学生结果定方向,联合结果定教师用法
Ao Yu, Weibo Gao, Heng Zhou, Linan Yue, Rui Li, Suyi Liu, Yu Yan, Yizhong...
LLM训练
可验证奖励
在线策略蒸馏
多任务学习
用项目反应理论把量规判定聚合成奖励,区分同分模式并自适应减少评判调用
Milad Yazdani, Yaser Souri, Xiren Zhou, Pranit Chawla, Dena Shahriari,...
GRPO
LLM-as-Judge
RLHF
强化学习
自适应测试
混合检索配列表式智能体审查,把CVE精准定位到修复提交,R@1领先点式基线25.34个百分点
Guanqun Yang, Yingming Zhou, Jiangrui Zheng, Shudong Hao, Xueqing Liu
LLM智能体
信息检索
列表式排序
补丁检索
软件安全
用表意文字描述序列构造部件级细粒度奖励,提升文生图模型中文汉字渲染的结构准确性
Yazhen Xie, Xingsong Ye, Zhineng Chen
GRPO
OCR奖励
中文文本渲染
强化学习
文生图
自动把社区技能改造成可验证训练环境,SFT 后 9B 模型在两项基准上超过 397B 模型
Renxi Wang, Mingshan Hee, Fajri Koto, Timothy Baldwin, Haonan Li
LLM智能体
可验证奖励
技能使用
数据合成
环境生成
把自蒸馏监督转移到教师可被模仿的已验证轨迹上,收益不再随模型规模衰减
Md. Ismail Hossain, Humaira Kousar, Isidora Chara Tourni
LLM推理
可验证奖励
知识蒸馏
自蒸馏
训练效率
零LLM成本的两阶段检索器追平LLM循环检索,单试花费$51.30降至$27.54
Guanqun Yang, Wenlong Zhang, Tian Shi, Ping Wang
MCP
两阶段检索
信息检索
成本效益分析
智能体技能检索
用1v1竞技游戏自博弈发现少量语义分明、人类按键即可操控的机器人技能
Seungeun Rho, Jeonghwan Kim, Xue Bin Peng, Sehoon Ha
层次强化学习
强化学习
技能发现
机器人控制
自博弈
发现Direct-OPD的log-ratio奖励对概率质量失明,按JSD仅保留10%状态反而更稳更强。
Yibo Zhao, Zixuan Yang, Yunshi Lan, Xiang Li
Jensen-Shannon散度
在线策略蒸馏
弱到强迁移
强化学习
选择性监督
逐批生长的增量 DAG 规划替代先规划后修补,并利用 DAG 拓扑设计结构化 RL 信用分配。
Hanwen Liu, Yuanfu Sun, Qiaoyu Tan
DAG 规划
GRPO
信用分配
多智能体系统
强化学习
LSD把已解题组路由到EMA自教师做在线蒸馏,消除冗余长度且精度不降反升
Xu Wan, Wenyue Xu, Shengjie Zhao, Mingyang Sun
在线蒸馏
大语言模型
强化学习
推理效率
长度控制
共享主机的同步数据并行运行时,让全参数LLM微调在显存之外的多GPU上高效扩展
Ruijia Yang, Shiyuan Lin, Yulong Ao, Zhiyu Li, Yingli Zhao, Xianduo Li,...
LLM微调
分布式训练
异构计算
数据并行
显存卸载
系统提示词中被悄悄注入的当天日期会让 LLM 评测分数逐日漂移,幅度超过批大小等已知因素。
Mario Sanz-Guerrero, Minh Duc Bui, Manuel Mager, Katharina von der Wense
LLM评测
可复现性
基准测试
提示敏感性
非确定性