单条样本即可逼近全量数据在线蒸馏收益:OPD 数据过剩而算法饥饿
Zixuan Fu, Bingxiang He, Yuxin Zuo, Haohuan Huang, Jinqian Zhang, Ruhang...
LLM后训练
在线蒸馏
数据效率
知识蒸馏
训练动力学
把已积累的智能体轨迹回放重建为可执行环境,再合成可验证任务用于后训练。
Jie Wu, Zhenru Zhang, Beichen Zhang, Xuwu Wang, Yuhui Su, Mouxiang Chen,...
数据合成
智能体训练
环境合成
监督微调
终端代码智能体
保留提示词、按头随机驱逐的免评分KV缓存压缩,精度追平最强基线且吞吐高32–43%。
Heng Wang, Jielin Qiu, Wenting Zhao, Cheng Qian, Liangwei Yang, Jiawei Han,...
KV缓存
LLM服务
长思维链
高效推理
98%真实数据从头训练6B扩散Transformer,登顶开源SOTA并蒸馏至2-4步推理
Chuyan Chen, Haoxing Chen, Kun Chen, Zhenglin Cheng, Long Cui, Ruishan Fang,...
dLLM
图像编辑
少步蒸馏
开源配方
扩散Transformer
教师模型合成数据微调LoRA,把自然语言规范编译成本地可复用的神经函数
Yuntian Deng, Pengyu Nie, Stuart Shieber
LLM系统
LoRA
人机系统
知识蒸馏
程序合成
以物理-几何-外观三种原生世界状态统一相机感知、自由视角仿真与3D世界生成重建
Kang Liao, Yihang Luo, Xiao-Ming Wu, Linyi Jin, Size Wu, Chunyu Lin, Yao...
3D生成与重建
世界模型
可控生成
相机物理感知
统一多模态模型
冻结骨干注入约1%参数的查询token,配合在线位姿图优化,实现公里级在线3D重建
Chin-Yang Lin, Yang-Che Sun, Cheng Sun, Fu-En Yang, Min-Hung Chen, Yen-Yu...
SLAM
位姿图优化
在线3D重建
提示微调
相对位姿估计
众包3456条人工审核的难译样例,配套验证规则让翻译评测可复现,最强模型仅通过42%
Vilém Zouhar, Niyati Bafna, Mukund Choudhary, Maike Züfle, Sara Rajaee,...
LLM-as-a-judge
众包数据集
基准评测
多模态翻译
机器翻译
用小型适配器把长上下文写成连续软令牌,让冻结LLM直接读取,无需重建文本。
Zhengze Zhou, Hejian Sang
LLM推理效率
上下文压缩
对话记忆
软令牌
长上下文
提出BCIT方法,在复用历史训练经验前先校验其是否适用于当前模型状态。
Tingyun Li, Wenfeng Feng, Weiqing Li, Abudukelimu Wuerkaixi, Guohua Liu, Yuewei Zhang
LLM Agent
算力分配
经验迁移
自主后训练
训练决策控制
首次把混合架构LLM的循环层全部压到4比特:精度无损、模型最小,并从机制上解释为何可行
Sergii Kozyrev, Davyd Maiboroda
KV缓存
NVFP4
模型量化
混合架构LLM
线性注意力
无需验证器:动态量规评分,轨迹优势按步闭式重分配,长程智能体RL训练超越真值奖励基线
Shubham Gandhi, Saurabh Goyal, Kiran Kate, Yara Rizk
GRPO
LLM智能体
信用分配
奖励设计
强化学习
把检索到的历史证据内化为可演化的紧凑潜在记忆,指导流式视频推理
Hongyu Qu, Guangming Yao, Ling Xing, Xiaobin Hu, Rongxing Ding, Guibin...
多模态大语言模型
流式视频理解
测试时优化
潜在记忆
记忆管理
将SWE-Bench任务改写成真实用户风格,揭示榜单成绩高估智能体实战6.4个百分点。
Gyuhyeong Kim, Hyojung Gwon, Jeonghyeon Kim, Kyuhong Shim, Sunjae Lee
LLM评估
SWE-Bench
代码智能体
基准评测
提示与沟通
把脚本时间戳路由进音视频交叉注意力,镜头边界误差降96%
Yichen Liu, Quanwei Zhang, Haozhe Wang, Donghao Zhou, Xiaojie Li, Yang Shi,...
交叉注意力偏置
可控生成
扩散Transformer
时间对齐
脚本驱动
用VLM分块推理统一评估世界模型的动作执行与视觉质量,并可作RL后训练奖励
Yibin Wang, Zehan Wang, Junshu Tang, Zhimin Li, Yujie Zhou, Jiazi Bu,...
VLM-as-Judge
世界模型
偏好数据构建
奖励模型
强化学习后训练
用五级合成数据与Rank-KL蒸馏,把重排序器的组合判断迁移进嵌入空间
Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Chu Liu, Pengjun Xie,...
多模态检索
嵌入模型
知识蒸馏
组合推理
重排序
用躯干坐标系下的3D手部轨迹嵌入,从网络视频中检索人类示范指导灵巧手训练。
Howard Qian, Yiting Chen, Yunfei Xie, Kejia Ren, Podshara Chanrungmaneekul,...
DTW
度量学习
强化学习
数据引擎
机器人学习
提出PACE基准与PACEMAKER框架,从个人知识库中挖掘让合理请求变得不宜执行的隐性冲突。
Yoojin Kim, Jihyoung Jang, Hyounghun Kim
个性化助手
冲突感知推理
基准数据集
多智能体框架
检索增强生成
离线逐代演化环境难度并按谱系调度训练,Terminal-Bench 最高提升18个百分点
Zhiyuan Fan, Tinghao Yu, Yuanjun Cai, Jiang Zhou, Jiangtao Guan, Jincheng...
RL环境合成
强化学习
环境设计
终端智能体
课程学习
RETA 稳定相机控制 + MeanFlow + 在线蒸馏,4 步采样秒级完成视频重摄
Byeongjun Park, Byung-Hoon Kim, Hyungjin Chung
MeanFlow
少步蒸馏
生成式渲染
相机控制
视频生成
把扎根理论自动化为多智能体流水线,从智能体轨迹归纳行为模式并验证理论饱和
Zhuoran Lu, Yangyang Yu, Zhuoyan Li, Yibo Meng, Nan Jiang, Chengxi Zang, Jie...
LLM智能体
多智能体系统
失败检测
定性编码
扎根理论
规划先于观测的可审计物理验证智能体,为生成视频每条判定保留可追溯证据链
Wenzhuo Xu, Yuchen Zhu, Chongjian Ge, Xuan Shen, Jing Shi, Jason Kuen,...
世界模型
仿真驱动生成
可审计证据链
智能体系统
物理一致性
以成对物体必须满足的物理不变量检验视频模型是否真正理解物理
Varun Varma Thozhiyoor, Shivam Tripathi, Venkatesh Babu Radhakrishnan, Anand Bhattad
VLM评测
世界模型
基准
物理一致性
视频生成评测
RLVR的多样性坍缩集中在解题入口:模型不再发起替代解法,但给定入口仍能顺利执行
Qiancheng Zhou, Ruizhe Li
RLVR
可验证奖励
推理多样性
机制分析
测试时扩展
CORD 在校准器拟合后修复概率向量,实现零预测改变的同时降低 ECE、NLL 和 Brier。
Daehwan Kim, Haejun Chung, Ikbeom Jang
不确定性量化
后处理方法
图像分类
模型校准
预测保持
提出OVMI度量,按词表覆盖率加权解码信息,让异构语音BCI可在同一尺度比较
Dulhan Jayalath, Benjamin Ballyk, Oiwi Parker Jones
信息论
脑机接口
评估指标
词表选择
语音解码
受控实验分离帧选择、空间压缩与预算再投资三种决策,证明查询相关帧选择是最大增益杠杆。
Prakhar Khatri
关键帧选择
受控实验
多模态大模型
视觉令牌分配
评估方法学
把SGD训练建模为对称性诱导的渗流过程,参数坍缩表现为离散标度不变的方差尖峰级联
Sai Niranjan Ramachandran, Suvrit Sra
Adam
Grokking
优化动力学
渗流理论
离散标度不变性
在MaskDINO上引入查询级分解重组与去噪查询对比对齐,实现显微镜重叠细胞的去重叠分割
Yaroslav Prytula, Anton Popov, Dmytro Fishman
实例分割
对比学习
显微图像
查询式分割
生物医学图像