为预填充与解码两阶段分别定制量化格式、权重与存储,低比特下速度精度兼得
Andrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi, Tijmen...
LLM推理优化
Prefill-Decode分离
低比特推理
推理系统
模型量化
把父子血缘做成运行时状态:跨父混批调度的同时保住按序重构、按父完成与失败隔离
Xiaochen Ma, Zimo Meng, Junzhu Liang, Youhe Jiang, Yue Cheng, Hao Liang,...
Ray
分布式系统
基础模型数据准备
数据流水线
数据血缘
训练时随机采样编码器层子集做融合,让解码器与生成器对层组合鲁棒,弥合重建-生成差距。
Hongyang Du, Yunfei Xie, Junjie Ye, Jiawei Yang, Xiaoyan Cong, Haodong...
DINOv3
层融合正则化
扩散Transformer
潜在扩散
表示自编码器
用键金字塔逐层LSE筛选,把块稀疏注意力的选择开销从O(N²/C)降到O(N log N)
Bohao Tang, Zhen Qin, Yuqi Pan, Zheng Li, Pengfei Liu
Triton内核
大语言模型
稀疏注意力
长上下文
高效注意力
让智能体从自身失败中合成工具,只有配对验证证明修复多于破坏时才采纳
Jie Yang, Yan Zheng, Jiarui Sun, Xiran Fan, Junpeng Wang, Liang Wang, Zelin...
LLM智能体
工具合成
时间序列问答
自进化智能体
配对评估
以20K+小时异构开放数据预训练世界动作模型,让视频预测表示直接转化为机器人动作能力
Xingyu Miao, Zizun Li, Baole Fang, Kaiwen Song, Tenghui Wang, Hanxue Zhang,...
4D几何蒸馏
Ego2Robot数据
世界动作模型(WAM)
机器人操作
流匹配
只对齐最后一层隐状态并在10步内淡出潜在监督,保住早期增益且避免训练坍塌。
Jie Yang, Zhengyu Fang, Zelin Xu, Jiarui Sun, Xiran Fan, Junpeng Wang, Liang...
可解释性
在线策略蒸馏
大语言模型
知识蒸馏
表示对齐
在触觉单元连接图上做双尺度掩码采样的JEPA式自监督预训练,为电子皮肤学到通用触觉表征
Elizaveta Kovtun, Matvey Konovalov, Andrey Sakhovskiy, Semen Budennyy
JEPA
机器人操作
电子皮肤
自监督学习
表征学习
用扩散去噪轨迹的分叉时刻当免费距离标签,免人工标注训练出更强感知质量度量
Jaihyun Lew, Mingi Jung, Minjun Park, Wooseok Song, Sungroh Yoon
图像质量评估
感知度量
扩散模型
排序学习
自动标注
基于2170个GitHub项目的实证分析,揭示Jev决策模型生态的爆发式增长与注意力错配
Guoming Ling, Muen Xue, Zijian Ye
决策模型
大模型应用生态
实证分析
软件工程挖掘
基于MMORPG沙盒的长程多智能体协作基准,用因果图指标CCE度量协作质量
Raphael Shu, Yusen Zhang, Young Min Cho, Jin Mo Yang, Yuan Yuan, Wenliang...
LLM智能体
因果分析
基准测试
多智能体协作
评估指标
以体素去重的持久 3D 场景表征,首次在 40GB 显存内实现千帧全点稠密 3D 跟踪
Ayush Jain, Sreeharsha Paruchuri, Ishita Gupta, Fan Zhang, Tanner Schmidt,...
3D点跟踪
体素去重
滑动窗口推理
稠密跟踪
计算机视觉
用国际象棋、德州扑克、狼人杀三类对局动态评测LLM策略能力
Bovard Doerschuk-Tiberi, Yao Yan, Justin Chiu, Hann Wang, Timothy Chung,...
LLM评测
博弈论
基准测试
多智能体
预训练扩散模型融合立体DSM与卫星影像,密集城区高程RMSE从6.00米降至3.45米
Antoine Lorentz, Stéphane May, Valentine Bellet, Dawa Derksen, Bastien Nespoulous
ControlNet
多模态条件化
扩散模型
数字表面模型
流匹配
0.131M参数的无解码器分割网络,五级编码器一次聚合,精度逼近大型模型
Andrei Arhire, Mihaela-Elena Breabăn, Radu Timofte
nnU-Net统一评测
医学图像分割
无解码器架构
轻量化网络
边缘部署
用候选动作的执行结果监督候选未来之间的关系学习,让潜在距离排序与决策成败对齐
Shuaijun Liu, Chengyu Wu, Qifu Wen, Feiyang You, Chenglong Zhang, Shuyang...
JEPA
世界模型
决策对齐
机器人操控
潜在规划
把工具段与总结段的优势组内归一化并分段路由,消除GRPO信用混淆
Yan Zhan, Shaobo Liu, Qiunan Liu, Yuanjun Shi, Siqi Xu, WeiYi Hou, Xiang Xu,...
GRPO改进
LLM智能体
信用分配
工具调用
强化学习
以代数稀疏化与双曲结构引导两种结构先验,缓解稀疏奖励下的长程推理偏差
Xinyue Zeng, Jiawei Zhang, Yujun Yan, Dawei Zhou
大语言模型
强化学习后训练
稀疏奖励
结构引导
长程推理
799个印度银行多轮案例四阶段评测11个模型,严格三次全过率仅43.7%-58.2%
Suvradip Paul, Chandra Bhushan, Harsh Sharma, Nitin Kukreja, Yatharth...
Agent工具调用
LLM-as-a-judge
LLM基准评测
可靠性分析
金融AI安全
将多教师蒸馏的提示级硬路由改为逐token路由,ExpertAlign按专业化对齐选教师。
Tianze Xu, Yanzhao Zheng, Zhentao Zhang, Yuanqiang Yu, Chao Ma, Jihuai Zhu,...
LLM后训练
在线策略蒸馏
多教师蒸馏
强化学习
教师路由
提出数据无关的净效用指标,跨层跨任务为 LoRA 合并智能分配秩预算
Avinash Amballa, Yashas Malur Saidutta, Wenbo Li, Lazar Valkov, Srinivas Chappidi
LoRA合并
参数高效微调
多任务学习
奇异值分解
模型合并
将个性化建模为分布残差,用3-token软提示插件化解风格指令引发的个性化坍缩
Yutong Song, Jiang Wu, Shaofan Yuan, Chengze Shen, Jian Wang, Yu Wang, Nikil...
LLM个性化
偏好优化
参数高效微调
可控文本生成
非对称协同自举算法与流式训练架构,让VLA经45.8分钟真实在线RL达98.3%高精度操作成功率
Chenyu Su, Zhaolong Shen, Yuan Qian, Chen Qian, Rui Zhang, Feng Yan, Weixing...
VLA
机器人后训练
真实世界在线强化学习
训练系统架构
高精度操作
优化人手模型匹配机器人形态并保留接触,经残差RL与蒸馏实现89.3%真机零样本成功率
Tara Sadjadpour, Siming He, C. K. Wolfe, Haozhi Qi, Lea Wilken, S. Shankar...
Sim-to-Real
人手动作重定向
强化学习
模仿学习
灵巧操作
利用softmax平移不变性在等价输出头中搜索量化后保真度最优的表示
Asim Kadav, Christian Flores, Chirag Arora, Varun Kotte, Hongbo Zheng, Lan...
后训练量化
大词表
推理加速
模型量化
输出头量化
首次实现循环语言模型的端到端连续深度批处理推理,把早退的理论加速兑现为99%的实际提升
Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis
循环语言模型
推理系统
早退机制
深度自适应推理
系统-架构协同设计
用簇级LoRA先验加用户向量的解码时奖励引导,实现免每用户微调的可扩展个性化生成
Yutong Song, Jiang Wu, Weijia Zhang, Chengze Shen, Shaofan Yuan, Weitao Lu,...
LoRA
个性化文本生成
偏好学习
参数高效微调
大语言模型
以 11 维假设清单和有界 LLM 流水线审计 DID 论文证据支持度,用缺陷注入评估
Yonghong Zhang, Yong Xie, Isabel M. Parra, Ricardo Correia
LLM 证据审计
可信人工智能
因果推断
差分中的差分
气候政策评估
把证据时间有效性、执行条件与运行行为一并审计的流式视频评测框架
Yibo Ma, Qianqian Zhang, Peng Liu, Tiancheng Zhao
主动响应
多模态大模型
时间标注审计
流式视频理解
评估方法学
用跨家族 LLM 裁判偏好标签对齐电商重排序器,并发布双格式 SHOPRANK-BENCH
Siqiao Xue, Shuxuan Liu, Ning Hu
LLM裁判
信息检索
偏好对齐
电商搜索
知识蒸馏
LLM抽取1.45亿代码文件的语义标签,三阶段锚定Wikidata,构建亿级代码知识图谱
Federico Pennino, Andrea Gurioli, Stefano Zacchiroli, Maurizio Gabbrielli,...
LLM标注
Wikidata
代码挖掘
实体链接
知识图谱
把字符间边界变为显式生成目标,让AI手写的连笔、字距、词距更像真人
Jinsu Shin, Sungeun Hong, JinYeong Bak
写者风格个性化
在线手写生成
自回归Transformer
评测指标设计
边界建模
固定词元只改段落坐标即可因果压缩注意力,而真实层级结构的签名是更深、随语料变化的压缩
Shuyang Xiang
Transformer注意力
位置编码
因果推断
层级文本结构
机制可解释性