提出 MV-Split 残差,把均值与中心化信号分开增益,稳住千层 DiT 训练。
Pengqi Lu
Transformer 训练稳定性
扩散模型
残差结构
深度学习理论
首个将OPD引入Flow Matching T2I的多任务对齐框架
Zhen Fang, Wenxuan Huang, Yu Zeng, Yiming Zhao, Shuang Chen, Kaituo Feng,...
Flow Matching
GRPO
On-Policy Distillation
Reinforcement Learning
Stable Diffusion 3.5
级联运动/外观专家+BiMamba-Transformer,3D中间表示刷新音乐驱动舞蹈视频SOTA
Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Puwei...
Mamba
姿态驱动动画
扩散模型
舞蹈生成
视频生成
AutoTTS 把 TTS 策略设计重构为控制器合成,5 轮发现即超越手工基线。
Tong Zheng, Haolin Liu, Chengsong Huang, Huiwen Bao, Sheng Zhang, Rui Liu,...
推理效率
智能体发现
测试时缩放
离线重放环境
自动算法设计
把 GRPO 族方法重写为对响应单纯形的显式目标投影,提出 LPO
Yun Qu, Qi Wang, Yixiu Mao, Heming Zou, Yuhang Jiang, Yingyue Li, Wutong Xu,...
GRPO 改进
LLM 后训练
RLVR
几何视角
策略优化
用单次并行「定位+检索」原子动作+双粒度RL,让多实体搜索又快又准。
Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu
GRPO
IMEB
On-Policy Distillation
基准测试
多模态搜索Agent
构建百万小时人类视频语料,验证替代机器人数据的可行性
Yufan Deng, Daquan Zhou
VLA模型
人体动作建模
具身智能
数据集
视频预训练
用语义化评分标准替代教师 logits 的黑箱在线蒸馏框架。
Junfeng Fang, Zhepei Hong, Mao Zheng, Mingyang Song, Gengsheng Li, Houcheng...
GRPO
LLM对齐
强化学习
知识蒸馏
评分标准奖励
把模态间隙重新解读为各向异性残差,用子空间+极坐标+先验校正做无配对模态对齐。
Xiaomin Yu, Yijiang Li, Yuhui Zhang, Hanzhen Zhao, Yue Yang, Hao Tang, Yue...
MLLM训练
几何诊断
各向异性
多模态学习
无配对对齐
把视觉DiT配方原封搬到语言建模,REPA塑造潜空间后比肩GPT-2
Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang,...
Diffusion Transformer
Flow Matching
REPA表示对齐
扩散语言模型
潜空间扩散
证明仿射SSM/线性注意力无法收缩状态子空间误差,主张误差控制而非表达力决定鲁棒性。
Jiwan Chung, Heechan Choi, Seon Joo Kim
循环神经网络
状态空间模型
状态追踪
理论分析
群作用
提出 COREB 多任务代码检索与重排序基准,并发布首个全任务正向增益的重排序器
Siqiao Xue, Zihan Liao, Jin Qin, Ziyin Zhang, Yixiang Mu, Fan Zhou, Hang Yu
Embedding
代码搜索
代码检索
基准评测
多任务学习
用响应级熵代理实现无监督信用分配与自适应探索-利用切换
Haotian Zhao, Songlin Zhou, Yuxin Zhang, Stephen S. -T. Yau, Wenyu Zhang,...
GRPO
LLM智能体
信用分配
强化学习
熵正则化
在 token 级稀疏选择,让任意 LLM 架构的 prefill 加速并集成 vLLM。
Qihang Fan, Huaibo Huang, Zhiying Wu, Bingning Wang, Ran He
LLM推理加速
Prefill优化
vLLM集成
动态稀疏化
混合架构
首个覆盖14领域50+环境的可控 AI Agent 红队测试平台与基准
Zhaorun Chen, Xun Liu, Haibo Tong, Chengquan Guo, Yuzhou Nie, Jiawei Zhang,...
AI 安全
Agent 评测
Prompt Injection
基准测试
多 Agent 系统
插入对角矩阵P,让单个LoRA适配器在所有子秩上同时学习层级特征。
Ionut-Vlad Modoranu, Mher Safaryan, Dan Alistarh
LLM微调
LoRA
参数高效微调
层级表示学习
秩自适应
让 VLM 在潜空间"想象"4D 动态以推理时空演化
Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xiang An, Bo Li, Xin Xie, ZiDong...
多模态大模型
强化学习
潜在推理
空间推理
视频理解
统一自蒸馏框架UniSD,五模块协同无需外部教师。
Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B....
Catastrophic Forgetting
Continual Learning
Knowledge Distillation
LLM Post-Training
On-Policy Learning
用强化学习微调嵌入器而非LLM,在10M tokens长上下文上实现SOTA多步检索。
Artyom Sorokin, Nazar Buzun, Alexander Anokhin, Oleg Inozemcev, Egor...
多步检索
嵌入器微调
强化学习
检索增强生成
长上下文
基于排行榜交互信号做模型推荐,零样本预测未见模型在未见数据集上的表现
Rui Cai, Weijie Jacky Mo, Xiaofei Wen, Qiyao Ma, Wenhui Zhu, Xiwen Chen,...
大模型生态
排序学习
模型推荐
矩阵补全
迁移性估计
用归一化流精确建模扩散反向条件,实现4步生成且保留似然
Jiatao Gu, Tianrong Chen, Ying Shen, David Berthelot, Shuangfei Zhai, Josh Susskind
少步生成
归一化流
扩散模型
文本到图像
生成模型
用智能体闭环+多模态记忆+分层自改进,把分钟级长视频一致性提升30%、叙事连贯性提升20%。
Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le
多模态记忆
扩散模型
智能体系统
测试时自改进
视频生成
用 Pretzel 架构把冻结 VLM 与自回归流在统一因果掩码下交织,实现真正统一的多模态生成。
Ying Shen, Tianrong Chen, Yuan Gao, Yizhe Zhang, Yuyang Wang, Miguel Ángel...
图像生成
归一化流
扩散模型替代
统一多模态模型
自回归Transformer
通过块扩散与自推测解码,把字节级语言模型的推理内存带宽最高砍掉九成。
Julie Kallini, Artidoro Pagnoni, Tomasz Limisiewicz, Gargi Ghosh, Luke...
字节级语言模型
扩散语言模型
推测解码
推理加速
无分词器
用MoE路由DSA索引器头,长上下文推理提速3.82×且精度持平
Ruijie Zhou, Fanxu Meng, Yufei Xu, Tongxuan Liu, Guangming Lu, Muhan Zhang,...
DSA索引器加速
推理优化
混合专家MoE
稀疏注意力
长上下文推理
提出BR-MoE双层路由MoE机制,把PTM-based类增量学习首次扩展到300+非重叠任务。
Meng Lou, Yunxiang Fu, Yizhou Yu
专家混合
参数高效微调
持续学习
类增量学习
长任务序列
用结构化规约贯穿生成流程,按承诺状态条件调用检索/推理/修复,解决图像生成的概念鸿沟。
Tianfei Ren, Zhipeng Yan, Yiming Zhao, Zhen Fang, Yu Zeng, Guohui Zhang,...
多模态大模型
技能编排
文生图
智能体系统
评测基准
140任务跨12领域评估AI能否发明可泛化可扩展的ML方法
Bohan Lyu, Yucheng Yang, Siqiao Huang, Jiaru Zhang, Qixin Xu, Xinghan Li,...
ML科学
可泛化性
方法发现
智能体基准
评估协议
提出先验对齐自编码器PAE,显式塑造扩散友好流形,三项正则协同提升生成质量与收敛。
Zhengrong Yue, Taihang Hu, Mengting Chen, Haiyu Zhang, Zihao Pan, Tao Liu,...
图像生成
流形学习
潜在扩散模型
自编码器
视觉基础模型
系统批判通用 AI 聊天机器人范式,主张其系统性侵蚀用户能动性与社会公平。
Sourojit Ghosh, Pranav Narayanan Venkit, Sanjana Gautam, Avijit Ghosh
AI 伦理学
FAccT
HCI
技术批判
用户能动性
构建跨12领域意图理解基准并验证主流LLM远不及人类,提出IFT微调方法提升30+F1。
Yuwei Yin, Chuyuan Li, Giuseppe Carenini
LLM基准
多领域评估
微调
意图理解
问答
借鉴编译器架构,提出四阶段流水线 SKCC,用强类型 IR 把 SKILL.md 升级为跨框架技能。
Yipeng Ouyang, Yi Xiao, Yuhao Gu, Xianwei Zhang
Anti-Skill Injection
LLM Agent
Prompt 工程
中间表示 IR
技能编译
首个把视觉证据当作搜索中枢而非终点来评测的多模态搜索基准。
Bohan Hou, Jiuning Gu, Jiayan Guo, Ronghao Dang, Sicong Leng, Xin Li,...
基准测试
多模态智能体
工具调用
智能体搜索
视觉-文本交错
用FFT类结构化矩阵与方差率损失,构建跨模态实时神经压缩编码器。
Dan Jacobellis, Neeraja J. Yadwadkar
多模态
实时编码
神经压缩
结构化矩阵
边缘部署
提出平衡多维奖励的RL框架,统一效用、正确性与流畅性
Shaokai Ye, Vasileios Saveris, Yihao Qian, Jiaming Hu, Elmira Amirloo, Peter Grasch
GRPO
图像描述
多模态大语言模型
奖励设计
强化学习
提出残差潜在动作RLA,在紧凑潜在空间中流匹配预测DINO特征动力学
Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias
世界模型
强化学习
机器人学习
流匹配
潜在动作
RL 只在 1-3% 高熵分叉点重排序,REASONMAXXER 无需 RL 即匹敌完整训练
Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna
LLM 推理
LoRA
决策点
对比微调
强化学习
UNO:在统一多模态模型中用理解任务反向监督生成表征
Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang
后训练
图像生成
图像编辑
理解-生成协同
统一多模态模型
提出存储-反思-经验三阶段演化框架,统一LLM智能体记忆机制的研究视角。
Jinghao Luo, Yuchen Tian, Chuxue Cao, Ziyang Luo, Hongzhan Lin, Kaixin Li,...
LLM Agent
持续学习
智能体架构
综述
认知科学
通过分块并行算法把逐步动量机制引入Delta线性注意力,在保持严格因果性的同时实现高效训练。
Yulong Huang, Xiang Liu, Hongxiang Huang, Xiaopeng Lin, Zunchang Liu,...
动量优化器
序列建模
状态空间模型
线性注意力
长上下文
块迭代草稿器结合层偏移和排序头,在降低草稿成本44-52%的同时提升推理速度8-13%
Weijie Shi, Qiang Xu, Fan Deng, Yaguang Wu, Jiarun Liu, Yehong Xu, Hao Chen,...
LLM推理加速
动态树构建
投机解码
服务时间自适应
利用扩散模型的masked位置预测实现高效多表示检索,超越传统单向量方法
Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon
信息检索
多表示检索
密集检索
扩散语言模型
稀疏检索
用稀疏自编码器在VLM中检测对抗攻击,无需额外对抗训练
Hao Wang, Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh, Daisuke Kawahara
对抗攻击
模型安全
特征可解释性
稀疏自编码器
视觉语言模型
通过advisor模型和相位自适应RL,改进进化搜索代理在昂贵评估场景下的策略适应能力
Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Shuo Chen,...
LLM代理
强化学习
测试时学习
算法发现
进化搜索
通过构造保标签曲面实证证明深度神经网络决策区域具有单连通性
Arjhun Swaminathan, Mete Akgün
决策区域
图像分类
对抗鲁棒性
拓扑学
深度学习
把AI智能体视为资本转劳动技术,推导出工资天花板 WH≤λ·k·rc
Siqi Zhu
AI经济学
CES生产函数
劳动经济学
政策分析
认知劳动
SPEED 让 prefill 只走前 K 层、decode 全层走,配 BoS 锚点降本。
Jungsuk Oh, Hyeseo Jeon, Hyunjune Ji, Kyongmin Kong, Jay-Yoon Lee
KV 缓存优化
Transformer 优化
推理加速
长上下文推理
高效推理
用分组排序与按需重采样,同时解决Text-to-SQL中功能不一致与有界召回两大瓶颈。
Hojae Han, Yeonseok Jeong, Seung-won Hwang, Zhewei Yao, Yuxiong He
LLM排序
Text-to-SQL
执行一致性
推理时扩展
重采样
用能量罗盘重塑离散流匹配的训练轨迹,让8步学生超越1024步教师
Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Manuel R. Ciosici,...
少步生成
知识蒸馏
离散扩散
离散流匹配
能量模型
基于JEPA的自监督框架,用多视图预测学习CGM表示,实现代谢疾病预测的跨模态一致性性能
Hada Melino Muhammad, Zechen Li, Flora Salim, Ahmed A. Metwally
JEPA
医疗AI
多视图学习
时间序列表示学习
自监督学习