Lighthouse:训练期对称Q/K/V金字塔+Top-K,续训恢复全注意力
Bowen Peng, Subho Ghosh, Jeffrey Quesnelle
2026-05-15
Transformer
稀疏注意力
系统优化
长上下文
高效训练
LC-MAPF:3M参数Transformer+多轮局部消息传递,无通信监督的新SOTA
Valeriy Vyaltsev, Alsu Sagirova, Anton Andreychuk, Oleg Bulichev, Yuri...
2026-05-15
Transformer
去中心化学习
可学习通信
多智能体强化学习
多智能体路径规划
在Retinexformer上引入深度、亮度、语义三模态跨注意力融合以提升低光增强。
Youssef Aboelwafa, Hicham G. Elmongui, Marwan Torki
2026-05-14
Retinexformer
Transformer
低光图像增强
多模态融合
深度估计
首个面向点云的物体级Transformer刚体仿真器,速度比HopNet快101倍
Zhiyang Dou, Minghao Guo, Haixu Wu, Doug Roble, Tuur Stuyck, Wojciech Matusik
2026-05-12
Transformer
刚体动力学
无网格学习
点云仿真
神经模拟器
首个能从一般视角广播视频中端到端重建乒乓球 140+ 小时 3D 轨迹、旋转与人体网格的大规模数据集,核心是把 2D 分段留在 3D 提升之后。
Nima Rahmanian, Daniel Kienzle, Thomas Gossard, Dvij Kalaria, Rainer...
2026-05-07
3D 重建
Transformer
数据集
机器人学习
物理仿真
用可微高斯溅射替代硬投影,从理论上消除跨模态熵坍缩,让稀疏点云真正吃进图像先验。
Zhaoyang Li, Zhichao You, Tianrui Li
2026-05-06
Transformer
可微渲染
多模态学习
点云补全
自驾感知
R-CLA 训练时随机丢弃层缓存,使单一模型自适应多种深度共享策略。
Anastasiia Filippova, David Grangier, Marco Cuturi, João Monteiro
2026-04-28
KV缓存优化
LLM推理
Transformer
推理效率
深度方向共享
用递归复用共享层替代堆叠参数,开辟CTR预测的循环缩放新范式。
Jiakai Tang, Runfeng Zhang, Weiqiu Wang, Yifei Liu, Chuan Wang, Xu Chen,...
2026-04-22
CTR预测
MoE
Transformer
工业界
循环网络
用几何上下文注意力实现长视频实时三维重建,效率与精度双超SOTA
Lin-Zhuo Chen, Jian Gao, Yihang Chen, Ka Leong Cheng, Yipengjing Sun,...
2026-04-16
3D重建
SLAM
Transformer
流式处理
视觉里程计
用动力学系统稳定循环Transformer,并建立可预测的循环标度律。
Hayden Prairie, Zachary Novack, Taylor Berg-Kirkpatrick, Daniel Y. Fu
2026-04-15
Transformer
动力学系统
循环架构
标度律
训练稳定性
用语音驱动情绪,跨模态学习语义向量差生成未见过的情绪表情
Chanhyuk Choi, Taesoo Kim, Donggyu Lee, Siyeol Jung, Taehwan Kim
2026-04-13
Transformer
对比学习
情绪编辑
说话人脸生成
跨模态学习
2D 自然图像自编码器把 fMRI 体压为 27 token,支持 256 帧长程建模。
Peter Yongho Kim, Juhyeon Park, Jungwoo Park, Jubin Choi, Jungwoo Seo, Jiook...
2026-04-08
Transformer
fMRI
脑影像
自监督学习
表征学习
使用自回归Transformer逐点生成3D高斯点云,实现从单张图像生成可驱动的4D头像
Hongyu Liu, Xuan Wang, Yating Wang, Zijian Wu, Ziyu Wan, Yue Ma, Runtao Liu,...
2026-04-07
3D重建
Transformer
头像动画
自回归生成
高斯Splatting
基于Transformer的自回归3D高斯场景生成方法,支持无条件生成、补全和大场景合成
Nicolas von Lützow, Barbara Rössle, Katharina Schmid, Matthias Nießner
2026-04-02
3D生成
Gaussian Splatting
Transformer
场景合成
自回归模型
提出分层多尺度补丁transformer架构,将计算成本降低50%同时保持高质量生成
Quan Dao, Dimitris Metaxas
2026-04-01
Transformer
多尺度建模
扩散模型
流匹配
高效生成
基于闪烁的周期性和方向性特性,提出 Flickerformer 框架,实现高质量的突发图像闪烁移除
Lishen Qu, Shihao Zhou, Jie Liang, Hui Zeng, Lei Zhang, Jufeng Yang
2026-04-01
Transformer
图像修复
小波变换
相位相关
突发摄影
提出轻量级Plain Mask Decoder实现冻结VFM的高效图像视频分割
Niccolò Cavagnero, Narges Norouzi, Gijs Dubbelman, Daan de Geus
2026-03-27
Transformer
Vision Foundation Models
图像分割
视频分割
计算机视觉
通过3D感知特征预训练实现高质量实时新视角合成,无需显式3D重建
Stanislaw Szymanowicz, Minghao Chen, Jianyuan Wang, Christian Rupprecht,...
2026-03-26
3D感知
Transformer
实时渲染
新视角合成
预训练
通过动态混合精度量化与时间增量缓存,实现视频DiT 1.92倍加速和3.32倍内存缩减
Rundong Su, Jintao Zhang, Zhihang Yuan, Haojie Duanmu, Jianfei Chen, Jun Zhu
2026-03-26
Transformer
扩散模型
模型量化
视频生成
高效推理
首个端到端多视图3D重建,同时重建几何、PBR材质和HDR环境光,速度小于1秒
Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P....
2026-03-23
3D重建
NeRF
Transformer
可重新照明
多视图