视觉预训练比文本预训练更高效,用25%token预算提升科学推理性能
Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin,...
2026-07-13
基础模型
多模态学习
科学推理
自监督学习
视觉预训练
利用自监督语音模型的音韵特征向量,无需梯度下降即可实现音素分割和识别
Shikhar Bharadwaj, Kwanghee Choi, Stephen McIntosh, Chin-Jou Li, Eunjung...
2026-07-13
低资源学习
自监督学习
语音识别
音素分割
音韵学
395次实验揭示地球观测模型缩放规律,蒸馏出高效嵌入产品
Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, Mark Elvers,...
2026-07-09
MATRYOSHKA嵌入
地球观测
知识蒸馏
缩放定律
自监督学习
提出SiamJEPA,首次系统揭示JEPA中孪生学生编码器作为有效正则化器,提升表示质量并加速收敛。
Makoto Yamada
2026-07-08
JEPA
孪生编码器
自监督学习
表示学习
视觉Transformer
提出边界中心的自监督视觉预训练框架,通过强制掩码边界建模实现强空间理解能力
Zelin Fu, Bin Tan, Changjiang Sun, Shaohui Liu, Kecheng Zheng, Yinghao Xu,...
2026-07-07
密集预测
深度估计
自监督学习
视觉预训练
边界检测
提出DEPOOL基准,揭示时间聚合方法对backbone和随机种子的敏感性
Anisha Pattanayak, Huang-Cheng Chou, Shrikanth Narayanan, Sudarsana Reddy Kadiri
2026-07-07
基准研究
抑郁症检测
时间聚合
自监督学习
语音分析
通过说话者解耦的分块回归实现高质量音节标记化,提升语音语言模型性能
Ryota Komatsu, Kota Kawakita, Takuma Okamoto, Takahiro Shinozaki
2026-07-07
自监督学习
语音标记化
语音语言模型
说话者解耦
音节发现
用任务无关预训练解锁物理常识,减少VLA对专家数据的依赖
Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu
2026-07-03
VLA模型
具身AI
机器人学习
自监督学习
逆动力学
首个通过MAE在970万页IMSLP乐谱上预训练的ViT基础模型
Carlos Penarrubia, Antonio Rios-Vila, Eliseo Fuentes-Martinez, Juan C....
2026-07-01
乐谱识别
掩码图像建模
自监督学习
视觉Transformer
计算机视觉
首次系统性研究10种非语言声音的说话人识别,提出条件蒸馏和MoE架构解决领域失配问题
Tzu-Chieh Wei, Yi-Cheng Lin, Huang-Cheng Chou, Kuan-Yu Chen, Hsin-Yen Sung,...
2026-06-25
混合专家
知识蒸馏
自监督学习
说话人识别
非语言声音
区分工具型与内禀型系统,提出基于分层目标、演化身份和自调节的GIC架构
Eric Xing, Mingkai Deng, Jinyu Hou
2026-06-24
世界模型
分层规划
强化学习
智能体架构
自监督学习
单一模型处理任意分辨率的多模态地球观测数据
Yohann Perron, Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu
2026-06-23
变换器
地球观测
多模态学习
自监督学习
遥感图像
提出双用途MAE-CNN标记器,同时支持临床预测和可控生成
Max Van Puyvelde, Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert
2026-06-22
3D脑MRI
医学图像生成
扩散模型
线性探测
自监督学习
提出训练自适应的离散化预训练任务,通过特征级粗到细课程提升医学表格数据的自监督学习性能
Daehwan Kim, Haejun Chung, Ikbeom Jang
2026-06-22
医学数据挖掘
自监督学习
自适应离散化
表格学习
课程学习
通过选择性协同学习解决视频对象分解中的编码器-解码器不匹配问题,提升性能并降低计算复杂度
WonJun Moon, Jae-Pil Heo
2026-06-19
对象中心学习
深度学习
自监督学习
视频理解
通过软正确性门控和教师概率缩放改进 GUI 定位自蒸馏中的教师信号质量
Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei...
2026-06-18
GUI 定位
知识蒸馏
自监督学习
视觉语言模型
计算机视觉
首个针对扩散LLM的自蒸馏框架,用自生成答案作后缀条件,步级监督提升推理能力
Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu
2026-06-17
大语言模型
扩散模型
推理能力
知识蒸馏
自监督学习
让VLM无需外部监督,通过自我迭代学会主动提问并持续进化。
Yijun Liang, Hengguang Zhou, Ming Li, Lichen Li, Cho-Jui Hsieh, Tianyi Zhou
2026-06-17
自监督学习
自训练
视觉提问生成
视觉语言模型
TDV用因果性作为唯一弱假设,从视频时序差分中自监督学习视觉表征。
Ninad Daithankar, Alexi Gladstone, Yann LeCun, Heng Ji
2026-06-16
JEPA
因果学习
时序差分
自监督学习
视觉Transformer
通过神经信任函数评估弱标签可靠性,实现近无损弱到强泛化
Arda Uzunoglu, Alvin Zhang, Daniel Khashabi
2026-06-09
信任函数
弱到强泛化
数据选择
自监督学习