从视频生成模型提取3D先验增强MLLM空间理解
Xianjin Wu, Dingkang Liang, Tianrui Feng, Kui Xia, Yumeng Zhang, Xiaofan Li,...
3D场景理解
多模态大语言模型
扩散模型
空间推理
视频生成模型
30B MoE模型通过级联RL+在线蒸馏,在IMO/IOI/ICPC三大竞赛获金牌
Zhuolin Yang, Zihan Liu, Yang Chen, Wenliang Dai, Boxin Wang, Sheng-Chieh...
MoE
后训练
强化学习
推理
数学证明
将视频编辑分解为语义锚定和运动对齐,实现高精度指令跟随和强时序一致性
Xinyao Zhang, Wenkai Dong, Yuxin Song, Bo Fang, Qi Zhang, Jing Wang, Fan...
多模态学习
扩散模型
指令理解
自监督学习
视频编辑
通过Horizon-Aware Schedule将流式VLA即时动作采样加速10倍
Yuxiang Lu, Zhe Liu, Xianzhe Fan, Zhenya Yang, Jinghua Hou, Junyi Li, Kaixin...
动作分块
实时推理
机器人学习
流匹配
视觉-语言-动作模型
通过读写反思学习,让LLM智能体自主构建、优化和复用技能库,实现无需参数更新的持续学习
Huichi Zhou, Siyuan Guo, Anjie Liu, Zhongwei Yu, Ziqin Gong, Bowen Zhao,...
LLM
强化学习
技能学习
持续学习
智能体
通过1帧优化和多视图条件模块实现3D一致的定制化视频生成
Hyun-kyu Ko, Jihyeon Park, Younghyun Kim, Dongheok Park, Eunbyung Park
3D生成
LoRA微调
主题定制
多视图学习
视频扩散模型
提出MoTok,将运动生成解耦为离散语义规划与扩散式精细重建,实现高效可控运动生成
Chenyang Gu, Mingyuan Zhang, Haozhe Xie, Zhongang Cai, Lei Yang, Ziwei Liu
动作合成
可控生成
扩散模型
离散分词
运动生成
单张图像端到端重建铰接三维物体,渐进式结构推理实现关节预测
Haitian Li, Haozhe Xie, Junxiang Xu, Beichen Wen, Fangzhou Hong, Ziwei Liu
3D重建
机器人
深度学习
计算机视觉
铰接物体
8个规模的多语言嵌入模型,覆盖200+语言,14B版SOTA
Ziyin Zhang, Zihan Liao, Hang Yu, Peng Di, Rui Wang
Matryoshka表示学习
多语言
文本嵌入
检索增强生成
知识蒸馏
首次在768维高维表示token上实现离散扩散生成,达到离散生成SOTA
Yuqing Wang, Chuofan Ma, Zhijie Lin, Yao Teng, Lijun Yu, Shuai Wang, Jiaming...
MaskGIT
图像生成
离散扩散
视觉生成
高维表示
首个长音频视频理解基准,评估多模态大模型的跨模态长时理解能力
Keda Tao, Yuhua Zheng, Jia Xu, Wenjie Du, Kele Shao, Hesong Wang, Xueyi...
基准评估
多模态大语言模型
跨模态推理
长视频理解
音视频理解
提出锚定状态记忆机制解决长周期GUI任务的记忆瓶颈
Yibo Shi, Jungang Li, Linghao Zhang, Zihao Dongfang, Biao Wu, Sicheng Tao,...
GUI智能体
交互记忆
基准测试
移动端智能体
长期推理
提出反应式听众动作生成任务,构建多层级偏好数据集和统一生成框架
Cheng Luo, Bizhu Wu, Bing Li, Jianfeng Ren, Ruibin Bai, Rong Qu, Linlin...
人体动作生成
偏好学习
多模态交互
对话式AI
序列到序列建模
VTC-Bench:基于32种OpenCV工具和680题,评估MLLM的视觉工具链能力。
Xuanyu Zhu, Yuhao Dong, Rundong Wang, Yang Shi, Zhipeng Wu, Yinlun Peng,...
基准测试
多模态大模型
智能体
视觉工具调用
计算机视觉
MLLMs在离散符号理解中存在识别-推理倒置的认知错配现象
Yinghui Li, Jiayi Kuang, Peng Xing, Daixian Liu, Junnan Dong, Shu-Yu Guo,...
基准测试
多模态大语言模型
符号理解
视觉推理
认知错配
联合学习视频物体移除与插入,利用逆任务一致性擦除物体副作用效果
Yang Fu, Yike Zheng, Ziyun Dai, Henghui Ding
扩散模型
数据集构建
物体移除
视频修复
计算机视觉
VLM对问题表述方式敏感,不同格式下视觉注意力分配差异显著
Wan-Cyuan Fan, Jiayun Luo, Declan Kutscher, Leonid Sigal, Ritwik Gupta
多模态推理
提示工程
注意力机制
视觉理解
视觉语言模型
基于离散token+自回归建模+大规模预训练的语音生成基础模型,支持零样本克隆与小时级长文本生成
Yitian Gong, Botian Jiang, Yiwei Zhao, Yucheng Yuan, Kuangwei Chen, Yaozhou...
基础模型
自回归模型
语音克隆
语音合成
音频tokenizer
首个免训练长语音同步语音翻译策略,利用交叉注意力调控历史与输出
Amirbek Djanibekov, Luisa Bentivogli, Matteo Negri, Sara Papi
同步翻译
多语言
端到端模型
语音处理
语音翻译
基于视频的2D VLM框架,实现语言定位与视角感知3D推理
Kevin Qu, Haozhe Qi, Mihai Dusmanu, Mahdi Rad, Rui Wang, Marc Pollefeys
3D场景理解
空间推理
视觉语言模型
视频理解
语言定位
将多轮 Agent rollout 解耦为独立 HTTP 服务,提升 RL 训练的可扩展性和可维护性
Hao Zhang, Mingjie Liu, Shaokun Zhang, Songyang Han, Jian Hu, Zhenghui Jin,...
LLM Agent
分布式训练
基础设施
强化学习
系统设计
提出MHPO框架,通过LFM和DHP组件实现稳定强化学习的梯度保真与危险感知控制
Hongjun Wang, Wei Liu, Weibo Gu, Xing Sun, Kai Han
RLHF
大语言模型
强化学习
策略优化
训练稳定性
通过随机预算训练实现连续多细节层次的高斯泼溅渲染,全容量质量不损失
Zhilin Guo, Boqiao Zhang, Hakan Aktas, Kyle Fogarty, Jeffrey Hu, Nursena...
3D高斯泼溅
多细节层次
实时渲染
嵌套表示
神经渲染
利用 OSM 地图数据实现自包含的遥感 VLM 域适应,无需外部教师模型
Stefan Maria Ailuro, Mario Markov, Mohammad Mahdi, Delyan Boychev, Luc Van...
OpenStreetMap
域适应
自监督学习
视觉-语言模型
遥感
提出Principia基准和RLLM、ParaGator方法,显著提升LLM推导复杂数学对象的能力
Pranjal Aggarwal, Marjan Ghazvininejad, Seungone Kim, Ilia Kulikov, Jack...
奖励建模
并行推理
强化学习
数学推理
测试时计算扩展
无需外部提示的通用对象区域建议网络,跨域零样本检测性能显著提升
Qihong Tang, Changhan Liu, Shaofeng Zhang, Wenbin Li, Qi Fan, Yang Gao
区域建议网络
开放词汇检测
无提示学习
目标检测
跨域泛化
研究发现时间推理瓶颈因语言资源水平而异:低资源语言受分词质量限制,高资源语言受内部表示线性性控制
Gagan Bhatia, Ahmad Muhammad Isa, Maxime Peyrard, Wei Zhao
分词偏置
基准测试
多语言NLP
时间推理
表示学习
用混合奖励机制修复QE模型漏洞,大幅提升低资源语言翻译质量
Yifeng Liu, Siqi Ouyang, Yatish Hosmane Revanasiddappa, Lei Li
多语言模型
强化学习
机器翻译
质量估计
通过聚类和簇内最优传输,实现更直的流匹配轨迹,提升生成质量
Chiensheng Chiang, Kuan-Hsun Tu, Jia-Wei Liao, Cheng-Fu Chou, Tsung-Wei Ke
Flow Matching
Optimal Transport
扩散模型
生成模型
提出DPL和RSL协同去噪框架,实现语义驱动的部分级文本到3D生成
Tianjiao Yu, Xinzhuo Li, Muntasir Wahed, Jerry Xiong, Yifan Shen, Ying Shen,...
扩散模型
文本到3D生成
结构化表示
语义对齐
部分感知生成
首个波斯语音频语言模型基准,16任务8000样本,揭示文化特定音频理解的挑战
Mohammad Javad Ranjbar Kalahroodi, Mohammad Amini, Parmis Bathayan, Heshaam...
低资源语言
基准测试
文化音频理解
波斯语评估
音频语言模型
首个专门评估视觉干扰下逻辑异常检测鲁棒性的工业检测数据集
Hiroto Nakata, Yawen Zou, Shunsuke Sakai, Shun Maeda, Chunzhi Gu, Yijin Wei,...
工业检测
异常检测
视觉-语言模型
逻辑异常
鲁棒性