10B参数多模态模型通过统一预训练和平行协调推理,在60+基准上媲美或超越100B+模型
Ailin Huang, Chengyuan Yao, Chunrui Han, Fanqi Wan, Hangyu Guo, Haoran Lv,...
多模态大模型
开源模型
强化学习
推理优化
视觉语言模型
用VLM两阶段推理+强化学习实现卫星图像中社会语义实体的像素级分割
Yu Wang, Yi Wang, Rui Dai, Yujie Wang, Kaikui Liu, Xiangxiang Chu, Yansheng Li
城市计算
强化学习
视觉-语言模型
语义分割
遥感
通过奖励LLM生成的罕见但正确的解题策略,解决强化学习中的探索崩溃问题。
Zhiyuan Hu, Yucheng Wang, Yufei He, Jiaying Wu, Yilun Zhao, See-Kiong Ng,...
大语言模型
强化学习
探索-利用权衡
推理多样性
策略聚类
测试时多智能体协作与经验注入提升推理准确性
Zhiyuan Hu, Yunhai Hu, Juncheng Liu, Shuyue Stella Li, Yucheng Wang, Zhen...
医学诊断
多智能体
数学推理
测试时学习
经验增强
基于MMDiT的实时流式人形视频生成框架,25fps低延迟交互,支持任意时长
Lizhen Wang, Yongming Zhu, Zhipeng Ge, Youwei Zheng, Longhao Zhang, Tianshu...
人形动画
多模态融合
实时交互
扩散模型
视频生成
紧凑高效的指令式图像编辑系统,2B VLM+1.6B扩散模型,4秒生成2K图像
Grigorii Alekseenko, Aleksandr Gordeev, Irina Tolstykh, Bulat Suleimanov,...
图像编辑
扩散模型
指令跟随
视觉语言模型
高效推理
首个可复现Suno级别商业系统的开源音乐基础模型家族,支持长达6分钟的可控歌曲生成
Dongchao Yang, Yuxin Xie, Yuguo Yin, Zheyu Wang, Xiaoyu Yi, Gongxi Zhu,...
基础模型
多模态
开源
歌曲合成
音乐生成
提出测试时工具演化范式,让智能体在推理过程中动态合成、验证和演化可执行工具,突破静态工具库的根本限制
Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie...
代码生成
工具学习
智能体
科学推理
跨域适应
提出层级认知缓存架构,实现超长时间跨度自主机器学习工程
Xinyu Zhu, Yuzhu Cai, Zexi Liu, Bingyang Zheng, Cheng Wang, Rui Ye, Jiaao...
MLE-Bench
上下文管理
智能体
自动机器学习
认知架构
构建1亿中文图文对数据集,通过系统化清洗流程显著提升中文视觉-语言预训练性能
Hengyu Shen, Tiancheng Gu, Bin Qin, Lan Wu, Yuling Wu, Shuo Tan, Zelong Sun,...
中文NLP
多模态学习
对比学习
数据集构建
视觉-语言预训练
首个完全开放的视频视觉语言模型,支持视频定位、跟踪和密集描述,性能超越专有模型
Christopher Clark, Jieyu Zhang, Zixian Ma, Jae Sung Park, Mohammadreza...
多模态大模型
开放数据
目标跟踪
视觉定位
视频描述
提出TMD框架,将大型视频扩散模型蒸馏为少步高效生成器
Weili Nie, Julius Berner, Nanye Ma, Chao Liu, Saining Xie, Arash Vahdat
分布匹配
少步采样
扩散模型蒸馏
视频生成
构建1.47亿动作片段的大规模视频动作数据集,显著提升零样本动作识别性能
Delong Chen, Tejaswi Kasarla, Yejin Bang, Mustafa Shukor, Willy Chung, Jade...
动作识别
数据集构建
自监督学习
视觉语言模型
视频理解
让LLM先推理再生成,突破T2I模型的文字-像素映射局限
Siqi Kou, Jiachun Jin, Zetong Zhou, Ye Ma, Yugang Wang, Quan Chen, Peng...
多模态学习
强化学习
扩散模型
推理增强
文本到图像生成
用视频模型的逐帧推理能力替代文本规划,实现高质量文生图
Chengzhuo Tong, Mingkun Chang, Shenglong Zhang, Yuran Wang, Cheng Liang,...
推理增强
数据集构建
文生图
视觉推理
视频生成模型
基于扩散模型,通过VNE和宽松训练目标编辑物体内在属性。
Tal Reiss, Daniel Winter, Matan Cohen, Alex Rav-Acha, Yael Pritch, Ariel...
图像编辑
属性编辑
扩散模型
视觉命名实体
身份保持
对6个前沿大模型进行语言、视觉-语言、图像生成三模态的统一安全评估,揭示安全全景的不均衡现状
Xingjun Ma, Yixu Wang, Hengyuan Xu, Yutao Wu, Yifan Ding, Yunhan Zhao,...
AI安全
合规评估
多模态大模型
红队测试
越狱攻击
提出步骤级工具调用安全检测基准、防护栏模型和反馈驱动推理框架,将有害调用降低65%
Yutao Mou, Zhangchi Xue, Lijun Li, Peiyang Liu, Shikun Zhang, Wei Ye, Jing Shao
Agent安全
Prompt Injection
安全护栏
工具调用
强化学习
将工具调用信用分配建模为二部图匹配问题,实现细粒度的回合级奖励估计
Changle Qu, Sunhao Dai, Hengyi Cai, Jun Xu, Shuaiqiang Wang, Dawei Yin
GRPO
二部图匹配
信用分配
工具集成推理
强化学习
通过层次化上下文管理、动量回溯和自适应协作进化,系统性解决LLM进化搜索的三大失效模式
Minghao Yan, Bo Peng, Benjamin Coleman, Ziqi Chen, Zhouhang Xie, Zhankui He,...
GPU内核优化
LLM智能体
多岛屿并行搜索
符号回归
进化算法
两阶段框架:检索增强原型生成+GRPO片段优化,实现分子多属性精确控制
Yizhan Li, Florence Cloutier, Sifan Wu, Ali Parviz, Boris Knyazev, Yan...
GRPO
分子生成
多智能体系统
强化学习
片段编辑
利用VJEPA-2世界模型奖励信号在推理时引导视频生成以提升物理真实性
Jianhao Yuan, Xiaofeng Zhang, Felix Friedrich, Nicolas Beltran-Velez,...
世界模型
扩散模型
推理时对齐
物理对齐
视频生成
通过知识蒸馏对齐教师模型的视觉注意力轨迹,让小模型获得大模型的视觉推理能力
Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang...
多模态大模型
注意力机制
潜在推理
知识蒸馏
视觉推理
通过层次化任务语义注入MoE路由,解决统一图像生成编辑中的任务干扰问题
Yu Xu, Hongbin Yan, Juan Cao, Yiji Cheng, Tiankai Hang, Runze He, Zijin Yin,...
专家混合模型
图像生成
图像编辑
多任务学习
扩散变换器
通过逻辑结构化数据构建和感知结构的奖励聚合,显著提升LLM复杂指令遵循与逻辑推理能力。
Qingyu Ren, Qianyu He, Jingwen Chang, Jie Zeng, Jiaqing Liang, Yanghua Xiao,...
GRPO
奖励建模
强化学习
指令遵循
逻辑推理
将动态点图扩展到视频级多视角,实现单次前向传播的4D场景重建
Edgar Sucar, Eldar Insafutdinov, Zihang Lai, Andrea Vedaldi
3D重建
4D重建
前馈网络
动态场景
点图表示
首次实现无需标注的骨骼绑定与运动生成统一框架
Hao Zhang, Jiahao Luo, Bohui Wan, Yizhou Zhao, Zongrui Li, Michael...
4D生成
动画
扩散模型
网格变形
自监督学习
在GRPO优势之后加反向累积log比,修正自回归KL信用分配
Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang
GRPO
KL正则化
大语言模型
强化学习
数学推理
首个大规模财务问答回避检测基准,84K训练集+84.9% Macro-F1的4B参数模型
Shijian Ma, Yan Lin, Yi Yang
LLM标注
回避检测
基准数据集
财务NLP
问答系统
首个大规模研究AI Agent技能安全漏洞,发现26.1%技能存在安全隐患
Yi Liu, Weizhe Wang, Ruitao Feng, Yao Zhang, Guangquan Xu, Gelei Deng,...
AI安全
Agent技能
供应链安全
大语言模型
漏洞分析
提出CLINSQL基准,评估LLM在临床EHR数据库上进行患者相似性队列推理的Text-to-SQL能力
Yifei Shen, Yilun Zhao, Justice Ou, Tinglin Huang, Arman Cohan
Text-to-SQL
临床NLP
医疗信息学
大语言模型评估
电子健康记录
提出编码决策树(CDT)框架,从叙事数据自动生成可执行的角色行为档案,显著优于人工编写档案
Letian Peng, Kun Zhou, Longfei Yun, Yupeng Hou, Jingbo Shang
LLM代理
决策树
数据驱动
行为建模
角色扮演
自监督框架,从动态无姿态稀疏视角输入中去除运动物体并合成静态新视角
Xuweiyi Chen, Wentao Zhou, Zezhou Cheng
3D Vision
Dynamic Scene Reconstruction
Motion Segmentation
Novel View Synthesis
Self-supervised Learning
首次将双LLM隔离架构成功应用于计算机使用智能体,通过单次规划保障控制流安全
Hanna Foerster, Robert Mullins, Tom Blanchard, Nicolas Papernot, Kristina...
AI安全
单次规划
双LLM架构
提示注入防御
计算机使用智能体
系统评估少样本、思维链等提示工程技术对LLM情感分析性能的影响
Marvin Schmitt, Anne Schwerk, Sebastian Lempert
NLP
反讽检测
大语言模型
情感分析
提示工程
用向量量化离散空间中的码本索引打乱替代Dropout扰动,实现半监督医学图像分割
Sicheng Yang, Zhaohu Xing, Lei Zhu
一致性学习
医学图像分割
半监督学习
向量量化
基础模型对齐
揭示LLM注意力斜线模式由RoPE中高频分量与近秩一查询/键的相互作用内在产生
Yuan Cheng, Fengzhuo Zhang, Yunlong Hou, Cunxiao Du, Chao Du, Tianyu Pang,...
RoPE
Transformer
位置编码
机制可解释性
注意力机制
通过码本压缩和在线重置机制,将LLM持续学习的记忆库存储缩减至基线的0.3%
Thomas Katraouras, Dimitrios Rafailidis
参数高效微调
向量量化
在线适应
持续学习
记忆增强