1B 循环模型仅用 40B token 预训练,算力省百倍即达 7B 水平
Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai...
PrefixLM
任务完成目标
小算力训练
层级推理
循环神经网络
从5亿YouTube视频自动挖掘GUI轨迹,构建千万级数据集WildGUI
Weimin Xiong, Shuhao Gu, Bowen Ye, Zihao Yue, Lei Li, Feifan Song, Sujian...
GUI智能体
交互轨迹
多模态大模型
持续预训练
数据合成
大规模复合声学仿真+双粒度WER门控强化学习实现鲁棒ASR。
Zhifei Xie, Kaiyu Pang, Haobin Zhang, Deheng Ye, Xiaobin Hu, Shuicheng Yan,...
DG-WGPO
VOICES-IN-THE-WILD-2M
复合声学环境
强化学习
数据仿真
两阶段对齐+双重一致性,无需训练实现无限帧长视频生成
X. Feng, J. Zhu, M. Wu, C. Chen, F. Mao, H. Guo, J. Wu, X. Chu, K. Huang
帧级自回归
扩散模型
测试时缩放
训练免训练
长视频生成
用工具增强的智能体框架与门控强化学习实现零样本工业异常检测新 SOTA
Rongbin Tan, Fangfang Lin, Zhenlong Yuan, Min Qiu, Kejin Cui, Mengmeng Wang,...
GRPO
多模态大模型
工业异常检测
工具增强
强化学习
系统综述大型音频语言模型的架构演化与可信度六大维度的攻防失衡
Kaiwen Luo, Zhenhong Zhou, Leo Wang, Liang Lin, Yang Xiao, Tianyu Shao,...
可信AI
多模态安全
对抗鲁棒性
综述
音频语言模型
RLVR权重更新呈秩-1线性结构,RELEX仅用15%训练步外推未来检查点
Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng
RLVR
SVD
低秩结构
强化学习
权重外推
提出可扩展、可验证的规划数据生成框架,用于评测与训练LLM的规划能力。
Ziliang Zhao, Zenan Xu, Shuting Wang, Hongjin Qian, Yan Lei, Minda Hu, Zhao...
GRPO
LLM评测
可验证奖励
强化学习
数据合成
用旋转+Token缩放解决TNI,实现近无损INT2 KV量化。
Zunhai Su, Rui Yang, Chao Zhang, Yaxiu Liu, Yifan Zhang, Wei Wu, Jing Xiong,...
Attention Sink
Hadamard变换
INT2压缩
KV Cache量化
多模态LLM
首个可稳定扩展的时序基础模型家族,4m 到 2.5B 参数单调提升。
Emaad Khwaja, Chris Lettieri, Gerald Woo, Eden Belouadah, Marc Cenac,...
Muon 优化器
u-µP
分位数预测
可观测性
并行解码
把递归推理改成概率多轨迹生成模型,支持深度与宽度双重扩展。
Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn
变分推断
推理时计算扩展
无条件生成
概率潜状态空间模型
潜变量生成模型
用两个互补自蒸馏教师逼向效用与隐私的交集,无需外部监督即可兼顾两者
Sangwoo Park, Woongyeong Yeo, Seanie Lee, Yumin Choi, Hyomin Lee, Kangsan...
上下文完整性
个人智能体
产品专家(PoE)
自蒸馏
隐私对齐
预填充用FP4量化、解码保BF16精度,加速智能体LLM推理
Haiquan Lu, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang
Blackwell
LLM推理加速
NVFP4
智能体
模型量化
提出智能图像编辑作为统一模型调优的通用任务,单任务单数据集全面提升理解/生成/编辑
Dian Zheng, Manyuan Zhang, Hongyu Li, Hongbo Liu, Kai Zou, Kaituo Feng, Hongsheng Li
BAGEL
指令微调
数据合成
智能图像编辑
统一多模态模型
用Z3验证与对抗加固构建中文逻辑推理基准,揭示前沿模型Hard准确率仅37.5%
Ming Zhang, Qiyuan Peng, Yinxi Wei, Yujiong Shen, Kexin Tan, Yuhui Wang,...
Z3求解器
中文基准
基准评测
大语言模型评测
对抗加固
首个评测 GUI 智能体在专业媒体后期软件中长程组合操作的基准
Haobo Hu, Xiangwu Guo, Zhiheng Chen, Difei Gao, Haotian Liu, Libiao Jin, Qi Mao
GUI Agent
基准评测
媒体后期制作
视觉语言模型
计算机使用智能体
支持变长生成与修复的快速潜空间扩散音频模型族
Zach Evans, Julian D. Parker, Matthew Rice, CJ Carr, Zack Zukowski, Josiah...
变长生成
对抗后训练
流匹配
潜空间扩散
音乐生成
AI评审员在综合质量上可超越顶级人类评审员,但存在事实正确性短板和视角多样性问题
Seungone Kim, Dongkeun Yoon, Kiril Gashteovski, Juyoung Suk, Jinheon Baek,...
AI评审
LLM评估
专家标注
同行评审
学术出版
针对工业资产操作场景,提出时间语义缓存和MCP工作流优化,实现3.48倍加速
Alimurtaza Mustafa Merchant, Krish Veera, Sajal Kumar Goyla, Shambhawi...
Caching
Industrial AI
LLM Agents
MCP Protocol
Plan-Execute
通过缝合技术将像素空间奖励模型高效转移到噪声潜在空间,实现快速准确的扩散对齐
Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An,...
价值函数
强化学习
扩散模型
模型缝合
生成模型对齐
提出变分策略蒸馏(VPD)框架,通过EM算法让教师与学生协同进化,解决RLVR稀疏奖励问题
Yang Li, Erik Nijkamp, Semih Yavuz, Shafiq Joty
代码生成
变分推断
大语言模型
强化学习
科学推理
解耦子词分词在语言模型训练中的贡献,发现样本吞吐量和边界先验是关键
Théo Gigant, Bowen Peng, Jeffrey Quesnelle
子词分词
字节级建模
归纳偏置
语言模型
预训练
证明原生DiT加x-prediction在DINOv2表征空间即可达图像生成SOTA
Le Zhang, Ning Mang, Aishwarya Agrawal
DINOv2
ImageNet类条件生成
图像生成
扩散模型
流匹配
用八面体映射对旋转后的三维坐标三元组做联合量化,低比特下显著超越现有 KV 缓存压缩方法。
Mark Boss, Vikram Voleti, Simon Donné, Shimon Vainer
KV缓存压缩
Lloyd-Max量化
Transformer推理优化
八面体参数化
模型量化
用Chebyshev标量化与HVC退火,多目标优化智能体技能,突破单目标优化卡死困境。
Md Mehrab Tanjim, Jayakumar Subramanian, Xiang Chen, Branislav Kveton,...
LLM Agent
Pareto前沿
多目标优化
提示词优化
智能体技能
提出生成式记忆策略,让LLM智能体学会何时需要记忆辅助以及如何生成任务相关指导
Xiaoqiang Wang, Chao Wang, Hadi Nekoei, Christopher Pal, Alexandre Lacoste,...
LLM智能体
工具使用
强化学习
网络导航
记忆机制
通过显式建模Z-order遮挡关系,解决布局到图像生成中物体重叠区域的纹理混淆问题
Ziye Li, Henghui Ding
体渲染
实例解耦
布局到图像生成
扩散模型
遮挡处理
统一处理多视图配置、多模态融合、长时程感知和度量尺度的几何感知框架
Haotian Wang, Yusong Huang, Zhaonian Kuang, Hongliang Lu, Xinhu Zheng, Meng...
3D视觉
Transformer
几何感知
多模态
统一模型
首个企业级SaaS开发编码代理基准测试,覆盖30个复杂任务和5370个验证节点
Qingnan Ren, Shun Zou, Shiting Huang, Ziao Zhang, Kou Shi, Zhen Fang, Yiming...
SaaS开发
企业级应用
基准测试
编码代理
长周期任务
揭示RLVR训练中存在反直觉的不可学习样例,代表模型表征的根本性缺陷。
Yulin Chen, He He, Chen Zhao
RLVR
大语言模型
强化学习
推理能力
梯度分析
揭示 DPO-RLHF 等价性的隐含假设及其失效模式,提出 CPO 保证偏好对齐
Zhiqin Yang, Yonggang Zhang, Wei Xue, Dong Fang, Bo Han, Yike Guo
DPO
LLM 对齐
RLHF
偏好优化
强化学习
首个关注密集干扰和长距离依赖的跨域记忆评估基准,现有系统平均准确率仅27.9%
Hyunji Lee, Justin Chih-Yao Chen, Joykirat Singh, Zaid Khan, Elias...
基准测试
大语言模型
干扰处理
记忆增强智能体
长时程推理
利用专家激活时间稳定性,通过间隔式刷新策略优化MoE-dLLM推理效率
Zhiben Chen, Youpeng Zhao, Yang Sui, Jun Wang, Yuzhang Shang
I/O优化
MoE推理
扩散语言模型
无损加速
边缘计算
提出SpecBench基准测试,量化AI编码代理的奖励黑客现象
Bingchen Zhao, Dhruv Srikanth, Yuxiang Wu, Zhengyao Jiang
AI代理评估
代码生成
基准测试
奖励黑客
测试驱动开发
从平面图生成一致的整栋房屋VR导览,结合2D全景生成与3D高斯溅射空间记忆
Jinrang Jia, Zhenjia Li, Yijiang Hu, Yifeng Shi
三维重建
全景图像生成
室内场景合成
生成式AI
计算机视觉
在AdamW优化器之上加有界自治控制治理层,压力学习率下保稳定与提速。
Anis Radianis
AdamW
LLM训练系统
LoRA
learn-by-wire
loss spike
结合文本与手绘火柴人/轨迹双条件,用扩散模型生成可控 3D 人体动作
Tao Wang, Lei Jin, Zhihua Wu, Qiaozhi He, Jiaming Chu, Yu Cheng, Junliang...
人机交互
免训练引导
动作生成
多条件融合
扩散模型
动态调度 Muon 的谱指数 p,跨规模省 10.6–26.5% 训练步且验证损失更低。
Fangzhou Wu, Rikhav Shah, Sandeep Silwal, Qiuyi Zhang
Muon
Newton-Schulz
二阶方法
优化器
大模型训练
面向人主动交互服装的试衣,用3D手部先验、A-RoPE与约束损失合成视频。
Jun Zheng, Zhengze Xu, Mengting Chen, Jing Wang, Jinsong Lan, Xiaoyong Zhu,...
3D手部先验
Wan2.1-VACE
交互式视频虚拟试衣
人-衣交互
扩散Transformer
提出因果验证的胸片归因基准MedGround-Bench与概念级因果归因方法MedFocus。
Guangzhi Xiong, Qiao Jin, Sanchit Sinha, Zhiyong Lu, Aidong Zhang
不平衡最优传输
医学AI
因果可解释性
大视觉语言模型
概念级可解释性
医图分割中交叉验证集成与深度集成在不确定性上不等价,应按任务择优。
Kirscher Tristan, Bujotzek Markus, Kirchhoff Yannick, Rokuss Maximilian,...
nnU-Net
不确定性量化
交叉验证
医学图像分割
失败检测
ECC用少量成对模型比较校准语义嵌入,构建能力感知查询聚类,提升LLM能力排序质量。
Fangzhou Wu, Sandeep Silwal, Qiuyi Zhang
Bradley-Terry模型
LLM能力评估
查询聚类
查询路由
能力感知排序
用正交梯度投影剔除安全更新中干扰通用能力的分量,缓解对齐税。
Guanglong Sun, Siyuan Zhang, Liyuan Wang, Jun Zhu, Hang Su, Yi Zhong
DPO
LLM后训练
安全对齐
对齐税
持续学习