首个无视觉编码器与VAE的端到端统一多模态原生架构,在32倍压缩比下同时比肩顶级理解与生成模型。
Haiwen Diao, Penghao Wu, Hanming Deng, Jiahao Wang, Shihao Bai, Silei Wu,...
Flow Matching
MoT混合Transformer
像素空间扩散
原生多模态
图文交错生成
本地可逆假名化+类型化占位符,让云端记忆系统看不见明文却保留语义
Yining Chen, Jihao Zhao, Bo Tang, Haofen Wang, Feiyu Xiong, Zhiyu Li
LLM智能体
PII脱敏
端云协同
长期记忆
隐私保护
用 8×8 在线联想记忆增强冻结 LLM,平均分提升 1.10×
Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan...
delta-rule
冻结骨干
在线记忆
注意力低秩修正
联想记忆
Rubric统一策略/评估/记忆,8B深度研究agent超越开源基线
Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen,...
Rubric引导评估
元强化学习
强化学习
深度研究Agent
经验复用
首篇系统综述将世界模型融入动作生成的具身基础模型范式,提出 Cascaded/Joint WAM 二分法。
Siyin Wang, Junhao Shi, Zhaoyang Fu, Xinzhe He, Feihong Liu, Chenchen Yang,...
世界模型
具身智能
基础模型
机器人学习
综述
可读规则下运行时发现优于离线世界模型
Jishnu Sethumadhavan Nair, Patrice Bechard, Rishabh Maheshwary, Surajit...
ReAct Agent
ServiceNow
世界模型
业务规则级联
企业Agent
把生成式世界模型塞进 MCP 智能体循环,用预测式规划替代反应式执行。
Giridhar Ganapavarapu, Dhaval Patel
Benchmark
LLM Agent
MCP
Tool Planning
World Model
两阶段预训练叠加 s token 提吞吐,10B 上获 2.5x 加速
Bowen Peng, Théo Gigant, Jeffrey Quesnelle
LLM 预训练
MoE
Token 叠加
多热交叉熵
训练效率
L2P 丢弃 VAE、冻结 LDM 中间层,仅用 8 卡把潜在扩散先验高效迁移到像素空间。
Zhennan Chen, Junwei Zhu, Xu Chen, Jiangning Zhang, Jiawei Chen, Zhuoqi...
像素空间生成
扩散模型
文生图
知识迁移
超高分辨率
首个在AR-Diffusion统一多模态模型上应用GRPO强化学习的框架,配套提出基于原子可验证问题分解的DVReward奖励机制,无需冷启动SFT即可解锁推理文生图与自反思修正能力。
Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao
AR-Diffusion架构
奖励模型设计
强化学习GRPO
统一多模态模型
自反思生成
DRoRAE融合ViT所有层级特征,大幅提升视觉分词器重建与生成质量
Xuanyu Zhu, Yan Bai, Yang Shi, Yihang Lou, Yuanxing Zhang, Jing Jin, Yuan Zhou
DINOv2
多层级融合
扩散模型
表征自编码器
视觉分词器
THINC框架让代码本身成为推理主体,4B模型击败235B基线
Hyeon Hwang, Jiwoo Lee, Jaewoo Kang
GRPO
代码生成
工具增强推理
强化学习
思维链
实时因果多镜头视频生成,支持动态提示与长程一致性
Yihao Meng, Zichen Liu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Yue Yu,...
KV缓存
多镜头叙事
实时交互
自回归
视频生成
通过合成GUI-工具混合轨迹与两阶段RL,让8B模型学会在合适的时机切换GUI与工具调用,在OSWorld-MCP上达到46.85% SOTA。
Xuhao Hu, Xi Zhang, Haiyang Xu, Kyle Qiao, Jingyi Yang, Xuanjing Huang, Jing...
Computer Use Agent
GUI Automation
MCP
Multimodal LLM
Reinforcement Learning
图像库引用协议+ODE把Qwen3-VL平均提升14.1个百分点
Shijue Huang, Hangyu Guo, Chenxin Li, Junting Lu, Xinyu Geng, Zhaochen Su,...
MLLM
多模态智能体
工具使用
强化学习
数据合成
LLM持续改写记忆库反而会损害性能,应把原始episodes当作一等证据并门控抽象过程。
Dylan Zhang, Yanshan Lin, Zhengkun Wu, Yihang Sun, Bingxuan Li, Dianqi Li, Hao Peng
Agent记忆
LLM智能体
经验学习
记忆巩固
长时推理
无重置持续harness在线自优化,在Pokemon RPG上追平手工harness
Seth Karten, Joel Zhang, Tersoo Upaa Jr, Ruirong Feng, Wenzhe Li, Chengshuai...
DAgger+PRM
Pokemon基准
harness优化
具身智能体
在线学习
提出Fast-Slow Training框架,将慢权重RL与快权重提示词优化协同演化
Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei...
GEPA
LLM后训练
RLVR
可塑性
快慢权重
POISE 用策略模型自身隐藏状态预测奖励基线,替代 PPO 价值网络与 GRPO 多采样
Yunho Choi, Jongwon Lim, Woojin Ahn, Minjae Oh, Jeonghoon Shim, Yohan Jo
LLM推理
RLVR
价值估计
可验证奖励
强化学习
用多流并行格式重塑LLM推理,解除单流chat的串行阻塞
Guinan Su, Yanwu Yang, Xueyan Li, Jonas Geiping
LLM架构
可监控性
安全性
并行生成
指令微调
揭示异步RL中旧logits缺失问题,提出精确获取与PPO-EWMA两种修复路径
Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Xiong Jun Wu,...
PPO优化
大语言模型
异步训练
强化学习
离策略修正
系统梳理世界模型在机器人策略学习、模拟器、视频生成与导航驾驶中的架构范式、功能角色与评测体系。
Bohan Hou, Gen Li, Jindou Jia, Tuo An, Xinying Guo, Sicong Leng, Haoran...
世界模型
具身智能
机器人学习
策略学习
视觉-语言-动作模型
用智能体自身失败轨迹训练自身安全行为
Bo Yin, Qi Li, Xinchao Wang
在线策略学习
多目标优化
智能体安全
自进化
轨迹级对齐
提出 CUActSpot 基准与渲染式数据合成流水线,揭示任务多样性优于单模态数据规模化。
Miaosen Zhang, Xiaohan Zhao, Zhihong Tan, Zhou Huoshen, Yijia Fan, Yifan...
Computer-Use Agent
GUI Grounding
VLM
基准测试
数据合成
把网络搜索解出的隐藏身份精准绑定到像素
Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue
WebEyes 基准
多模态智能体
感知深度研究
智能体搜索
视觉分割
提出渐进式模态迁移基准与盲训练控制,揭示多模态推理的视觉变量接地瓶颈与 RL 视觉虚假提升。
Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang,...
RLVR
基准测试
多模态推理
模态迁移
物理推理
首个逐轮响应感知防御器 TURNGATE,精确锁定「最早危害闭合点」以平衡安全与实用性。
Xinjie Shen, Rongzhe Wei, Peizhi Niu, Haoyu Wang, Ruihan Wu, Eli Chien, Bo...
LLM安全
多轮越狱
对话防御
强化学习
意图检测
训练免费框架,让多智能体在测试时三尺度协同进化。
Yaolun Zhang, Tianyi Xu, Shengyu Dai, Zhenwen Shao, Qingyun Wu, Huazheng Wang
LLM Agent
多智能体系统
测试时进化
知识迁移
群体智能
提出「稀疏奖励给大教师、稠密信号传小部署模型」的分配原则,四阶段流程在 MATH 提升 3.4 点
Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard
GRPO
后训练
奖励密度
强化学习
推理模型
LoopUS 通过表征分层分解把预训练 LLM 改造成稳定可训的循环潜在精炼架构。
Taekhyun Park, Yongjae Lee, Dohee Kim, Hyerim Bae
LLM
循环Transformer
测试时计算
潜在推理
自适应深度
将水印锚定在潜在语义聚类而非词表上,理论保证失真自由并抵抗释义攻击。
Zhenxin Ai, Haiyun He
LLM水印
假设检验
失真自由
嵌入空间聚类
语义不变攻击
系统对比 LLM 重写代码检索的三层抽象与在线离线模式
Andrea Gurioli, Federico Pennino, Maurizio Gabbrielli
LLM重写
代码检索
信息检索
密集检索
嵌入模型
DR.Q 通过最大化表示互信息和衰减式优先回放,给基于模型的Q学习表示去偏,单套超参横扫73个连续控制任务。
Jiafei Lyu, Zichuan Lin, Scott Fujimoto, Kai Yang, Yangkun Chen, Saiyong...
互信息最大化
基于模型的表示学习
强化学习
经验回放
连续控制
首个智能体价值评测基准,发现价值潮汐受harness与技能深度调控。
Haonan Dong, Qiguan Feng, Kehan Jiang, Haoran Ye, Xin Zhang, Guojie Song
AI安全
LLM智能体
价值观对齐
基准构建
智能体评测
用固定点吸引子代替循环展开,实现恒定内存训练。
Jacob Fein-Ashley, Paria Rashidinejad
循环架构
推理
深度均衡模型
语言建模
隐式模型
面向长会话智能体的记忆评测基准,揭示所有系统依赖推理崩塌。
Seokwon Jung, Alexander Rubinstein, Arnas Uselis, Sangdoo Yun, Seong Joon Oh
DAG知识图谱
LLM智能体
依赖推理
记忆系统
评测基准
编码器继续预训练中插入临时 CLM 阶段,显著提升生物医学领域表现。
Rian Touchent, Eric de la Clergerie
CKA
因果语言建模
生物医学 NLP
继续预训练
编码器
RL通过概率重分配让LLM事实回忆准确率平均提升27%。
Wanli Yang, Hongyu Zang, Junwei Zhang, Wenjie Shi, Du Su, Jingang Wang,...
GRPO
LLM-as-a-Judge
LLM事实回忆
参数化知识
强化学习
通过左右正交变换保持权重矩阵奇异值不变的新型LLM优化器
Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu
LLM训练
优化器
正交变换
训练稳定性
谱保持
定位巨型激活起源层,提出维度掩码方法提升LLM性能。
Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang
LLM
巨型激活
机制可解释性
注意力汇聚
表征工程
规划器-执行器框架自适应选择理解-生成协调路径
Hayes Bai, Yinyi Luo, Wenwen Wang, Qingsong Wen, Jindong Wang
BAGEL
LoRA微调
推理协调
统一多模态模型
规划与执行
提出LME-V2基准与AgentRunbook方法,评估智能体跨轨迹积累经验的能力
Di Wu, Zixiang Ji, Asmi Kawatkar, Bryan Kwan, Jia-Chen Gu, Nanyun Peng, Kai-Wei Chang
RAG
Web智能体
智能体记忆
编码智能体
长期记忆评测
解耦评分标准 RL 中验证器错误与评分标准设计缺陷两类奖励黑客,给出无需外部评审的自内化差距早停信号。
Anas Mahmoud, MohammadHossein Rezaei, Zihao Wang, Anisha Gunjal, Bing Liu,...
LLM 评审
医疗 AI
后训练
奖励黑客
强化学习
基于UE5的开源仿真框架,集成Python API与MCP协议,为视觉模型生成丰富2D/3D真值
Wufei Ma, Chloe Wang, Siyi Chen, Jiawei Peng, Patrick Li, Alan Yuille
3D真值标注
Model Context Protocol
Unreal Engine 5
仿真框架
合成数据
剖析OPD/OPSD成败,提出三类失败机制与对应稳定化修复。
Siqi Zhu, Xuyan Ye, Hongyu Lu, Weiye Shi, Ge Liu
在策略蒸馏
大语言模型后训练
强化学习
知识蒸馏
自蒸馏
用 Adafactor 对角 Kronecker 预条件子解决 LoRA 因子空间算子奇异性
Ziyun Liu, Fengmiao Bian, Jian-Feng Cai
Adafactor
LoRA
PEFT
优化器
大模型微调
提出MDMF框架,用PFS放大局部微缺陷再用MMD聚合成宏观分布差异,刷新9类生成器SOTA
Boxuan Zhang, Jianing Zhu, Qifan Wang, Jiang Liu, Ruixiang Tang
AI生成图像检测
DINOv2
MMD双样本检验
Patch Forensic Signature
分布偏移
用视频扩散先验从极稀疏视图生成高质量3D场景。
Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu,...
3D重建
新视角合成
稀疏视图合成
视频扩散模型
高斯泼溅
训练 LLM 智能体从低成本实验总结规律并外推到高成本 LLM 实验配置
Taicheng Guo, Nitesh V. Chawla, Olaf Wiest, Xiangliang Zhang
AutoML
LLM 智能体
可验证奖励
强化学习
超参优化
首个真实户外单视图重光照基准+物理引导自适应框架
Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad
单图重光照
扩散模型
数据集
测试时自适应
逆渲染