用历史错误模式的记忆惩罚,缓解 LLM 强化学习的错误坍缩。
Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai...
多样性探索
大语言模型
奖励塑形
强化学习
推理
提出统一多框架基准Qiskit/PennyLane/Cirq,评估LLM量子代码生成的跨框架可靠性。
Ali Slim, Haydar Hamieh, Jawad Kotaich, Yehya Ghosn, Mahdi Chehimi, Ammar...
Cirq
Pass@k
PennyLane
Qiskit
代码生成评估
首篇系统综述 AS 在 Transformer 各家族中的机制、用法与抑制方法
Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao...
Attention Sink
Transformer 可解释性
注意力机制
激活异常值
量化部署
首个同时融合文本/参考图/音频/姿态四模态的HOIVG统一生成框架。
Donghao Zhou, Guisheng Liu, Hao Yang, Jiatong Li, Jingyu Lin, Xiaohu Huang,...
Flow Matching
人-物交互
多模态融合
扩散Transformer
视频生成
用三角形条带作为基本 token 单位,统一生成三角/四边面网格并原生支持 UV 岛分割
Rui Xu, Dafei Qin, Kaichun Qiao, Qiujie Dong, Huaijin Pi, Qixuan Zhang,...
3D网格生成
UV分割
条带序列化
点云条件生成
自回归Transformer
首个统一声音、音乐、语音三大域理解、生成、编辑的端到端多模态框架。
Zeyue Tian, Binxin Yang, Zhaoyang Liu, Jiexuan Zhang, Ruibin Yuan, Hubery...
Rectified Flow
多模态学习
扩散Transformer
统一模型
音频生成
反向扩展视频生成器为基座,用统一流匹配统一视频生成与理解
Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu,...
Flow Matching
MoE 架构
多模态统一模型
扩散模型
视频生成
用信息论框架揭示UMMs伪统一现象
Songlin Yang, Xianghao Kong, Anyi Rao
信息论
模型诊断
熵探测
统一多模态模型
跨模态推理
代码智能体调试框架,通过层次化轨迹追踪定位失败源头
Han Li, Yifan Yao, Letian Zhu, Rili Feng, Hongyi Ye, Jiaming Wang, Yancheng...
Agent调试
LLM调试
代码智能体
故障定位
轨迹分析
评估统一数字智能体在复杂任务中组合视觉、搜索和编码能力的基准测试
CocoaBench Team, Shibo Hao, Zhining Zhang, Zhiqi Liang, Tianyang Liu, Yuheng...
Agent评估
基准测试
多模态智能体
工具使用
首个开放前沿通用LALM,支持30分钟长音频理解和时间锚定推理
Sreyan Ghosh, Arushi Goel, Kaousheik Jayakumar, Lasha Koroshinadze, Nishit...
多模态学习
思维链推理
长上下文理解
音频语言模型
基于轨迹正确性和困惑度进行双路自适应加权的在线策略蒸馏框架,提升LLM推理对齐效果
Binbin Zheng, Xing Ma, Yiheng Liang, Jingqing Ruan, Xiaoliang Fu, Kepeng...
大语言模型
奖励建模
强化学习
推理对齐
知识蒸馏
首次通过内省一致性训练使DLM达到AR模型质量,在15个基准测试中实现3×吞吐量提升
Yifan Yu, Yuqing Jian, Junxiong Wang, Zhongzhu Zhou, Donglin Zhuang, Xinyu...
并行生成
扩散语言模型
推理优化
自回归模型
通过经验回放缓冲区在LLM强化学习训练中节省高达40%计算成本而不降低性能
Charles Arnal, Vivien Cabannes, Taco Cohen, Julia Kempe, Remi Munos
LLM
RL
异步训练
经验回放
计算效率
提出多智能体框架追踪数据集演化谱系,揭示结构冗余和基准污染
Yu Li, Xiaoran Shang, Qizhi Pei, Yun Zhu, Xin Gao, Honglin Lin, Zhanping...
后训练数据
多智能体系统
数据污染
数据谱系
数据集演化
将聚合本身视为智能体任务,通过轻量级工具导航并行轨迹实现高效跨轨迹推理
Yoonsang Lee, Howard Yen, Xi Ye, Danqi Chen
多智能体协作
并行缩放
智能体
测试时计算
轨迹聚合
将物理模拟器转化为可扩展的问答生成器,用合成数据训练LLM提升物理推理能力
Mihir Prabhudesai, Aryan Satpathy, Yangmin Li, Zheyang Qin, Nikash Bhardwaj,...
强化学习
数据生成
物理模拟
问答系统
零样本迁移
提出推理时插拔式方法,通过交叉注意力路由实现多事件视频的精确时间控制,无需训练或架构修改
Gordon Chen, Ziqi Huang, Ziwei Liu
多事件合成
扩散模型
时间控制
注意力机制
视频生成
自动识别智能体能力缺失并合成针对性训练环境的端到端系统
Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Azalia Mirhoseini
LLM智能体
LoRA路由
合成环境
强化学习
能力分解
首篇系统综述 LLM 强化学习中信用分配的论文,梳理 2024-2026 年 47 种方法并提出粒度×方法学二维分类体系。
Chenchen Zhang
信用分配
大语言模型
强化学习
推理RL
智能体
NVIDIA 为推测解码算法提供兼顾语义多样性与生产级吞吐评估的统一基准
Talor Abramovich, Maor Ashkenazi, Carl, Putterman, Benjamin Chislett, Tiyasa...
LLM推理加速
TensorRT-LLM
vLLM
基准测试
推测解码
提出 TIPO,让移动 GUI 智能体按隐私画像生成结构异构的执行轨迹
Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu,...
DPO
MLLM
Mobile GUI Agent
Preference Optimization
Privacy Personalization
在导数空间用对抗目标训练连续流模型,仅10个epoch后训练即大幅降低FID
Shanchuan Lin, Ceyuan Yang, Zhijie Lin, Hao Chen, Haoqi Fan
后训练
图像生成
对抗训练
扩散模型
概率流ODE
构建1460题K12水平基准,解耦知识与推理,揭示SOTA模型仅62.8%
Junlin Liu, Shengnan An, Shuang Zhou, Dan Ma, Shixiong Luo, Ying Xie, Yuan...
Benchmark构建
LLM评测
多步推理
认知分类法
通用推理基准
让小模型接管扩散轨迹首尾步骤,中间保留大模型,省 17% 算力几乎不掉质量
Ivan Sedykh, Nikita Sorokin, Valentin Malykh
扩散语言模型
推理加速
掩码扩散语言模型
模型调度
步骤重要性
首个 UMM 统一代码库,标准化 15 个模型的评估与后训练,揭示架构统一≠表征统一。
Yinyi Luo, Wenwen Wang, Hayes Bai, Hongyu Zhu, Hao Chen, Pan He, Marios...
后训练
基准测试
多模态大模型
架构-表征解耦
统一评估
ZWM用单儿童868小时第一人称视频训练,无需任务标签即可零样本完成光流/深度/分割/物理推理
Khai Loong Aw, Klemen Kotar, Wanhee Lee, Seungwoo Kim, Khaled Jedoui, Rahul...
世界模型
儿童视觉发育
因果推断
脑-模型对齐
自监督学习
通过两阶段框架学习 64× 时间压缩的稠密运动潜空间,使目标条件运动生成比视频模型快 4 个数量级。
Nick Stracke, Kolja Bauer, Stefan Andreas Baumann, Miguel Angel Bautista,...
世界模型
流匹配
潜空间学习
目标条件生成
运动生成
用 APT4 替换通用分词器,波兰语 fertility 砍半且不掉性能。
Krzysztof Ociepa, Łukasz Flis, Remigiusz Kinas, Krzysztof Wróbel, Adrian Gwoździej
FOCUS初始化
分词器优化
波兰语LLM
灾难性遗忘
继续预训练
用滑窗推理+压缩摘要的动态上下文管理让8B模型刷新SWE-Bench记录
Shuquan Lian, Juncheng Liu, Yazhe Chen, Yuhong Chen, Hui Li
LLM智能体
上下文管理
强化学习
推理效率
软件工程
用医学知识库合成可控分布的推理题并通过半监督RL缓解罕见病数据稀缺。
Haolin Li, Shuyang Jiang, Ruipeng Zhang, Jiangchao Yao, Ya Zhang, Yanfeng Wang
医疗大模型
半监督学习
强化学习
数据合成
知识增强
用复向量空间中的连续相位旋转解决代理记忆中的静/动态时序冲突
Weixian Waylon Li, Jiaxin Zhang, Xianan Jim Yang, Tiejun Ma, Yiwen Guo
代理记忆
复向量相位旋转
时序知识图谱
知识图谱嵌入
语义门控
POLYGLOT SCORE评估10个LM多语种教学能力,规模非关键因素。
Lester James V. Miranda, Ivan Vulić, Anna Korhonen
合成数据
多语言学习
数据质量评估
监督微调
知识蒸馏
训练LLM在隐私对话中扮演双面间谍:用RL学会主动建模并误导攻击者信念。
Hanqi Xiao, Vaidehi Patil, Zaid Khan, Hyunji Lee, Elias Stengel-Eskin, Mohit Bansal
LLM智能体
信念引导
多轮对话
强化学习
心智理论
非线性外推低秩参数轨迹,37.5%算力削减下仍提升RLVR性能
Zhipeng Chen, Tao Qian, Wayne Xin Zhao, Ji-Rong Wen
LLM训练加速
RLVR
低秩建模
参数外推
模型优化
构建405道自然科学实验预测任务,揭示LLM在实验结果预测与可靠性校准上的双重缺陷
Udari Madhushani Sehwag, Elaine Lau, Haniyeh Ehsani Oskouie, Shayan Shabihi,...
LLM评估
基准测试
实验预测
校准评估
科学发现
ADD用加性水印+内积解码实现多比特图像水印,K=48下接近100%准确率。
An Luo, Jie Ding
假设检验
内容溯源
图像水印
多比特水印
深度学习
语义聚类+DCI-tree重排PagedAttention分页,极小预算维持近Full精度。
Yuzhen Mao, Qitong Wang, Martin Ester, Ke Li
CPU-GPU卸载
KV-cache压缩
PagedAttention
稀疏注意力
近似最近邻搜索
用 3021 道菜、5.27 张/菜的多视角图,系统评测 29 个视觉语言模型在精细分类、营养估计与饮食 VQA 三大任务上的真实能力。
Song Jin, Juntian Zhang, Xun Zhang, Zeying Tian, Fei Jiang, Guojun Yin, Wei...
Chain-of-Thought
VQA
基准测试
多视角
细粒度识别
用自我中心上下文投影缓解LLM-LLM对话中的人格漂移与回声现象
Han Luo, Guy Laban
LLM
对话生成
数据合成
智能体模拟
提出一种区域级图结构表征 Distortion Graph,配套 528K 数据集与 PANDA 模型,让图像对失真评估从整体走向细粒度。
Muhammad Kamran Janjua, Abdul Wahab, Bahador Rashidi
区域级理解
图像质量评估
图结构学习
多模态大模型
细粒度视觉评估
首个面向符号音乐的 LilyPond 策展数据集与代码预训练编码器
Matteo Spanio, Ilay Guler, Antonio Rodà
Baroque音乐
LilyPond
代码预训练
符号音乐
线性探测
诊断 VLM 计数的视觉注意力塌陷,并提出 MAS 注意力预算正则。
Duy Le Dinh Anh, Patrick Amadeus Irawan, Tuan Van Vo
VLM 评测
可解释性
失败诊断
物体计数
视觉-语言模型
首个面向近距HRI的VLM,任务感知地定位3D人体关键点
Ao Li, Yonggen Ling, Yiyang Lin, Yuji Wang, Yong Deng, Yansong Tang
3D人体姿态估计
GRPO
人机交互
任务感知
强化学习微调
在12个模型中定位到「门-放大器」安全路由电路,揭示其早期承诺漏洞。
Gregory N. Frank
AI安全
对齐
机制可解释性
注意力分析
电路发现
首个专为社科人文领域预训练的自回归语言模型,配套不生成文本只标“意外”的 MIRROR 界面
João Gonçalves, Sonia de Jager, Petr Knoth, David Pride, Nick Jelicic
Expectancy Violation Theory
MIRROR 界面
因果语言模型
社科人文(SSH)
非生成式 AI
用 7 属性+10 检查点+250 故事形式化衡量 AI 的连续性
Samuel Sameer Tanguturi
AI 连续性
NeurIPS 2025
RAG
评估基准
长记忆