让LLM直接用grep/bash搜索原始语料,在多个基准上击败传统稀疏/密集检索器
Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai,...
RAG新范式
信息检索
工具使用
智能体搜索
检索增强生成
用单一任务结果信号同时驱动技能选择、利用与蒸馏三阶段协同演化
Yaorui Shi, Yuxin Chen, Zhengxi Lu, Yuchun Miao, Shugui Liu, Qi GU, Xunliang...
GRPO
LLM Agent
Long-horizon Tasks
Reinforcement Learning
Skill Library
通过分层潜在变量分解将文本生成为连续语义先验传输再条件解码。
Hongcan Guo, Qinyu Zhao, Yian Zhao, Shen Nie, Rui Zhu, Qiushan Guo, Feng...
分层生成
扩散语言模型
流匹配
潜在变量
非自回归
用紧凑的"全局激活签名"代替局部检索,引导长上下文RAG与Agent记忆访问。
Yuqing Li, Jiangnan Li, Mo Yu, Zheng Lin, Weiping Wang, Jie Zhou
RAG
全局激活
智能体记忆
次模选择
认知科学启发
用7个异构LLM生成候选答案,由GPT-4o-mini逐例法官挑选,多轮RAG任务夺冠。
Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan...
LLM集成
SemEval
多轮对话
忠实性评估
检索增强生成
用强化学习训练技能策展器,让 LLM 智能体在长任务流中持续积累并精炼可复用技能。
Siru Ouyang, Jun Yan, Yanfei Chen, Rujun Han, Zifeng Wang, Bhavana Dalvi...
LLM Agent
Procedural Memory
Reinforcement Learning
Self-Evolution
Skill Curation
用未来-现实一致性验证器让机器人选择性信任WAM预测的未来。
Rui Wang, Yue Zhang, Jiehong Lin, Kuncheng Luo, Jianan Wang, Zhongrui Wang,...
RoboTwin
世界-动作模型
扩散策略
未来验证
机器人操控
梯度空间均衡多奖励,单模型同时提升扩散RL所有质量维度
Canyu Zhao, Hao Chen, Yunze Tong, Yu Qiao, Jiacheng Li, Chunhua Shen
图像生成
多奖励优化
强化学习
扩散模型
梯度调和
在GRPO失败样本前添加Lorem Ipsum乱文,破解零优势困境以拓宽LLM推理探索。
Langlin Huang, Chengsong Huang, Jinyuan Li, Donghong Cai, Yuyi Yang, Jiaxin Huang
GRPO
LLM推理
强化学习
探索策略
提示工程
首篇系统综述大模型时代音视觉感知/生成/交互三大支柱的统一分类法与方法论
You Qin, Kai Liu, Shengqiong Wu, Kai Wang, Shijian Deng, Yapeng Tian, Junbin...
全模态对话
具身智能
多模态大模型
综述
音视频生成
在 episode 起始采样全局策略,条件化后续所有动作,层级化 GRPO 训练。
Xiangyuan Xue, Yifan Zhou, Zidong Wang, Shengji Tang, Philip Torr, Wanli...
GRPO
LLM agents
agentic RL
hierarchical policy
long-horizon tasks
首次把DMD蒸馏从离散时间锚点迁移到连续时间域,无需GAN或奖励模型即可在4步文生图中取得SOTA。
Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan,...
分布匹配
少步生成
扩散模型
文生图
模型蒸馏
DeepMind 构建数学家多 Agent 协作工作台,支撑开放式研究的异步状态化探索。
Daniel Zheng, Ingrid von Glehn, Yori Zwols, Iuliya Beloshapka, Lars Buesing,...
AI for Math
Agentic AI
FrontierMath
Mathematical Reasoning
Multi-Agent System
RL训练算力随推理深度呈幂律,逻辑表达力决定幂律指数。
Tianle Wang, Zhaoyang Wang, Guangchen Lan, Xinpeng Wei, Sipeng Zhang,...
DAPO/GRPO
Qwen3
RL后训练
合成逻辑数据
幂律缩放
多专家Agent闭环迭代,实测改进三套公开训练配方。
Jingjie Ning, Xiaochuan Li, Ji Zeng, Hao Kang, Chenyan Xiong
Agent
AutoML
Closed-loop
LLM
Training Recipe
用轮次分组归一化与自适应裁剪改进智能体强化学习的过程信用分配
Dingwei Chen, Zefang Zong, Zhipeng Ma, Leo Luo, Yang Li, Chengming Li, Peng...
工具调用
强化学习
智能体大模型
策略优化
过程信用分配
用全局共享专家池替代逐层私有专家,使专家参数随深度亚线性扩展
Minbin Huang, Han Shi, Chuanyang Zheng, Yimeng Wu, Guoxuan Chen, Xintong Yu,...
LLM架构
专家共享
混合专家
负载均衡
路由机制
无监督训练MoE实现域级专家模块化,支持子集独立部署。
Ryan Wang, Akshita Bhagia, Sewon Min
LLM预训练
MoE
内存高效推理
模块化
涌现专家分组
在 Transformer 每层注入 K 路词元身份记忆,解决罕见词欠训练与上下文塌缩。
Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Mehrdad Farajtabar, Minsik Cho
Lipschitz约束
Transformer架构
机制创新
罕见词建模
词嵌入
在 LLM 隐藏层发现的微观-宏观社会粒度轴:对齐 PC1、跨模型可迁移、可因果引导。
Chonghan Qin, Xiachong Feng, Ziyun Song, Xiaocheng Feng, Jing Xiong, Lingpeng Kong
可解释性
多智能体仿真
潜在方向
激活引导
表征工程
用RL联合优化起草与编辑,让离散扩散驾驶规划真正学会自纠错。
Huimin Wang, Yue Wang, Bihao Cui, Pengxiang Li, Ben Lu, Mingqian Wang, Tong...
VLA规划
强化学习
离散扩散
自动驾驶
自纠错
用语义验证替代坐标监督,实现无标注的地理空间定位自进化
Liang Yao, Fan Liu, Shengxiang Xu, Chuanyi Zhang, Rui Min, Shimin Di, Yuhui Zheng
GRPO
地理空间推理
多模态大模型
强化学习
自监督
首个统一表格分类与检索的通用嵌入模型 TabEmbed,及配套的 TabBench 基准。
Minjie Qiang, Mingming Zhang, Xiaoyi Bao, Xing Fu, Yu Cheng, Weiqiang Wang,...
基础模型
对比学习
嵌入模型
检索增强生成
表格学习
为数据受限训练提出加性过拟合惩罚,量化重复代价并给出新计算最优分配建议。
Justin Lovelace, Christian Belardi, Srivatsa Kundurthy, Shriya Sudhakar,...
Chinchilla
数据受限训练
权重衰减
标度律
过拟合
一个融合了六大数据源、25 万条演奏记录、含音符级对齐与质量标签的大规模钢琴 MIDI 统一数据集。
Ilya Borovik
MIDI
分数对齐
数据集
演奏建模
符号化音乐
面向LLM生成Triton内核的基准,揭示任务结构主导正确性、迭代只修不快。
Han Wang, Jintao Zhang, Kai Jiang, Haoxu Wang, Jianfei Chen, Jun Zhu
GPU内核
LLM代码生成
Triton
基准评测
硬件效率
揭示 GRPO 中两种聚合规则的偏差,提出均衡聚合 BA。
Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui...
GRPO
LLM推理
RLVR
强化学习
聚合偏差
NCBI/Ensembl/UniProt生物医学工具调用数据集,4B模型反超GPT-5.1
Xin Gao, Ruiyi Zhang, Meixi Du, Peijia Qin, Pengtao Xie
LLM微调
工具调用
数据集
智能体
生物医学
提出"无基准安全评分"新类别与工具SimpleAudit,三方方差分解建无标签验证链。
Sushant Gautam, Finn Schwall, Annika Willoch Olstad, Fernando Vallecillos...
JTA-loop
LLM安全评估
工具SimpleAudit
挪威公共部门
方差分解
深度足够时,Transformer 隐式推理可逼近 CoT 显式推理
Enrico Vompa, Tanel Tammet
Chain-of-Thought
Horn 子句
Transformer 推理
扩展性定律
演绎逻辑
首个统一多模态领域泛化基准,揭示专门方法相对ERM基线仅有微弱提升。
Hao Dong, Hongzhao Li, Shupan Li, Muhammad Haris Khan, Eleni Chatzi, Olga Fink
Benchmark
可信度
基准研究
多模态学习
领域泛化
把CoT推理与最终打分解耦的视频奖励模型,解决生成式奖励训练不稳定。
Yuan Wang, Ouxiang Li, Yulong Xu, Borui Liao, Jiajun Liang, Jinghan Li, Meng...
Bradley-Terry
CoT推理
DeScore
GRPO
MLLM
用上三角几何约束让多个领域适配器可堆叠成准阿贝尔群,O(1)推理并缓解灾难性遗忘。
Pranav Mantini, Shishir K. Shah
CLIP适配器
多领域适应
持续学习
灾难性遗忘
知识组合
用HQKAN模块替换GPT-2式GQE中的重型FFN,参数缩减66%且保持化学精度。
Yu-Cheng Lin, Yu-Chao Hsu, I-Shan Tsai, Chun-Hua Lin, Kuo-Chung Peng,...
QSCI
Transformer压缩
变分量子算法
柯尔莫哥洛夫-阿诺尔德网络
生成式模型
用标量能量函数统一扩散模仿学习与逆强化学习,无需对抗训练即可恢复奖励信号
Yanbiao Ji, Qiuchang Li, Yuting Hu, Shaokai Wu, Wenyuan Xie, Guodong Zhang,...
扩散策略
机器人操控
模仿学习
能量模型
逆强化学习
提出解耦生成管线Sparkle,合成14万段高质量视频背景替换数据并发布最大评测基准。
Ziyun Zeng, Yiqi Lin, Guoqiang Liang, Mike Zheng Shou
扩散模型
指令引导生成
数据集构建
背景替换
视频编辑
构建1334份真实大学电路分析手写作业基准,从识别与下游评分两端同时暴露商用MLLM潜伏的视觉理解失败。
Weiyu Sun, Liangliang Chen, Yongnuo Cai, Huiru Xie, Yi Zeng, Ying Zhang
LLM-as-a-Judge
STEM基准
多模态大模型评测
手写识别
教育AI