196B MoE 模型仅激活 11B 参数,通过架构与 RL 创新达到 GPT-5.2 水平
Ailin Huang, Ang Li, Aobo Kong, Bin Wang, Binxing Jiao, Bo Dong, Bojun Wang,...
MoE
多 Token 预测
强化学习
智能体
高效推理
仅用60K纯文本对微调,从视频MLLM中间层提取嵌入即可达到视频检索SOTA
Issar Tzachor, Dvir Samuel, Rami Ben-Ari
多模态大语言模型
嵌入学习
视频-文本检索
轻量微调
零样本检索
首个评估多模态生成模型流体智能的基准,揭示当前模型存在严重的执行差距
Ruichuan An, Sihan Yang, Ziyu Guo, Wei Dai, Zijun Shen, Haodong Li, Renrui...
多模态生成
注意力机制
流体智能
统一多模态模型
评估基准
提出一个专为物理AI设计的多模态批评模型,通过自我参照的批评微调来提升物理推理和评估能力。
Tianyi Xiong, Shihao Wang, Guilin Liu, Yi Dong, Ming Li, Heng Huang, Jan...
GRPO
具身智能
多模态批评模型
强化学习
机器人学
通过推理时表征工程提升LLM工具调用的可执行性,无需微调模型
Youjin Wang, Run Zhou, Rong Fu, Shuaishuai Cao, Hongwei Zeng, Jiaxuan Lu,...
LLM代理
工具调用
推理时控制
激活引导
表征工程
Aletheia 数学研究智能体实现自主证明与论文生成
Tony Feng, Trieu H. Trinh, Garrett Bingham, Dawsen Hwang, Yuri Chervonyi,...
AI智能体
大语言模型
推理时缩放
数学推理
自主研究
通过更新门和退出门解决长上下文推理中的记忆爆炸与冗余计算问题
Leheng Sheng, Yongtao Zhang, Wenchang Ma, Yaorui Shi, Ting Huang, Xiang...
大语言模型
强化学习
记忆机制
长上下文推理
门控机制
提出OmniDenseCaptioning任务,生成六维度剧本式视频描述
Linli Yao, Yuancheng Wei, Yaojie Zhang, Lei Li, Xinlong Chen, Feifan Song,...
多模态
强化学习
时间定位
视频理解
音视频描述
提出梯度引导软掩码方法优化LLM用户表示学习,9个工业任务上超越现有方法
Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin,...
大语言模型
对比学习
注意力掩码
用户表示学习
行为编码
用LLM协同进化破坏-修复算子对,自动设计大邻域搜索启发式,超越经典求解器
Baoyun Zhao, He Wang, Liang Zeng
LLM代码生成
大邻域搜索
组合优化
自动启发式设计
进化算法
通过自我蒸馏的元经验增强LLM强化学习的元学习框架
Shiting Huang, Zecheng Li, Yu Zeng, Qingnan Ren, Zhen Fang, Qisheng Su, Kou...
元学习
大型语言模型
强化学习
推理能力
知识蒸馏
固定更新预算下,少样本多轮训练比多样本单轮训练显著提升推理性能
Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano
大语言模型
数据效率
监督微调
训练动态
链式推理
用强化学习自动端到端生成LLM适配的数据处理配方,性能媲美顶级闭源模型。
Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen
LLM适配
强化学习
数据工程
数据配方生成
自动化机器学习
免训练的 LLM 压缩框架,通过单步稀疏字典分解和全局背包优化实现 SOTA 压缩效果
Ammar Ali, Baher Mohammad, Denis Makhov, Dmitriy Shopkhoev, Magauiya...
LLM
低秩分解
后训练优化
字典学习
模型压缩
首个聚焦功能级开发的智能体编程基准,揭示最强模型仅11%通过率的巨大挑战
Qixing Zhou, Jiacheng Zhang, Haiyang Wang, Rui Hao, Jiahe Wang, Minghao Han,...
LLM评估
代码生成
基准测试
智能体编程
软件工程
用卡尔曼滤波平滑token级重要性采样比率,提升大语言模型强化学习的稳定性与效果
Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An
卡尔曼滤波
大语言模型
强化学习
数学推理
策略优化
提出弹性深度的循环Transformer,通过时间与步长调制实现预算自适应的潜在推理
Ahmadreza Jeddi, Marco Ciccone, Babak Taati
动态计算
弹性深度
循环Transformer
潜在推理
语言建模
首个游戏开发基准测试,评估LLM智能体在复杂多模态游戏开发任务中的表现
Wayne Chi, Yixiong Fang, Arnav Yayavaram, Siddharth Yayavaram, Seth Karten,...
Godot引擎
基准测试
多模态理解
智能体评估
游戏开发
用迭代解码替代自回归,让小模型在测试时持续推理远超训练长度
Ian Wu, Yuxiao Qu, Amrith Setlur, Aviral Kumar
大语言模型
强化学习
推理
摘要生成
测试时计算
让模型自主管理上下文,从被动预测器转变为状态感知智能体
Xiaoyuan Liu, Tian Liang, Dongyang Ma, Deyu Zhou, Haitao Mi, Pinjia He, Yan Wang
上下文管理
工具增强
强化学习
智能体
记忆系统
构建持续更新的无污染医疗基准,用自动化评分标准替代LLM-as-a-Judge评估临床推理能力
Zhiling Yan, Dingjie Song, Zhe Fang, Yisheng Ji, Xiang Li, Quanzheng Li, Lichao Sun
LLM评估
临床推理
医疗AI
基准测试
数据污染
提出分块优势估计方法,为LLM结构化生成中的不同目标分配独立优势信号,解决奖励干扰问题
Kirill Pavlenko, Alexander Golubev, Simon Karasik, Boris Yangel
GRPO
信用分配
多目标优化
大语言模型
强化学习
通过集中学习+分布式rollout与有界陈旧度控制,将RL训练成本降低36%
Jie Xiao, Meng Chen, Qingnan Ren, Jingwei Song, Jiaqi Huang, Yangshen Deng,...
GRPO
LLM后训练
分布式系统
大规模并行推理
强化学习
通过解耦语义推理与时间生成,让全模态LLM原生支持语音同步3D面部动画
Haoyu Zhang, Zhipeng Li, Yiwen Guo, Tianshu Yu
3D动画
多模态
大语言模型
语音生成
面部动画
利用智能体从健康环境反向构造失败状态,自动生成 1655 个 CLI 任务用于训练编码智能体
Yusong Lin, Haiyang Wang, Shuzhe Wu, Lue Fan, Feiyang Pan, Sanyuan Zhao, Dandan Tu
CLI 任务
微调
数据合成
智能体编码
环境交互
三场景经济环境基准,揭示LLM长程决策中无单一模型全面占优的系统性瓶颈
Xavier Hu, Jinxiang Xia, Shengze Xu, Kangqi Song, Yishuo Yuan, Guibin Zhang,...
LLM Agent
决策智能
基准评测
经济仿真
长程规划
用户通过绘制2D骨骼线稿和输入文本提示,即可生成可动画化的3D骨骼绑定模型
Ruisi Zhao, Haoren Zheng, Zongxin Yang, Hehe Fan, Yi Yang
3D生成
图神经网络
扩散模型
条件生成
骨骼绑定
提出FactCheck基准,系统评估LLM在知识图谱事实验证中的能力、RAG效果与多模型共识策略
Farzad Shami, Stefano Marchesin, Gianmaria Silvello
RAG
事实验证
基准测试
多模型集成
大语言模型
提出 RLTR,在 RLVR 中加入跨模型可迁移奖励,提升推理鲁棒性与采样一致性。
Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin
LLM 推理
RLTR
RLVR
多数投票一致性
强化学习
针对波兰语的轻量级安全分类器,社区标注6885条数据,精度远超多语言大模型
Krzysztof Wróbel, Jan Maria Kowalski, Jerzy Surma, Igor Ciuciura, Maciej Szymański
LLM安全
RoBERTa
内容审核
多标签分类
安全分类
首个纯视觉输入的图像编辑模型越狱攻击方法,配合安全基准与防御方案
Jiacheng Hou, Yining Sun, Ruochong Jin, Haochen Han, Fangming Liu, Wai Kin...
AI安全
图像编辑
多模态大模型
对抗攻击
越狱攻击
将搜索QP子任务统一为生成范式,通过渐进式对齐策略实现工业级部署
Jianzhao Huang, Xiaorui Huang, Fei Zhao, Yunpeng Liu, Hui Zhang, Fangcheng...
多任务学习
大语言模型
工业落地
强化学习
搜索系统
通过可插拔LoRA模块让推理模型主动清理冗余上下文,实现可持续长链推理
Yilun Zheng, Dongyang Ma, Tian Liang, Jiahao Xu, Xinting Huang, Lihui Chen,...
LoRA
上下文压缩
推理模型
测试时计算
长链推理
用上下文-预测融合机制实现LLM连续空间推理,克服特征坍缩
Weihao Liu, Dehai Min, Lu Cheng
LLM推理
思维链
潜空间推理
特征坍缩
课程学习
首个面向多智能体买卖谈判的LLM基准测试框架,覆盖110+任务场景
Xianyang Liu, Shangding Gu, Dawn Song
LLM谈判
博弈论
基准测试
多智能体系统
经济交互
通过联合优化记忆提取与管理,构建可泛化的自进化智能体记忆系统
Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong...
GRPO优化
大语言模型
强化学习
自进化智能体
记忆管理
智能体自发编写的测试主要是观察性调试工具,而非驱动任务成功的关键因素
Zhi Chen, Zhensu Sun, Yuling Shi, Chao Peng, Xiaodong Gu, David Lo, Lingxiao Jiang
LLM
SWE-bench
代码智能体
自动化测试
软件工程
显式建模推理延迟,实现秒级VLM推理下的实时机器人导航
Zhiyu Huang, Yun Zhang, Johnson Liu, Rui Song, Chen Tang, Jiaqi Ma
延迟感知
异步推理
强化学习
机器人导航
视觉语言模型
通过梯度归因定位安全关键神经元并进行聚类微调,在极少参数下显著提升代码安全性
Maximilian Thang, Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Jona te...
LLM代码生成
代码安全
参数高效微调
可解释性
神经元级优化
用动量混合参数化非线性轨迹,2步即可逼近50步教师模型的生成质量
Zihan Yang, Shuyuan Tu, Licheng Zhang, Qi Dai, Yu-Gang Jiang, Zuxuan Wu
Flow Matching
LoRA
加速推理
图像生成
模型蒸馏
提出L3框架,通过识别并静默MoE模型中的安全专家来绕过安全防护,攻击成功率高达86.3%
Jona te Lintelo, Lichao Wu, Stjepan Picek
MoE架构
专家路由
安全对抗
模型安全
越狱攻击
预训练时使用较大的weight decay能显著提升模型在下游微调任务中的表现
Tessa Han, Sebastian Bordt, Hanlin Zhang, Sham Kakade
微调
权重衰减
模型可塑性
正则化
预训练优化
首次系统研究计算机使用代理中的动作错位问题,提出检测基准和防护机制
Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li,...
人机交互
基准测试
安全对齐
计算机使用代理
防护机制
提出统一框架FedPS实现联邦学习中的隐私保护数据预处理
Xuefeng Xu, Graham Cormode
分布式计算
数据隐私
数据预处理
联邦学习
通信效率
通过价值引导解码和树结构优势强化,解决生成式推荐中概率-奖励错配问题
Jie Jiang, Yangru Huang, Zeyu Wang, Changping Wang, Yuling Xiong, Jun Zhang, Huan Yu
GRPO
强化学习
生成式推荐
解码策略
语义ID
PPO+GNN框架解决多目标调度,同时最小化加权延误和总准备时间
Bulent Soykan, Sean Mondesire, Ghaith Rabadi, Grace Bochenek
图神经网络
多目标优化
深度强化学习
组合优化
调度优化
提出轨迹级可解释性框架MEP,证明静态归因方法无法诊断智能体多步执行失败
Sindhuja Chaduvula, Jessee Ho, Kina Kim, Aravind Narayanan, Mahshid...
SHAP
可解释AI
大语言模型
智能体AI
轨迹级诊断
用GRPO+LoRA训练改写策略对抗检测器集成,在4个检测器上实现97.6%攻击成功率
Suraj Ranganath, Atharv Ramesh
AI文本检测
对抗攻击
强化学习
文本改写
鲁棒性评估