首次系统研究将代码渲染为图像输入多模态LLM,实现最高8倍token压缩且性能不降
Yuling Shi, Chaoxiang Xie, Zhensu Sun, Yeheng Chen, Chenxu Zhang, Longfei...
OCR
代码理解
多模态LLM
效率优化
视觉压缩
通过四元组抽象动态创建专用子智能体,实现复杂长周期任务的自动化编排。
Jianhao Ruan, Zhihao Xu, Yiran Peng, Fashen Ren, Zhaoyang Yu, Xinbing Liang,...
任务分解
多智能体系统
智能体
编排
自动化
LLMs的CoT推理是近视的增量转换,而非全局规划
Liyan Xu, Mo Yu, Fandong Meng, Jie Zhou
LLM推理
不确定性估计
可解释性
思维链
隐藏状态
预算感知MCTS+模块化构建+比较反思记忆,自动化MLE研究
Jiefeng Chen, Bhavana Dalvi Mishra, Jaehyun Nam, Rui Meng, Tomas Pfister,...
代码生成
智能体
机器学习工程
树搜索
自动机器学习
隐式3D运动表征实现视角解耦的可控人体视频生成
Zhixue Fang, Xu He, Songlin Tang, Haoxian Zhang, Qingfeng Li, Xiaoqiang Liu,...
3D感知
人体动画
扩散模型
视频生成
运动控制
利用GitHub PR链构建长视野训练数据,仅239个样本显著提升智能体性能
Mohan Jiang, Dayuan Fu, Junhao Shi, Ji Zeng, Weiye Si, Keyu Li, Xuefeng Li,...
Pull Request链
数据合成
智能体训练
软件工程
长视野智能体
批判碎片化的任务知识注入范式,提出统一世界模型框架的五大核心组件
Bohan Zeng, Kaixin Zhu, Daili Hua, Bozhou Li, Chengzhuo Tong, Yuran Wang,...
世界模型
具身智能
多模态
综述
自动驾驶
通过角色分离蒸馏,在少步生成中同时保持样本多样性和感知质量
Tianhe Wu, Ruibin Li, Lei Zhang, Kede Ma
图像生成
多样性保持
少步生成
扩散模型
模型蒸馏
用LLM学习的环境模拟器替代Docker容器,实现无物理执行的软件工程智能体训练与推理
Shuang Sun, Huatong Song, Lisheng Huang, Jinhao Jiang, Ran Le, Zhihao Lv,...
Docker-free
强化学习
测试时缩放
环境模拟
软件工程智能体
开源全流程后训练框架,用32B模型在SWE-bench Verified上达到70.8%解决率
Huatong Song, Lisheng Huang, Shuang Sun, Jinhao Jiang, Ran Le, Daixuan...
SWE-bench
代码导航
后训练
强化学习
软件工程智能体
用 Beta 分布动态建模模型能力,自适应分配 RL rollout 预算以优化探索-利用权衡
Zhiyuan Yao, Yi-Kai Zhang, Yuxin Chen, Yueqing Sun, Zishan Xu, Yu Yang,...
GRPO
LLM 推理
强化学习
数学推理
资源分配
通过强化学习训练评分标准生成器,为DeepResearch报告提供偏好对齐的细粒度奖励信号
Changze Lv, Jie Zhou, Wentao Zhao, Jingwen Xu, Zisu Huang, Muzhao Tian,...
DeepResearch
人类偏好
奖励建模
强化学习
评估标准
提出2D探测+并行思维控制器,节省35%推理token且不损精度
Tong Zheng, Chengsong Huang, Runpeng Dai, Yun He, Rui Liu, Xin Ni, Huiwen...
LLM效率
并行推理
推理加速
测试时计算优化
自一致性
提出 UnifiedReward-Flex,通过上下文自适应层次化推理动态构建个性化奖励模型。
Yibin Wang, Yuhang Zang, Feng Han, Jiazi Bu, Yujie Zhou, Cheng Jin, Jiaqi Wang
偏好优化
多模态
奖励模型
强化学习
视觉生成
视频原生推理重排序器,两阶段训练实现31% nDCG@10提升
Tyler Skow, Alexander Martin, Benjamin Van Durme, Rama Chellappa, Reno Kriz
信息检索
多模态推理
大语言模型
视频检索
重排序
提出广域研究范式,用动态多智能体架构和端到端RL解决大规模并行信息检索任务
Ziyang Huang, Haolin Ren, Xiaowei Yuan, Jiawei Wang, Zhongtao Jiang, Kun Xu,...
Agent优化
信息检索
多智能体系统
强化学习
知识图谱
通过平稳噪声核统一掩码与均匀噪声扩散,实现理解-生成帕累托前沿突破
Yue Liu, Yuzhong Zhao, Zheyong Xie, Qixiang Ye, Jianbin Jiao, Yao Hu,...
噪声核设计
图像生成
大模型扩展
离散扩散模型
语言模型
用RL自动学习同伦方法的步长和终止策略,统一解决优化/求根/采样等多类问题
Jiayao Mai, Bangyan Liao, Zhenjun Zhao, Yingping Zeng, Haoang Li, Javier...
优化
同伦方法
强化学习
采样
预测-校正
通过动态token级稀疏化,在128K上下文下实现3.23倍注意力加速,精度损失小于1%
Dongwon Jo, Beomseok Kang, Jiwon Song, Jae-Joon Kim
LLM推理优化
模型加速
注意力机制
稀疏注意力
长上下文推理
通过循环一致性目标约束误差累积,实现稳定长时域视频生成
Junchao Huang, Ziyang Ye, Xinting Hu, Tianyu He, Guiyu Zhang, Shaoshuai Shi,...
世界模型
扩散模型
自回归生成
视频生成
长时域建模
首个百万级全合成隐私数据集,4B模型超越GPT-5
Hyunwoo Kim, Niloofar Mireshghallah, Michael Duan, Rui Xin, Shuyue Stella...
合成数据
大语言模型
数据最小化
文本脱敏
隐私保护
通过识别并移除prompt中的干扰token,提升RLVR训练的采样效率和推理性能
Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin
RLVR
大语言模型推理
强化学习
指令优化
采样效率
多智能体框架+仓库反向翻译自训练+全栈评测基准,解决LLM生成网站缺失后端的问题
Zimu Lu, Houxing Ren, Yunqiao Yang, Ke Wang, Zhuofan Zong, Mingjie Zhan, Hongsheng Li
代码生成评测
全栈开发
大语言模型
智能体编程
自改进训练
提出首个评估VLM自适应推理模式选择能力的基准,揭示准确率与模式选择能力解耦现象
Xintong Zhang, Xiaowen Zhang, Jongrong Wu, Zhi Gao, Shilin Yan, Zhenxin...
基准测试
多模态推理
工具调用
自适应推理
视觉语言模型
混合头稀疏注意力,长上下文推理提速2.7倍且质量不降
Gang Lin, Dongfang Li, Zhuoen Chen, Yukun Shi, Xuhui Chen, Baotian Hu, Min Zhang
KV缓存优化
注意力头特化
稀疏注意力
长上下文推理
高效推理
用模型合并代替重复训练代理模型,高效搜索最优预训练数据混合比例
Shengrui Li, Fei Zhao, Kaiyan Zhao, Jieying Ye, Haifeng Liu, Fangcheng Shi,...
LLM
数据工程
数据混合
模型合并
预训练
首个面向印尼文化的大规模多跳问答数据集,揭示 LLM 文化推理的系统性偏差。
Vynska Amalia Permadi, Xingwei Tan, Nafise Sadat Moosavi, Nikos Aletras
LLM评估
印尼语
多跳问答
数据集构建
文化理解
Actor-Refiner协作框架解决搜索推理中的多尺度信用分配问题
Bowei He, Minda Hu, Zenan Xu, Hongru Wang, Licheng Zong, Yankai Chen, Chen...
GRPO
信用分配
多跳问答
强化学习
检索增强生成
通过解耦KV缓存为共享基缓存和低秩适配器缓存,实现多LoRA智能体系统的内存与计算双重优化
Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim
KV缓存优化
LoRA
内存优化
多智能体系统
推理效率
揭示指令令牌作为模态仲裁结构锚点,浅层缓冲深层仲裁的稀疏头机制
Yu Zhang, Mufan Xu, Xuefeng Bai, Kehai chen, Pengfei Zhang, Yang Xiang, Min Zhang
可解释性
因果分析
多模态大语言模型
模态遵循
注意力机制
提出智能体进化范式和A-Evolve框架,通过部署时自主诊断与修复实现LLM持续适应
Minhua Lin, Hanqing Lu, Zhan Shi, Bing He, Rui Mao, Zhiwei Zhang, Zongyu Wu,...
持续学习
智能体
框架设计
自进化系统
部署时适应
将FFN解耦为无上下文的token级神经检索记忆,提升可解释性并支持预计算卸载
Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Arnav Kundu, Mehrdad...
Transformer架构
可解释性
模型压缩
模型效率
神经记忆网络
评测基准,隔离视觉知识与推理,评估MLLM的实体识别能力
Runjie Zhou, Youbo Shao, Haoyu Lu, Bowei Xing, Tongtong Bai, Yujie Chen, Jie...
世界知识
基准评测
多模态
大语言模型
视觉问答
Gemini Deep Think 作为研究合作者解决多领域开放问题
David P. Woodruff, Vincent Cohen-Addad, Lalit Jain, Jieming Mao, Song Zuo,...
LLM应用
人机协作
数学推理
理论计算机科学
科学发现
COBALT方法通过上下文赌博机学习结合在线和离线RL,提升多轮代码生成性能。
Ziru Chen, Dongdong Chen, Ruinan Jin, Yingbin Liang, Yujia Xie, Huan Sun
LLM训练
上下文赌博机
代码生成
多轮交互
强化学习
通过让AI智能体重新发现已发表ML论文的核心发现,评估其全周期科学研究能力
Zhen Wang, Fan Bai, Zhongyan Luo, Jinyan Su, Kaiser Sun, Xinle Yu, Jieyuan...
AI智能体
LLM推理
可复现性评估
基准测试
科学研究自动化
提出基于拍卖的多智能体路由框架SALE,让小型智能体竞标任务,实现成本降低35%且性能超越最大智能体
Lisa Alazraki, William F. Shen, Yoram Bachrach, Akhil Mathur
任务分配
多智能体系统
成本效率
模型路由
测试时优化
基于MLLM的对象嵌入模型,用对象+IoU双token实现精细视觉理解与检索
Shenghao Fu, Yukun Su, Fengyun Rao, Jing Lyu, Xiaohua Xie, Wei-Shi Zheng
多模态嵌入
大语言模型
对比学习
对象检测
视觉检索
通过在预填充阶段裁剪深层网络、在解码阶段保留完整模型,实现 1.37 倍加速且精度几乎无损
Junhui He, Zhihui Fu, Jun Wang, Qingan Li
KV缓存
大语言模型
推理加速
模型剪枝
视觉语言模型
不确定性感知框架,通过校准实现GUI grounding的风险控制
Qingni Wang, Yue Fan, Xin Eric Wang
GUI grounding
不确定性量化
人机交互
选择性预测
风险控制
模拟放射科医生先扫视后聚焦的诊断策略,用强化学习筛选CT子体块,实现泛癌种高效精准筛查
Linshan Wu, Jiaxin Zhuang, Hao Chen
CT分割
医学图像分析
强化学习
泛癌种筛查
策略优化
提出CoViP框架,通过个性化图像摘要和强化学习实现上下文视觉个性化
Yeongtak Oh, Sangwon Yu, Junsung Park, Han Cheol Moon, Jisoo Mok, Sungroh Yoon
上下文理解
个性化
多模态学习
强化学习
视觉语言模型
揭示基于频域变换的隐私保护人脸识别系统存在严重身份泄露风险
Wenqi Guo, Shan Du
人脸识别
对抗攻击
模型蒸馏
身份泄露
隐私保护
SimpleNorm在线性映射后归一化,降低Hessian范数,学习率提升3-10倍。
Marco Chen, Xianbiao Qi, Yelin He, Jiaquan Ye, Rong Xiao
GPT
Hessian 分析
Transformer
优化理论
大语言模型
通过多轮强化学习训练MLLM自主调用分割工具,实现超越人工提示的医学图像分割
Shengyuan Liu, Liuxin Bao, Qi Yang, Wanting Geng, Boyun Zheng, Chenxin Li,...
交互式分割
医学图像分割
多模态大语言模型
强化学习
智能体
LLM智能体评估存在混杂变量,需统一框架实现公平比较
Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su
LLM
可复现性
基准测试
智能体评估
标准化
提出DAIL自蒸馏方法,通过分布对齐和对比学习将专家解法转化为可学习的推理轨迹
Ethan Mendes, Jungsoo Park, Alan Ritter
大语言模型
对比学习
推理增强
数学推理
自蒸馏
通过实例级对比学习和分布级最优传输双粒度对齐,弥合大模型语义与推荐ID信号的异质性鸿沟
Yuecheng Li, Hengwei Ju, Zeyu Song, Wei Yang, Chi Lu, Peng Jiang, Kun Gai
图神经网络
多模态推荐
大语言模型
最优传输
语义对齐
通过界面脚手架打破四大反馈障碍,让用户给AI提供更高质量的反馈
Nikhil Sharma, Zheng Zhang, Daniel Lee, Namita Krishnan, Guang-Jie Ren,...
Grice准则
LLM
人机交互
协作设计
对话代理
通过在解码器-only LLM中引入编码器插件实现高效的位置无关缓存
Shiju Zhao, Junhao Hu, Jiaqi Zheng, Guihai Chen
KV缓存
LLM服务
位置无关缓存
推理优化
编码器-解码器