统一的8B参数具身基础模型,整合认知、规划和定位能力,实现SOTA性能
Yifu Yuan, Yaoting Huang, Xianze Yao, Yutong Li, Shuoheng Zhang, Linqi Han,...
具身智能
多模态学习
强化学习
机器人操作
空间推理
提出Arbor框架,通过假设树组织长期研究过程,在多个真实研究任务上显著超越现有编码智能体
Jiajie Jin, Yuyang Hu, Kai Qiu, Qi Dai, Chong Luo, Guanting Dong, Xiaoxi Li,...
假设树
多智能体系统
机器学习工程
自主研究
长期规划
通过将路由器行与专家权重矩阵的主奇异方向对齐,提升MoE模型性能
Songhao Wu, Ang Lv, Ruobing Xie, Yankai Lin
优化器无关
大语言模型
幂迭代
混合专家模型
路由器设计
首个将 harness 作为控制变量的 SWE 风格编码评测基准
Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang...
Agent 框架
SWE-bench
代码评测
成本感知评测
系统梳理LLM智能体环境的生命周期,涵盖环境建模、自动合成、质量评估及智能体-环境协同演化
Jiachun Li, Zhuoran Jin, Tianyi Men, Yupu Hao, Kejian Zhu, Lingshuai Wang,...
世界模型
强化学习
智能体演化
智能体环境
环境合成
提出Z-Reward教师-学生框架,将推理增强的分数分布蒸馏到高效的学生奖励模型中
Xin Jin, Huanqia Cai, Zhen Li, Zechao Zhan, Dengyang Jiang, Aiming Hao,...
奖励建模
强化学习
文本到图像生成
知识蒸馏
视觉语言模型
首个多粒度表格表示学习基准,标准化评估20个模型在16个任务上的可复用信号质量。
Wei Pang, Xiangru Jian, Hehan Li, Zhixuan Yu, Alex Xue, Jinyang Li,...
基准测试
多粒度编码器
表格表示学习
跨范式评估
构建4,818个文档到仓库生成任务数据集,提升长视界代码生成能力
Jiale Zhao, Guoxin Chen, Fanzhe Meng, Wayne Xin Zhao, Ruihua Song, Ji-Rong...
LLM Agent
代码生成
数据集构建
软件工程
长视界任务
提出一种推理-再推理的两阶段框架,通过合成新视角视频验证初始假设,提升第一人称视频空间推理精度。
Chaofan Ma, Zhenjie Mao, Yuhuan Yang, Fanqin Zeng, Yue Shi, Yingjie Zhou,...
3D几何
多模态大语言模型
空间推理
视频理解
跨视角验证
通过场景演化先验和轨迹运动先验提升VLA模型的OOD泛化能力
Zefu Lin, Rongxu Cui, Junjia Xu, Xiaojuan Jin, Wenling Li, Lue Fan, Zhaoxiang Zhang
世界模型
机器人操作
视觉-语言-动作模型
零样本泛化
系统比较xLSTM、Mamba-2和Gated DeltaNet在复杂依赖任务上的性能
Anamaria-Roberta Hartl, Levente Zólyomi, David Stap, Pieter-Jan Hoedt,...
xLSTM
亚二次架构
状态跟踪
线性注意力
长度泛化
通过多模态上下文推理框架和高效注意力机制,实现长视频理解与智能Agent能力
Ziang Yan, Sheng Xia, Jiashuo Yu, Yue Wu, Tianxiang Jiang, Songze Li,...
Agent系统
多模态推理
注意力优化
视频理解
长上下文
提出端到端TV损失与拒绝采样方案,将RL训练加速1.8倍
Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, Yizhong Cao,...
LLM训练加速
多令牌预测
强化学习
推测解码
用可恢复路由替代永久移除,提升VLM视觉token剪枝的grounding性能
Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu
token剪枝
条件计算
视觉-语言模型
视觉定位
提出ComBench基准测试,评估大语言模型在奥林匹克组合数学中的证明推理和构造实现能力
Shunkai Zhang, Haoran Zhang, Yun Luo, Qianjia Cheng, Haodi Lei, Yizhuo Li,...
基准测试
奥林匹克竞赛
数学推理
构造验证
组合数学
通过树结构rollout和对比探索提升智能体RLVR的样本效率
Heming Zou, Qi Wang, Yun Qu, Yuhang Jiang, Lizhou Cai, Yixiu Mao, Ru Peng,...
多轮交互
对比学习
强化学习
智能体推理
预算分配
揭示GCD可诱导LLM生成恶意代码,提出CodeShield防御方法
Yitong Zhang, Shiteng Lu, Jia Li
代码生成
安全对齐
语法约束解码
越狱攻击
通过300+受控实验揭示关键设计,训练出媲美顶尖模型的3B参数全开源文生图模型
Boya Zeng, Tianze Luo, Shu Pu, Jucheng Shen, Taiming Lu, Gabriel Sarch, Zhuang Liu
受控实验
开源模型
数据混合策略
文生图扩散模型
模型架构设计
利用Fisher-Rao距离检测注意力转移,动态重加权token级优势以提升MLLM跨模态推理。
Hangui Lin, Yan Shu, Zhengyang Liang, Chi Liu, Xiangrui Liu, Minghao Qin,...
多模态大模型
强化学习
注意力机制
视觉推理
跨模态协调
提出ICALens工作流,用ICA高效提取LLM可解释方向,避免SAE高昂计算成本
Sida Liu, Feijiang Han
机制可解释性
独立成分分析
稀疏自编码器
语言模型表征
通过自蒸馏和VLM反馈将视频扩散模型转为指令跟随的任务求解器
Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro
世界模型
多模态
强化学习
机器人学习
自蒸馏
协同进化LLM策略与训练工具,超越人工RL基线
Guhong Chen, Yingcheng Shi, Yongbin Li, Binhua Li, Xander Xu, Hu Wei, Shiwen...
大语言模型
强化学习
智能体RL
自主训练
训练工具进化
通过梯度累积控制版本漂移,实现零气泡、零额外内存的异步流水线训练
Itay Elam, Eliron Rahimi, Avi Mendelson, Chaim Baskin
分布式训练
大语言模型
异步训练
梯度累积
流水线并行
RACES框架将可验证环境像乐高积木一样递归组合,突破线性扩展限制提升LLM推理泛化能力。
Hao Xiang, Qiaoyu Tang, Le Yu, Yaojie Lu, Xianpei Han, Ben He, Le Sun, Bowen...
可验证环境
大语言模型
强化学习
推理泛化
环境组合
提出语义视觉-动作令牌化器,构建统一语义空间用于世界动作建模
Junke Wang, Qihang Zhang, Shuai Yang, Yiming Luo, Yujun Shen, Zuxuan Wu,...
世界动作模型
机器人操作
潜在动作模型
视觉令牌化
语义表示
通过残差流适配器将预训练VLM离散解码扩展到精确连续预测
Zhuoming Liu, Jinhong Lin, Kwan Man Cheng, Lin Zhang, Shayok Bagchi, Yin Li
机器人控制
流匹配
视觉语言模型
视频理解
连续解码
通过移除连续截图中的冗余视觉token,提升CUA长视距任务性能并降低计算成本
Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit...
冗余消除
多模态大模型
视觉token压缩
计算机使用代理
长视距推理
提出POISE攻击,通过在技能文件主体中精准注入单行命令实现隐蔽高效的LLM代理投毒
Haochang Hao, Dehai Min, Zhifang Zhang, Yunbei Zhang, Miao Xu, Yingqiang Ge, Lu Cheng
代理攻击
供应链安全
大语言模型安全
技能注入
提示词注入
通过优化输入图像而非模型权重,实现对冻结多模态LLM的非侵入式任务适配
Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski
参数高效微调
多模态大语言模型
强化学习
视觉提示
计算艺术
ModSleuth系统递归重建LLM依赖图,揭示训练流水线中的复杂模型依赖关系
Sanjay Adhikesaven, Haoxiang Sun, Sewon Min
LLM生态
依赖分析
模型审计
透明度
递归追踪
用CHRONOS-2特征预测工业设备RUL,性能优于传统方法
Amir El-Ghoussani, Michele De Vita, Ronald Naumann, Valiseios Belagiannis
基础模型
时间序列
深度学习
预测性维护
通过解耦预测投影实现CPU-GPU异步预取,提升稀疏注意力长上下文推理效率
Yaosheng Fu, Guangxuan Xiao, Xin Dong, Song Han, Oreste Villa
KV缓存卸载
推理加速
注意力优化
长上下文
研究发现指令调优模型存在所有权偏见,将自己的答案框架化为用户输入可减少26%的过度自信
Mario Sanz-Guerrero, Manuel Mager, Katharina von der Wense
所有权偏见
指令微调
推理时策略
模型评估
置信度校准
提出 Feedback Distillation 方法,改进定理证明训练
Gaetan Narozniak, Gérard Biau, Rémi Munos, Ahmad Rammal, Pierre Marion
大语言模型
定理证明
强化学习
形式化验证
自蒸馏
SKIM框架将LLM技能压缩为自适应多分辨率软token,平衡推理效率与任务性能
Changyue Wang, Weihang Su, Qingyao Ai, Yichen Tang, Runzhong Qiao, Xuancheng...
大语言模型
技能压缩
程序性知识
自适应分辨率
软token压缩
提出教学语言学和持续指令调优框架,显著提升低资源语言翻译质量
Joanito Agili Lopo, Yunita Sari, Guntur Budi Herwanto
低资源语言翻译
古邦马来语
大语言模型
指令调优
教学语言学
提出社会世界模型框架,利用LLM学习社会信念如何随事件演变的动态规律
Haofei Yu, Yining Zhao, Guanyu Lin, Jiaxuan You
LLM应用
事件归因
时间序列预测
社会模拟
预测市场
通过并行回火进化框架解决科学假设搜索中的多样性崩塌问题
Haorui Wang, Parshin Shojaee, Kazem Meidani, Kunyang Sun, José Miguel...
LLM
假设搜索
多样性
并行回火
科学发现
提出FlowLet框架,结合小波变换和流匹配实现高效可控的3D脑部MRI生成,仅需10步即可生成高质量样本。
Danilo Danese, Angela Lombardi, Matteo Attimonelli, Giuseppe Fasano, Tommaso Di Noia
医学影像
小波变换
条件生成
流匹配
生成模型
研究通用编码代理在自动化训练数据整理循环中的能力与局限
Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic...
AI代理
多模态模型训练
数据整理
数据筛选
自动化机器学习
网络原生时间序列基础模型,在AP边缘实现预测和异常检测
Swadhin Pradhan, Niloo Bahadori, Peiman Amini
Transformer
基础模型
异常检测
无线网络
时间序列预测
提出可验证奖励、RTE机制和pass^k指标的多轮对话推荐评测基准
Bharath Sivaram Narasimhan, Karthik R Narasimhan
LLM智能体
可靠性评估
对话式推荐
推荐系统
评测基准