数据工程方法提升大模型终端操作能力
Renjie Pi, Grace Lam, Mohammad Shoeybi, Pooya Jannaty, Bryan Catanzaro, Wei Ping
SFT数据工程
Terminal-Bench
合成数据生成
模型微调
终端Agent
利用LLM注意力头中隐含的检索能力,训练小型模型实现高效列表式重排序。
Yuqing Li, Jiangnan Li, Mo Yu, Guoxuan Ding, Zheng Lin, Weiping Wang, Jie Zhou
对话记忆
检索增强生成
注意力头选择
重排序
长上下文处理
TTT 的 KV 绑定机制并非记忆检索,而是可改写为线性注意力算子
Junchen Liu, Sven Elflein, Or Litany, Zan Gojcic, Ruilong Li
序列建模
架构简化
测试时训练
线性注意力
高效推理
用过采样-过滤-排序和累积工具奖励解决多模态RL训练中的交互坍缩问题
Shitian Zhao, Shaoheng Lin, Ming Li, Haoquan Zhang, Wenshuo Peng, Kaipeng...
多模态模型
工具使用
强化学习
智能体
视觉推理
提出交互式3D物理基准CHAIN,揭示VLM在结构化物理推理中的系统性失败
Yuhao Wu, Maojia Song, Yihuai Lan, Lei Wang, Zhiqiang Hu, Yao Xiao, Heng...
VLM评估
具身智能
基准测试
物理推理
视觉推理
提出注意力引导聚类(AGC)方法,在固定向量预算下压缩多模态迟交互索引,性能逼近甚至超越未压缩基线。
Hanxiang Qin, Alexander Martin, Rohan Jha, Chunsheng Zuo, Reno Kriz,...
信息检索
多向量检索
多模态检索
索引压缩
聚类
首个VLA模型训练后量化框架,通过选择性量化和轻量校准实现70%内存节省且超越全精度性能
Jingxuan Zhang, Yunta Hsieh, Zhongwei Wang, Haokun Lin, Xin Wang, Ziqi Wang,...
具身智能
后训练量化
扩散变换器
模型压缩
视觉-语言-动作模型
提出长时程CLI编程基准,揭示当前最强智能体通过率不足20%,人机协作可显著提升性能。
Yukang Feng, Jianwen Sun, Zelai Yang, Jiaxin Ai, Chuanhao Li, Zizhen Li,...
人机协作
代码智能体
命令行交互
基准评测
长时程任务
ArtiAgent智能体框架自动合成图像伪影数据,训练VLM超越GPT-5的伪影理解能力
Jaehyun Park, Minyoung Ahn, Minkyu Kim, Jonghyun Lee, Jae-Gil Lee, Dongmin Park
图像编辑
扩散模型
数据合成
智能体系统
视觉伪影
用智能体自身能力评估深度研究智能体,解决现有评测忽略事实和时效性的盲区。
Elad Ben Avraham, Changhao Li, Ron Dorfman, Roy Ganz, Oren Nuriel, Amir...
LLM-as-Judge
事实核查
智能体评测
深度研究智能体
评估基准
首个将金融推荐从行为模仿转向效用对齐的多视角对话式纵向评估基准
Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan...
基准测试
大语言模型
对话系统
推荐系统
逆优化
揭示通用LLM智能体存在性能退化与测试时扩展瓶颈
Xiaochuan Li, Ryan Ming, Pranav Setlur, Abhijay Paladugu, Andy Tang, Hao...
Benchmark
LLM Agent
Multi-Domain Evaluation
Test-Time Scaling
Tool Use
通过规划图+约束解码双管齐下,消除LM智能体的不可恢复失败
Jongwon Jeong, Jungtaek Kim, Kangwook Lee
多步决策
工具使用
约束优化
规划与推理
语言模型智能体
通过理论驱动的预算分配,在有限采样预算下最大化LLM自一致性准确率
Zhangyi Liu, Huaizhi Qu, Xiaowei Yin, He Sun, Yanjun Han, Tianlong Chen, Zhun Deng
LLM reasoning
budget allocation
crowdsourcing
majority voting
self-consistency
UPipe在注意力头级别分块处理,显著降低激活内存,支持更长上下文训练
Ravi Ghadia, Maksim Abraham, Sergei Vorobyov, Max Ryabinin
上下文并行
内存优化
分布式训练
注意力机制
长上下文训练
系统研究高效推理训练机制,通过数据、奖励和优化策略实现更短、更准确的推理链生成
Taiqiang Wu, Zenan Zu, Bo Zhou, Ngai Wong
大语言模型
奖励塑形
强化学习
推理链优化
高效推理
Gemini 3数学Agent在FirstProof中自主解决6/10道研究级难题
Tony Feng, Junehyuk Jung, Sang-hyun Kim, Carlo Pagano, Sergei Gukov,...
AI数学推理
LLM评估
数学研究
自主Agent
自动定理证明
评估AI智能体能否推断用户未明确表达的隐式需求,发现最佳模型仅48.3%通过率
Ved Sirdeshmukh, Marc Wetter
AI智能体评估
人机交互
安全对齐
隐式推理
用LLM指导程序进化自动发现超越BM25的新型检索算法
Jinming Nian, Fangchen Li, Dae Hoon Park, Yi Fang
LLM优化
信息检索
自动算法发现
词汇检索
进化算法
提出反思式测试时规划框架,让具身LLM在部署时通过三种反思机制从失败中学习
Yining Hong, Huang Huang, Manling Li, Li Fei-Fei, Jiajun Wu, Yejin Choi
具身智能
反思学习
大语言模型
强化学习
机器人规划
提出Ψ-采样器和高效课程学习,显著提升离散扩散模型的生成质量和训练效率
Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo
扩散语言模型
离散扩散
课程学习
预测-校正采样
提出COMiT,通过迭代局部观测和递归更新构建具有语义结构的离散视觉token序列
Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo...
Transformer
图像表示学习
流匹配
离散Token化
组合泛化
利用生成式AI标准化非结构化货物和所有者信息,提升集装箱停留时间预测精度14.68%
Minseop Kim, Takhyeong Kim, Taekhyun Park, Hanbyeol Park, Hyerim Bae
数据标准化
时间序列预测
智能港口
机器学习
港口物流
用连续流匹配在one-hot空间上训练语言模型,并以二时去噪器蒸馏出一步生成器,击败离散扩散。
Chanhyuk Lee, Jaehoon Yoo, Manan Agarwal, Sheel Shah, Jerry Huang, Aditi...
一步生成
少步生成
流匹配
流图
语言模型
通过能力反思和记忆反思机制,实现VLM稳定迭代自我修正的OCR框架
Shimin Wen, Zeyu Zhang, Xingdou Bian, Hongjie Zhu, Lulu He, Layi Shama, Daji...
OCR
反思学习
多模态推理
自我修正
视觉语言模型
首个开源3D脊柱运动数据集,通过生物力学仿真生成214万帧解剖学一致的脊柱关键点标注
Muhammad Saif Ullah Khan, Didier Stricker
3D姿态估计
人体姿态分析
生物力学仿真
脊柱运动估计
运动捕捉
用Dynamic LoRA提升少数民族语言OCR性能39%-66%
Bonan Liu, Zeyu Zhang, Bingbing Meng, Han Wang, Hanshuo Zhang, Chengping...
LoRA
OCR
低资源学习
参数高效微调
少数民族语言
基于提示优化自动学习不同场景的隐私-效用权衡策略
Gabriel Loiseau, Damien Sileo, Damien Riquet, Maxime Meyer, Marc Tommasi
大语言模型
差分隐私
提示优化
文本匿名化
隐私保护
用RL诱导模型重建训练数据实现更强MIA
Junjie Oscar Yin, John X. Morris, Vitaly Shmatikov, Sewon Min, Hannaneh Hajishirzi
强化学习
成员推理攻击
数据隐私
训练数据检测
语言模型安全
提出结构异常感知的强化学习奖励,显著提升文本到图像模型的文字渲染质量
Hanshen Zhu, Yuliang Liu, Xuecheng Wu, An-Lan Wang, Hao Feng, Dingkang Yang,...
OCR评估
强化学习
文本渲染
结构感知
视觉文本生成
利用3D基础模型的几何先验实现零样本、类别无关的3D形状补全
Weilong Yan, Haipeng Li, Hao Xu, Nianjin Ye, Yihao Ai, Shuaicheng Liu, Jingyu Hu
3D基础模型
3D形状补全
点云完成
生成先验
零样本学习
通过算子级抢占和事件驱动调度解耦抢占粒度与调度频率,解决 LLM 服务中长请求导致的头部阻塞问题。
Chia-chi Hsieh, Zan Zong, Xinyang Chen, Jianjiang Li, Jidong Zhai, Lijie Wen
SLO 优化
大语言模型
性能优化
服务架构
系统调度