复用训练中弱模型作为纠正信号,通过混合logit训练持续增强强模型
Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou,...
后训练
大语言模型
数学推理
监督微调
知识蒸馏
通过多智能体环境合成与主动错误注入,训练出媲美专有模型的终端操作智能体
Kaijie Zhu, Yuzhou Nie, Yijiang Li, Yiming Huang, Jialian Wu, Jiang Liu,...
Docker环境
数据合成
监督微调
终端智能体
错误纠正
用演化算法对因子挖掘轨迹做变异与交叉,提升LLM生成alpha因子的质量与泛化性
Jun Han, Shuo Zhang, Wei Li, Zhi Yang, Yifan Dong, Tu Hu, Jialuo Yuan,...
LLM智能体
因子挖掘
演化算法
量化投资
金融AI
32B参数非对称双塔架构,实现高保真唇形同步与音视频对齐的开源联合生成模型
SII-OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu,...
MoE架构
唇形同步
多模态扩散
视频生成
音视频对齐
通过精确建模模态间隙几何结构,用无配对文本替代昂贵图文数据训练MLLM
Xiaomin Yu, Yi Xin, Wenjie Zhang, Chonghan Liu, Hanzhen Zhao, Xiaoxing Hu,...
多模态学习
大语言模型
对比学习
表示对齐
计算机视觉
20个ML任务组成的基准,评估LLM智能体的端到端科研能力,16个任务仍未超越人类SOTA
Alisia Lupidi, Bhavul Gauri, Thomas Simon Foster, Bassel Al Omari, Despoina...
AI Agent
Benchmark
LLM评估
科学发现
自动化研究
统一架构实现跨学科端到端科学发现,在推理基准和算法/经验发现任务上均达到领先水平
Shiyang Feng, Runmin Ma, Xiangchao Yan, Yue Fan, Yusong Hu, Songtao Huang,...
AI4Science
智能体系统
知识图谱
科学发现
长期记忆
引入T2T编辑机制突破扩散语言模型速度-质量权衡瓶颈
Tiwei Bie, Maosong Cao, Xiang Cao, Bingsen Chen, Fuyuan Chen, Kun Chen, Lun...
大语言模型
并行解码
强化学习
扩散语言模型
推理加速
RD-VLA通过潜空间循环迭代推理实现机器人控制的自适应计算缩放
Yalcin Tur, Jalal Naghiyev, Haoquan Fang, Wei-Chuan Tsai, Jiafei Duan,...
循环神经网络
操作控制
机器人学习
测试时计算
视觉-语言-动作模型
将机器人与GPU统一抽象,支持异构多机器人在线策略学习的系统框架
Hongzhi Zang, Shu'ang Yu, Hao Lin, Tianxing Zhou, Zefang Huang, Zhen Guo,...
云边协作
具身智能
强化学习
机器人学习
系统设计
提出以管线为中心的视角,将材料发现全流程从被动预测推进到闭环自主智能体系统
Huan Zhang, Yizhan Li, Wenhao Huang, Ziyu Hou, Yu Song, Xuye Liu, Farshid...
AI4Science
大语言模型
智能体
材料科学
综述
提出TP-GRPO框架,用增量式步骤奖励和转折点检测缓解Flow-GRPO的奖励稀疏问题
Yunze Tong, Mushui Liu, Canyu Zhao, Wanggui He, Shiyi Zhang, Hongwei Zhang,...
Flow Matching
GRPO
奖励工程
强化学习
文本到图像生成
构建百万级科学推理数据集,三阶段后训练提升4B模型科学推理
Zijie Chen, Zhenghao Lin, Xiao Liu, Zhenzhong Lan, Yeyun Gong, Peng Cheng
后训练
强化学习
数据集构建
科学推理
课程学习
提出首个评估图像生成模型作为GUI环境能力的基准,揭示多步规划和空间定位的关键瓶颈
Haodong Li, Jingwei Wu, Quan Sun, Guopeng Li, Juanxi Tian, Huanyu Zhang,...
GUI生成
人机交互
图像生成
基准测试
评估框架
提出Demo驱动的视频上下文学习任务与基准,通过两阶段训练提升MLLM从演示中学习新技能的能力
Yuhao Dong, Shulin Tian, Shuai Liu, Shuangrui Ding, Yuhang Zang, Xiaoyi...
上下文学习
多模态大语言模型
教学视频
知识获取
视频理解
通过模块化预算层级和强化学习路由器,实现运行时记忆提取的显式性能-成本控制
Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin,...
LLM系统
强化学习
智能体记忆
运行时优化
预算控制
373条人工构建查询+人类搜索轨迹,评估搜索智能体深度与广度能力
Yutao Zhu, Xingshuo Zhang, Maosen Zhang, Jiajie Jin, Liancheng Zhang,...
人机搜索行为
信息检索
大语言模型
搜索智能体
评测基准
提出可控扩展环境状态的基准测试,揭示语言代理在长上下文下的性能退化与失败模式
Weihao Zeng, Yuzhen Huang, Junxian He
上下文工程
基准测试
工具使用
语言代理
长上下文
评估基础模型在部分可观环境中通过主动探索构建、修正和利用空间信念的能力
Pingyue Zhang, Zihan Huang, Yue Wang, Jieyu Zhang, Letian Xue, Zihan Wang,...
主动探索
具身智能
基础模型
空间推理
认知地图
8B参数模型通过WARP策略交替起草与深化,超越闭源深度研究系统
Yishan Li, Wentong Chen, Yukun Yan, Mingwei Li, Sen Mei, Xiaorong Wang,...
开源模型
强化学习
报告生成
智能体训练
深度研究
用RL后训练大幅提升视频世界模型的动作跟随精度和视觉质量
Zehan Wang, Tengfei Wang, Haiyu Zhang, Xuhui Zuo, Junta Wu, Haoyuan Wang,...
世界模型
后训练
强化学习
自回归生成
视频生成
用低秩二值分解将LLM压缩至1比特以下,单卡H100仅需13小时压缩70B模型
Hyochan Chong, Dongkyu Kim, Changdong Kim, Minseop Choi
低秩分解
后训练量化
大语言模型
模型压缩
模型量化
将化学推理从离散语言转移到连续潜在空间,实现更快更准的分子推理
Xinwu Ye, Yicheng Mao, Jia Zhang, Yimeng Liu, Li Hao, Fang Wu, Zhiwei Li,...
分子优化
化学推理
大语言模型
强化学习
潜在空间推理
将上下文压缩重构为显式信息传输,解决LLM压缩器的分配缺失和层间稀释两大瓶颈
Jiangnan Ye, Hanqi Yan, Zhenyi Shen, Heng Chang, Ye Mao, Yulan He
上下文压缩
信息保持
最优传输
长上下文LLM
高效推理
用符号推理轨迹分别诱导演绎、归纳、溯因能力,可大幅提升LLM域外推理性能
Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi...
域外泛化
推理能力
模型蒸馏
混合专家
符号推理
无需训练的段级运行时模型切换框架,显著降低推理延迟
Jiwon Song, Yoongon Kim, Jae-Joon Kim
大模型推理
推理加速
推理效率
推理模型
模型路由
大规模挖掘网页操作流程,用LLM评判器评估和改进模型的流程生成能力
Yapei Chang, Kyle Lo, Mohit Iyyer, Luca Soldaini
LLM-as-Judge
LLM评估
强化学习
网络数据挖掘
过程生成
通过RL训练的策略模型自适应决定何时及如何使用世界模型进行视觉空间推理
Shoubin Yu, Yue Zhang, Zun Wang, Jaehong Yoon, Huaxiu Yao, Mingyu Ding, Mohit Bansal
世界模型
多模态大语言模型
强化学习
测试时缩放
视觉空间推理
提出L0-L4分层数据管理框架,系统化优化LLM全生命周期训练数据
Yudong Wang, Zixuan Fu, Hengyu Zhao, Chen Zhao, Chuyue Zhou, Xinle Lin,...
分层框架
大语言模型
数据管理
数据质量
预训练
仅用5秒视频训练,测试时可生成长达30分钟的高质量自回归视频
Haodong Li, Shaoteng Liu, Zhe Lin, Manmohan Chandraker
扩散模型
缓存维护
自回归模型
视频生成
长视频合成
横跨9个维度系统梳理基础模型可靠性与责任感的研究全景图
Xinyu Yang, Junlin Han, Rishi Bommasani, Jinqi Luo, Wenjie Qu, Wangchunshu...
公平性
可解释性
可靠性
基础模型
安全性
强制思考会缩短回复、减少信息披露,反而降低交互式Agent表现
Jiatong Li, Changdae Oh, Hyeong Kyu Choi, Jindong Wang, Sharon Li
Information Disclosure
LLM Agent
Reasoning
Test-time Compute
User Interaction
利用机制可解释性,从LLM内部归因图的拓扑结构推断生成代码的正确性,无需外部执行验证。
Yicheng He, Zheng Zhao, Zhou Kaiyu, Bryan Dai, Jie Fu, Yonghui Yang
代码生成
代码验证
归因图
机制可解释性
稀疏自编码器
利用视频扩散模型从单目视频同时重建4D几何和场景流
Ruijie Zhu, Jiahao Lu, Wenbo Hu, Xiaoguang Han, Jianfei Cai, Ying Shan,...
3D重建
4D场景理解
场景流估计
视频扩散模型
视频生成
4万+ Agent Skills生态测量:爆发增长、冗余严重、供需错配、风险凸显
George Ling, Shanshan Zhong, Richard Huang
Agent Skills
LLM Agent
安全评估
生态测量
软件工程
42000小时数据训练的零样本歌声合成系统,支持乐谱与旋律双模态控制
Jiale Qian, Hao Meng, Tian Zheng, Pengcheng Zhu, Haopeng Lin, Yuhang Dai,...
Flow Matching
多语言语音合成
歌声合成
零样本学习
音乐生成
LIFT框架:SAC大规模预训练+物理信息世界模型,实现人形机器人安全高效微调
Weidong Huang, Zhehan Li, Hangxin Liu, Biao Hou, Yao Su, Jingwen Zhang
Sim-to-Real
世界模型
人形机器人
强化学习
模型微调
通过动态调整PPO裁剪阈值灵活控制RL训练中的策略熵
Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao
GRPO
RLVR
大语言模型
强化学习
策略熵
无需人工标注偏好对,直接从真实用户对话中训练奖励模型
Hao Peng, Yunjia Qi, Xiaozhi Wang, Zijun Yao, Lei Hou, Juanzi Li
RLHF
人类反馈
在线学习
奖励模型
对齐
首个系统性研究土耳其语子词分词策略的大规模综述,揭示词表-数据-形态学三方交互规律
Duygu Altinok
BERT
Turkish NLP
agglutinative languages
morphology
subword
将LLM自发重复问题的现象从缺陷重新定义为认知锚点,通过概率框架和注意力分析证明其提升推理准确性。
Zhuoyuan Hao, Zhuo Li, Wu Li, Fangming Liu, Min Zhang, Jing Li
大语言模型
思维链
推理
注意力机制
测试时计算
将能量消耗从奖励函数中分离为显式约束,实现人形机器人高效低能耗行走
Weidong Huang, Jingwen Zhang, Jiongye Li, Shibowen Zhang, Jiayang Wu, Jiayi...
sim-to-real
人形机器人
约束强化学习
能效优化
运动控制
Aster用LLM自主改进程序,比OpenEvolve快20倍以上实现科学发现
Emmett Bicker
AI Agent
LLM应用
科学发现
程序合成
自动优化
用老虎机框架跳过冗余MaxSim计算,实现ColBERT级质量下最高8×加速
Roi Pony, Adi Raz, Oshri Naparstek, Idan Friedman, Udi Barzelay
ColBERT
信息检索
向量检索加速
多臂老虎机
晚期交互模型
FlexMoRE通过引入低秩适配器作为专家,在保持性能的同时将参数量减少至原来的三分之一
Annemette Brok Pirchert, Jacob Nielsen, Mogens Henrik From, Lukas Galke...
低秩适配
参数高效
大语言模型
混合专家
联邦学习
通过压缩数据嵌入和共享注意力权重,实现高效的大规模因果发现
Bo Peng, Sirui Chen, Jiaguo Tian, Yu Qiao, Chaochao Lu
因果发现
图神经网络
大规模学习
效率优化
多智能体+知识图谱框架,通过图遍历算法发现PFAS可持续替代材料
Isabella A. Stewart, Tarjei Paule Hage, Yu-Chuan Hsu, Markus J. Buehler
PFAS替代
假设生成
多智能体系统
材料科学
知识图谱
60,000条轨迹揭示agentic评估存在2-6pp方差,单次运行不可靠
Bjarni Haukur Bjarnason, André Silva, Martin Monperrus
SWE-Bench
agent评估
代码生成
可复现性
统计分析
通过融合安全模型分布,在保证生成质量的同时可证明地降低语言模型的版权侵权风险
Jacqueline He, Jonathan Hayase, Wen-tau Yih, Sewoong Oh, Luke Zettlemoyer,...
KL散度约束
推理时干预
版权保护
解码策略
语言模型安全
提出SVD框架量化KV缓存的低秩可压缩性,揭示跨层跨语言的压缩规律
Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin...
KV缓存压缩
SVD分解
低秩近似
多语言评估
大语言模型推理优化