← 前一天
2026-05-21
后一天 → 今日

1B 循环模型仅用 40B token 预训练,算力省百倍即达 7B 水平

Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai...
PrefixLM 任务完成目标 小算力训练 层级推理 循环神经网络

首个可稳定扩展的时序基础模型家族,4m 到 2.5B 参数单调提升。

Emaad Khwaja, Chris Lettieri, Gerald Woo, Eden Belouadah, Marc Cenac,...
Muon 优化器 u-µP 分位数预测 可观测性 并行解码

通过缝合技术将像素空间奖励模型高效转移到噪声潜在空间,实现快速准确的扩散对齐

Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An,...
价值函数 强化学习 扩散模型 模型缝合 生成模型对齐

提出变分策略蒸馏(VPD)框架,通过EM算法让教师与学生协同进化,解决RLVR稀疏奖励问题

Yang Li, Erik Nijkamp, Semih Yavuz, Shafiq Joty
代码生成 变分推断 大语言模型 强化学习 科学推理

统一处理多视图配置、多模态融合、长时程感知和度量尺度的几何感知框架

Haotian Wang, Yusong Huang, Zhaonian Kuang, Hongliang Lu, Xinhu Zheng, Meng...
3D视觉 Transformer 几何感知 多模态 统一模型

揭示RLVR训练中存在反直觉的不可学习样例,代表模型表征的根本性缺陷。

Yulin Chen, He He, Chen Zhao
RLVR 大语言模型 强化学习 推理能力 梯度分析

结合文本与手绘火柴人/轨迹双条件,用扩散模型生成可控 3D 人体动作

Tao Wang, Lei Jin, Zhihua Wu, Qiaozhi He, Jiaming Chu, Yu Cheng, Junliang...
人机交互 免训练引导 动作生成 多条件融合 扩散模型

动态调度 Muon 的谱指数 p,跨规模省 10.6–26.5% 训练步且验证损失更低。

Fangzhou Wu, Rikhav Shah, Sandeep Silwal, Qiuyi Zhang
Muon Newton-Schulz 二阶方法 优化器 大模型训练