利用FWL强度稀疏性剪枝合并令牌,实现首个实时FWL Transformer,加速8倍且F1提升9点
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
后训练
RLVR
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
Transformer
参数高效微调
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
综述
信息检索
模仿学习
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
首个无需光栅化器、用Transformer直接渲染3D高斯的神经渲染器可行性研究
用相邻帧关系查询差异的校准注入,破解视频场景图生成中的关系语义惯性
提示词印记按幂律 $t^{-\alpha}$ 衰减、训练反而加速遗忘,幸存信息全由生成文本本身携带。
追踪巨型激活从随机诞生、权重衰减驱动增长到竞争整合的完整训练生命周期
用 GRU 门控记忆加分块截断训练,让视频分割在长时遮挡下既准又快
用闵可夫斯基几何参数化洛伦兹变换,实现平移不变的时空位置编码
把DiT残差流从被动求和改为跨层主动检索,镜像路由最多省1.73倍训练步数
LLM 把两条文本的嵌入平均后,输出仍是两条流各自预测的叠加,且这源于架构而非训练
免训练框架:Blossom 全局最优层配对+广义 Sylvester 闭式共享字典+HTP 稀疏化
从少量无序部分点云一次前馈即可联合预测可动部件分割与关节参数,比优化方法快近三千倍
TTVAE学出决策树连续隐空间,梯度上升联合优化预测精度与树稀疏度。
每时间步压缩为一个世界token、以物理时间为轴的因果序列机器人模仿学习策略
因果Transformer预测下一音频补丁嵌入,仅凭掩码加停梯度实现极简SOTA音频自监督
Maglev:滑动窗口循环记忆
👍 7用并行预填充器生成记忆目标,一致性损失训练滑窗解码器,实现可并行预训练的固定内存循环语言模型
借鉴网游权威服务器架构,以类型化共享状态解耦世界推演与视角渲染。
解耦预训练知识与任务几何的所有权,让编码器每日刷新而不破坏迁移
统一生成式Transformer,从单段第一人称RGB视频同时重建人体、手、视线、相机轨迹与深度
开放权重多乐器音乐转录模型,结合合成数据预训练、真实数据微调与强化学习后训练
研究发现RL训练增益集中在少量中间层,单层训练可超越全参数方法