三段式KV缓存压缩策略,5秒训练生成120秒长视频
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
AVO:用于自主进化搜索的智能体变异算子
👍 13用自主编程智能体替代进化搜索中的变异算子,生成超越专家优化的GPU注意力内核
通过稀疏化视觉-语言交互而非减少token数量来提升LVLM效率的新方法
基于快照的广义离散扩散模型
👍 11统一框架支持任意离散扩散,首次大规模超越自回归
通过关系注意力机制显式绑定人脸-属性,实现精准多主体视频定制
VLM对问题表述方式敏感,不同格式下视觉注意力分配差异显著
通过VL-MoT框架和动作引导的视觉剪枝策略,解决VLA模型深层视觉敏感性衰减问题
立体世界模型:相机引导的立体视频生成
👍 11首个相机条件约束的立体世界模型,联合学习外观与双目几何,实现端到端立体视频生成
揭示Transformer两轴对偶性:用DDL改捷径、ShortSWA做混合
提出AttnRes用softmax注意力替代固定残差累加,解决PreNorm深度信息稀释问题
混合深度注意力机制(MoDA)
👍 83MoDA:通过跨层深度KV注意力解决LLM深度扩展中的信息稀释问题
稀疏性通过调节方差传播有效缓解深度诅咒,提升深层利用率
利用多头注意力查询向量的时序可预测性检测多变量时间序列的结构性异常
证明 softmax 注意力的归一化约束使 sink 成为触发条件任务的必要机制
差分子空间分解与双通道软加权注意力,实现精准提示词高亮
通过识别音频专家注意力头,实现推理时激活干预以缓解音频语言模型的文本主导问题
将MLA单潜在头分解为多分支,实现4路张量并行解码,速度提升2.8倍
揭示冷启动中视觉注意力不足的瓶颈,提出AVAR框架重塑注意力分配,平均提升7%
大规模人体数据集+非对称注意力,实现跨视角身份一致视频生成
通过QK-norm和降低每步token数,使INT8注意力训练匹配全精度效果