引入内外聚焦损失,让自监督ViT的注意力头自发分化出空间特化能力。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
让每个LLM层按自身语义状态动态门控选择全部ViT层视觉信息,实现自适应全层连接
在输入前拼接可训练[DUMP]令牌吸收非语义噪声,不改架构即可提升检索嵌入质量
LLM 推理能耗的 SIMPLE 定律
👍 104系数闭式定律预测LLM推理每token能耗,误差较SOTA低3.1–3.5倍,无需逐模型校准
多模态大模型检索头的跨模态分析与优化
👍 34验证检索头随模态扩展而共享保留,训练其注意力使文档检索R@1提升6.03点
把视角、动作、相机控制统一为注意力空间内的token,5B模型视角切换率达93.8%追平22B模型
聚焦式全模态 GUI 智能体
👍 31零初始化残差适配器让冻结全模态模型按步聚焦关键证据,缓解 GUI 智能体的序列干扰
提示词印记按幂律 $t^{-\alpha}$ 衰减、训练反而加速遗忘,幸存信息全由生成文本本身携带。
虚拟头注意力(VHA)
👍 17两个可折叠的线性变换让 GQA-2 同时赢下 KV 缓存、FLOPs 与质量的不可能三角
让注意力感受野随去噪从粗到细演化,免训练实现高效高分辨率文生图
用三分支注意力与提示分解在预训练时隔离不安全概念,推理时拆除该分支即得安全模型
检索中心深度学习:增长型非参数神经网络
👍 11用核化与加权 softmax 注意力替换线性注意力,导出按需增长的键值记忆网络及其学习规则
用闵可夫斯基几何参数化洛伦兹变换,实现平移不变的时空位置编码
以保护注意力选址为目标的2比特KV量化,消除视频世界模型时间闪烁
冻结主干仅训12288参数学会读取历史K/V库,多轮推理最高提升11.67个百分点
以五维记忆框架统一解析注意力演进,发现混合架构与跨层复用正成为主流
以强注意力方向为参照做KL正则,弥合联合生成中的跨模态注意力不对称
首次解析文生视频模型运动规划机制,发现RoPE空间衰减缺陷并以轻量频率缩放修复。
层更新可分解为平行与垂直分量:平行冗余可删甚至利于训练,垂直关键而脆弱
保留少数垂直线token和局部窗口为全精度,其余低比特量化,实现近无损长上下文推理加速