让像素扩散模型按画面复杂度动态增减 token,单个检查点即可在推理时自由调节算力预算。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
双潜空间表示+DiT特征对齐,token压缩约8倍,质量持平且推理提速11-15倍
把逐词生成推理改为从可复用候选库中选择,推理延迟降90%以上且性能持平
把GDN历史精确压缩为分块仿射转移,用查询相关门控实现选择性长程检索
单一模型分段路由专家,按设备选1-4B激活规模,延迟近稠密而精度更高
单token读出直接输出六类搜索决策,比自回归快5.2倍且校准误差最高降74%
把长视频VLM效率重构为帧数、分辨率与解码延迟的联合分配,提出免训练双流框架LoHi
三种长度压缩RL训练实验表明:忠实性多因输出不一致下降,而监控性大多幸存
以保护注意力选址为目标的2比特KV量化,消除视频世界模型时间闪烁
单步去噪把低分辨率视频精修至4K,延迟降8.91倍
联合训练主干与迭代决策器,把额外迭代精准分配给受益token,让循环模型测试时扩展超越非循环基线
LLM 把两条文本的嵌入平均后,输出仍是两条流各自预测的叠加,且这源于架构而非训练
用预结构化的 TAPe 表示替代原始像素,以不足 10 万参数统一实现分类、检测与分割
用难度感知的奖励塑形让推理模型学会何时思考、思考多深。
逐帧Delta规则线性注意力替换远程注意力,14.3秒768p视频去噪从799.6秒降到6.7秒
面向细粒度多模态感知的区域级策略优化
👍 16以区域为动作、答案似然为奖励的强化学习,让轻量提议网络聚焦证据,4倍更少token精度更高
只缓存分组值,把键的线性映射吸收进查询按需重构,KV缓存省45-47%而精度几乎持平
将精度与效率专精模型的策略偏移离线组合进单个学生模型,同时提升准确率并减少推理token
用对数空间软门控让语言建模损失端到端训练稀疏注意力选择器
免训练视觉token剪枝框架,用嵌套证据排序与单调KV收缩让GUI智能体在紧预算下保持精度