将视频编码的I/P帧思想引入MLLM,用运动-残差token大幅降低视觉token成本
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
内省式识别冗余步骤并以掩码偏好学习折叠推理链,token减半
ACTS框架通过控制器代理策略级引导推理器,在保持精度的同时大幅降低推理成本
同一权重暴露两条等价解码路径,让模型在 H100 与 H20 上同时达 roofline 最优。
用在线动态奖励权重与每题目标长度,兼顾正确性与简洁性
切片编码+ViT内早期压缩,55.75%降算力且精度持平
SPEED 让 prefill 只走前 K 层、decode 全层走,配 BoS 锚点降本。
在短上下文GRPO中按推理步置信度屏蔽优势,稳定高效压缩推理链。
Sol-RL 用 FP4 探索候选池,BF16 再生成关键样本,加速扩散 RL 4.64×。
查询感知的两阶段自适应框架,让MLLM按需细化局部细节
用预 RoPE 空间的 Q/K 中心点估计 KV 重要性,匹配全注意力的同时吞吐提升 2.5 倍。
TAPS:面向任务感知的推测采样提议分布
👍 145任务专属草稿模型+推理时组合显著提升推测解码接受长度
通过动态混合精度量化与时间增量缓存,实现视频DiT 1.92倍加速和3.32倍内存缩减
将推测解码从token级提升到智能体级,用轻量模型跳过不必要的工具调用链
AutoGaze:3M参数前置模块裁剪冗余patch,实现19×加速
通过工具调用按需检索高分辨率裁剪区域,实现VLM高效推理
用信息瓶颈理论压缩推理链,Token减48%准确率基本不变
基于平衡思维的高效推理
👍 78通过置信度动态调控推理轨迹,在抑制冗余思考的同时防止推理不足
三阶段对齐框架高效地将预训练ViT转换为线性注意力模型
面向混合 xLSTM 架构的高效蒸馏
👍 33用 mLSTM-SWA 混合架构蒸馏 Transformer,通过专家合并实现近乎无损的性能迁移