差分子空间分解与双通道软加权注意力,实现精准提示词高亮
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出OAKS基准,评估LLM在流式动态知识更新下的在线适应能力
通过块级近似和动态阈值实现长上下文预填充加速
用于提示词高亮的谱注意力引导方法
👍 6通过预注意力计算编辑 key 实现高效的提示词高亮
首个将稀疏与线性注意力混合的9B参数模型,支持1M tokens上下文,推理速度提升3.5倍
让模型自主管理上下文,从被动预测器转变为状态感知智能体
Prism:频谱感知的块稀疏注意力机制
👍 38通过双频带分解和能量校准恢复RoPE下均值池化损失的高频位置信息,实现高效块稀疏注意力
提出可控扩展环境状态的基准测试,揭示语言代理在长上下文下的性能退化与失败模式
通过软裁剪RoPE低频组件,CoPE在长上下文场景中显著提升LLM性能
利用相邻步骤置信度相关性预测解码位置,实现无训练的29倍长上下文推理加速
FASA:基于频率感知的稀疏注意力机制
👍 73利用 RoPE 频率块的功能稀疏性,训练无关地动态预测 token 重要性以压缩 KV 缓存
用全注意力层当Oracle指导稀疏层选token并共享KV缓存,降低计算和内存开销
将推理链渲染为图像,用视觉token替代文本token,实现3.4×压缩和2.7×加速
基于横向思维谜题的环境回滚,构建评估长上下文智能体动态推理能力的基准
通过轻量路由器在推理时动态分配注意力头到全注意力或稀疏模式
为Gemini构建生产就绪的探针
👍 9开发鲁棒的激活探针架构,以检测语言模型在长上下文等生产分布偏移下的滥用行为。
递归语言模型
👍 99通过递归调用和环境变量突破LLM上下文限制的新范式
LG AI Research推出的236B参数MoE多语言模型,支持256K上下文与六种语言