让LLM自主选择训练片段提升长上下文推理性能
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
无调参零样本方法,通过动态组大小实现高效长上下文扩展
基于查询机制的实时多目标视频分割,实现接近单目标处理效率
系统刻画MLLM生成时逐token注意力动态,并用注意力阻断与增强干预验证因果并提升性能
学习未来注意力信号,在保持性能的同时大幅压缩KV缓存
通过注意力机制提取跨模态检索头,实现长文档问答中文本与图像证据的高效定位
基于Logit贡献评分的非字面检索头识别
👍 18提出LOCOS方法通过OV电路投影识别执行语义综合的检索头
系统表征多探针网格算法的N和d扩展性,发现在高维场景下相比图、树、划分方法具有独特优势
提出基于3D射线几何的轻量特征上采样框架,仅用16%参数实现SOTA性能
用冻结LLM的next-token预测损失训练密集检索器,无需标注正负样本对
通过门控Transformer架构缓解注意力集中问题,在多个医学成像基准上平均提升6.1% F1分数
提出R-SWA注意力机制,实现KV cache恒定,支持一次解析数十页文档
通过句子级注意力引导的二叉树实现多粒度检索,平均提升信息效率6.1%
重新思考混合架构中高效注意力的角色
👍 20系统分析混合架构中高效注意力对长上下文能力的影响机制
利用Fisher-Rao距离检测注意力转移,动态重加权token级优势以提升MLLM跨模态推理。
发现CoT微调破坏混合模型长上下文召回能力,提出QK-Restore零训练修复方法
提出FlowTracer框架,通过注意力图谱追踪信息流实现token级别的精准信用分配
SwiftVR:实时单步生成式视频恢复
👍 17首个在消费级GPU上实现实时1080p视频恢复的单步生成模型
将RAT+的指数衰减记忆模块应用于Quest、MoBA、SnapKV等稀疏推理方法,大幅提升精度
首个系统评测多模态模型视频记忆能力的认知心理学基准。