标签： 全部 强化学习 扩散模型 大语言模型 基准测试 视频生成 LLM智能体 世界模型 视觉语言模型 GRPO 多模态大模型 知识蒸馏 基准评测 具身智能 流匹配 机器人操作 多智能体系统 智能体 LLM Agent 可解释性 图像生成 代码生成 多模态学习 检索增强生成 注意力机制 RLVR 后训练 视频理解 机器人学习 多模态 长上下文 数学推理 图像编辑 VLA 数据合成 多模态大语言模型 推理加速 评测基准 高效推理 自监督学习 工具调用 对比学习 扩散语言模型 视觉-语言-动作模型 参数高效微调 Transformer 工具使用 LoRA 持续学习 自蒸馏 LLM评估 多模态推理 RAG 模仿学习 综述 LLM推理 信息检索 信用分配 在线策略蒸馏 合成数据 模型压缩
找到 86 条结果
相关性 | 日期

SageBwd：一种可训练的低比特注意力机制

👍 19

通过QK-norm和降低每步token数，使INT8注意力训练匹配全精度效果

Jintao Zhang, Marco Chen, Haoxu Wang, Kai Jiang, Ion Stoica, Joseph E.... 2026-03-06
Transformer 低比特量化 效率优化 模型训练 注意力机制
✅ 已总结
详情 →

下一嵌入预测使世界模型更强大

👍 21

用因果Transformer预测下一时刻嵌入，替代像素重建学习世界模型

George Bredis, Nikita Balagansky, Daniil Gavrilov, Ruslan Rakhimov 2026-03-04
Transformer 世界模型 强化学习 模型基强化学习 表征学习
✅ 已总结
详情 →

受通信启发的结构化图像表示Tokenization方法

👍 4

提出COMiT，通过迭代局部观测和递归更新构建具有语义结构的离散视觉token序列

Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo... 2026-02-25
Transformer 图像表示学习 流匹配 离散Token化 组合泛化
✅ 已总结
详情 →

论序列模型中的归纳偏置

👍 4

Transformer在状态跟踪任务中数据效率低下，无法跨序列长度共享学习机制

M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic 2026-02-24
Transformer 归纳偏置 循环神经网络 数据效率 状态跟踪
✅ 已总结
详情 →

用于时序因果发现的大型因果模型

👍 1

预训练Foundation模型实现零样本时序因果发现

Nikolaos Kougioulis, Nikolaos Gkorgkolis, MingXue Wang, Bora Caglayan, Dario... 2026-02-24
Foundation Models Transformer 因果发现 时序分析 零样本学习
✅ 已总结
详情 →

自适应一维视频扩散自编码器

👍 5

用 Transformer 替代 CNN 做视频压缩，支持自适应长度编码和扩散解码

Yao Teng, Minxuan Lin, Xian Liu, Shuai Wang, Xiao Yang, Xihui Liu 2026-02-06
Transformer 扩散模型 自编码器 视频压缩 视频生成
✅ 已总结
详情 →

LoL：比更长还长，将视频生成扩展至小时级

👍 23

通过多头RoPE抖动解决自回归视频生成中的注意力坍塌问题，首次实现12小时连续流式视频生成

Justin Cui, Jie Wu, Ming Li, Tao Yang, Xiaojie Li, Rui Wang, Andrew Bai,... 2026-01-30
Transformer 位置编码 扩散模型 自回归模型 视频生成
✅ 已总结
详情 →

揭秘注意力中的斜线模式：RoPE的关键作用

👍 4

揭示LLM注意力斜线模式由RoPE中高频分量与近秩一查询/键的相互作用内在产生

Yuan Cheng, Fengzhuo Zhang, Yunlong Hou, Cunxiao Du, Chao Du, Tianyu Pang,... 2026-01-16
RoPE Transformer 位置编码 机制可解释性 注意力机制
✅ 已总结
详情 →