研究发现RL训练增益集中在少量中间层,单层训练可超越全参数方法
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
学习未来注意力信号,在保持性能的同时大幅压缩KV缓存
通过旋转基共享 Lloyd-Max 码本实现数据无关的 DiT 低比特量化,无需校准数据即可跨模态应用
提出FlashMorph,通过联合优化层间门控,高效选择混合注意力模型的全注意力层
用学习型查询token解决视频世界模型的长期记忆问题
提出ILLUME-X统一模型,实现高质量N-to-M自由形式交错文本-图像生成
在天文图像上系统比较四种分词策略,发现重构质量与物理信息表征能力解耦
基于扩散Transformer的3D物理运动模拟框架,直接在世界坐标系生成完整网格轨迹
重新思考混合架构中高效注意力的角色
👍 20系统分析混合架构中高效注意力对长上下文能力的影响机制
消除Encoder-Predictor分裂,将多任务推理内化于Transformer栈中
从冻结扩散Transformer提取多模态感知信息
网络原生时间序列基础模型,在AP边缘实现预测和异常检测
通过分层token化和粗到细rollout实现长视频生成的一致性
用可重复的BA启发迭代层在隐空间细化相机位姿与几何
通过邻域注意力解码器和点梯度匹配损失提升单目3D重建的局部表面质量
迈向原生多模态建模:一份路线图
👍 43形式化定义"原生多模态",梳理2023–2026年40+模型架构、训练、推理与评估。
用证据影响核分解实现长视频流式三维重建的稳定长程传播
CAT:用一致性正则化解决多尺度 GAN 跨尺度轨迹错位
统一处理多视图配置、多模态融合、长时程感知和度量尺度的几何感知框架
揭示标准损失与正偏激活函数交互导致的负权重漂移机制,刻画其对激活稀疏性和准确率的影响。