在输入前拼接可训练[DUMP]令牌吸收非语义噪声，不改架构即可提升检索嵌入质量
标签：
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
后训练
RLVR
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
Transformer
参数高效微调
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
综述
信息检索
模仿学习
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
用因子化潜变量先想象目标再构建检索嵌入，解耦查询理解与判别嵌入学习
从碎片化到融合：全模态嵌入的综述与路线图
👍 24蚂蚁团队首篇全模态嵌入综述：提出3C透镜与转换、对齐、融合三路径路线图
发布RealSSA真实声学基准，提出单遍Falcon模型，延迟降11倍精度超SOTA
744M参数开源多模态嵌入模型，统一文本、图像、视频与音频表示空间
解耦场景结构表征并用对比学习判别场景结构，让自监督深度估计首次从混合域训练中获益
面向GUI智能体的潜在世界动作模型
👍 21把GUI世界建模从重建未来屏幕改为潜在空间预测动作后果，成功率最高+12.5点、延迟降低98.9%
检索器系统性高估文本分数致混合语料检索失稳，Trident以共享softmax多正例对比学习修复
基于证据对齐读出的多模态嵌入学习
👍 10将生成的语义证据边界作为嵌入读出位置，12项MMEB检索任务平均Recall@1达76.9%
以Qwen-Omni为原生骨干、经四阶段训练的全模态嵌入家族，登顶MMEB-v3等五大基准
共享编码器联合双向生成解码器预训练，一维可变长连续令牌同时胜任检索与生成。
Gavel用两个线性投影从冻结LLM自身前向传播中读出路由信号，无需技能文本进入上下文
把检索库建在生成器自身潜在空间，检索与生成共享表征，单阶段掩码模型即达SOTA保真与最快推理
在MaskDINO上引入查询级分解重组与去噪查询对比对齐，实现显微镜重叠细胞的去重叠分割
像素文本表示学习的设计基础
👍 30系统消融出像素文本表示学习的四大设计原则，训练出SOTA原生分辨率视觉文本编码器
用冻结图像嵌入的对比对齐替代描述标注，单次推理即可逼近多阶段验证管线的细粒度描述质量
两阶段训练的多模态嵌入家族：2B 超越 8B 基线，9B 以 80.6 分居 MMEB-v2 榜首
LAION 发布 1000 万小时开放视频数据集，一源三用验证视频、音频、图文预训练
抖音多模态嵌入模型技术报告
👍 14两阶段训练兼顾十亿级检索效率与细粒度语义判别
FATE：帧级音视频时序嵌入
👍 4保留帧级特征的双编码器嵌入模型，单一相似度同时刻画语义与时间对齐