所见即所指：通过视觉-语言表征对齐实现视频细粒度物体理解

SWIM 用纯文本提示实现视频物体定位，训练时用掩码监督跨模态注意力。

前置知识

多模态大语言模型 (MLLM)

在预训练大语言模型基础上加入视觉编码器，使模型能够同时理解图像/视频帧和自然语言，并通过自回归方式生成文本回答。典型代表如 Qwen2.5-VL、LLaVA-OneVision 等。

本文研究的'从纯文本提示定位物体'正是 MLLM 当前的能力盲区，也是 SWIM 训练范式的应用场景。

跨模态交叉注意力 (Cross-attention)

Transformer 解码器中视觉 token 作为 Key/Value、文本 token 作为 Query 的注意力机制。注意力权重 $A_{l,i}(u,v)$ 反映第 $l$ 层中某个文本 token 对各视觉位置的关注强度，常被用于解释'词与图块的对应关系'。

SWIM 的核心创新正是在交叉注意力图上施加空间监督，使其与目标掩码对齐，从而显式强化文本-视觉对应。

物体级 (Region-level) 视觉理解

相对于整体场景描述，物体级理解要求模型能够识别、追踪并描述视频中用户指定的具体物体实例，常用点、框、掩码等视觉提示辅助。代表数据集如 VideoRefer、PAM、DAM 等。

本文的核心问题就属于物体级理解领域，但 SWIM 主张抛弃视觉提示，只用自然语言就能精准定位目标。

掩码监督 (Mask Supervision)

在训练阶段使用像素级二进制掩码 $M_i(u,v) \in \{0,1\}$ 标注目标物体位置，作为模型学习的强信号。常见做法是把掩码当作额外输入或注意力损失的目标。

SWIM 的关键技巧是仅在训练阶段使用掩码做交叉注意力正则化，推理时彻底不需要任何视觉输入。

视觉指代表达 (Visual Referring Expression)

用一段简短、具区分性的自然语言（如戴红帽、穿条纹衫的男士）唯一指向画面中某一物体的表达形式。在 Referring Image/Video Segmentation 等任务中是核心输入。

NL-Refer 数据集将 VideoRefer 中的占位符替换为自然语言指代表达，是 SWIM 训练范式得以实施的基础。

研究动机

当前多模态大语言模型在视频细粒度物体理解任务上存在一个核心矛盾：一方面，Osprey、Ferret、PAM、DAM、VideoRefer 等专用方法通常需要额外的视觉提示输入（点、框、掩码）才能引导模型聚焦到用户指定的物体，在推理阶段这种视觉标注既不友好也增加了系统复杂度；另一方面，GPT-4o、Qwen2.5-VL 等通用 MLLM 虽然支持纯文本交互，却难以稳定锁定文本中提到的物体——作者通过对 Qwen2.5-VL 的交叉注意力可视化发现一个系统性的语义参考偏差：与低层视觉纹理强相关的属性词（如颜色、材质）能产生尖锐、定位准确的注意力图；而代表高层语义概念的物体名词（如男士、砧板、金鱼）的注意力却弥散、发散地铺满整张图，根本无法落到正确区域。这一现象在预训练大规模图文语料中广泛存在，导致模型不经过显式监督就难以建立稳定的物体名词到视觉区域的对应关系。

本文的目标是本文的目标是设计一个训练策略，使得 MLLM 在推理阶段仅接收纯自然语言提示，就能自动把注意力集中到用户指定的目标物体上，并据此完成细粒度的描述、问答与推理任务。具体来说，希望在 VideoRefer-Bench-D/Q 等物体级基准上同时超过通用 MLLM（如 Qwen2.5-VL-7B、GPT-4o）和需要视觉提示的专用模型（如 DAM-8B、VideoRefer-7B），且不依赖任何额外模块或推理时视觉输入。

与已有工作不同的是，已有方法要么靠视觉提示绕过语义对齐问题（如 VideoRefer 用 mask token 占位、DAM 把 mask 作为额外输入），要么靠通用预训练间接获得语义对齐（如 GPT-4o），但没有人显式地把物体名词-视觉区域的对齐当作训练目标去监督。SWIM 的独特切入点是：直接在交叉注意力上引入掩码监督信号，把自然语言描述的指代物作为显式的对齐目标训练 MLLM，使模型在丢掉视觉提示输入后仍能稳定完成物体定位——这相当于把视觉提示的负担从推理阶段转移到训练阶段。

核心方法

SWIM 的整体思路可以一句话概括：在带物体级掩码标注的视频数据上，把文本中的物体名词与该物体对应的像素掩码在交叉注意力空间中显式绑定。其直觉是——现有 MLLM 之所以在纯文本提示下抓不住目标，是因为交叉注意力从未被要求直接对齐过物体名词与视觉区域；如果在训练时直接把目标物体掩码作为注意力图的监督信号，模型就会学会让物体名词的注意力集中到正确的空间位置。技术路线分两步：第一步，构造 NL-Refer 数据集，把 VideoRefer 中以 `` 占位符为视觉提示的训练样本转换成自然语言指代表达，并用 `` 标签框定核心物体名词，让哪个 token 对应哪个掩码是确定可定位的；第二步，基于 Qwen2.5-VL-7B 做 SFT，从 6 个均匀分布的解码器层提取该物体名词的交叉注意力图，与 ground-truth 掩码计算 BCE 损失，与文本生成损失联合优化。推理时只需给纯文本指令，模型就会自动把注意力打到对应物体上。

SWIM 与已有方法的本质区别在于对齐发生的位置和时机：Ferret、VideoRefer、DAM、Osprey 等方法都把视觉提示当作输入特征（额外的 region encoder 或 mask embedding）注入到模型中，让模型看见目标区域再描述；而 SWIM 不引入任何额外模块、不需要任何视觉输入，唯一的改动是把物体名词应该对应哪片视觉区域作为注意力层面的监督信号注入到训练过程中，从而改造模型内部的注意力分布。这种做法等价于把视觉标注信息烘焙进模型的参数里——推理时只要文本中出现了对应名词，模型的注意力就会自然指向正确区域。另一个关键差别是：之前的研究（如 Cambrian、VIRAL）虽然也探索过 MLLM 中间层特征，但他们聚焦的是视觉嵌入的重建；而 SWIM 关注的是文本-视觉的跨模态对应，填补了显式 token-像素对齐的空白。

方法步骤详情

训练流程四步。第一步数据重构：用 GPT-4o 从 VideoRefer 响应 $G_i$ 抽取指代表达 $r_i$，将 $H_i$ 的 `` 占位符替换为 $r_i$，并用 `` 包裹核心名词 $w_i$ 得到 $\hat{H}_i$。第二步注意力提取：在第 $l$ 层 cross-attention 中取被标记名词的 query 与视觉 key，计算$\mathbf{A}_{l,i} = \text{softmax}(Q_t^l[j_i](K_v^l)^\top/\sqrt{d})$。第三步空间对齐：双线性插值上采样到 $(H,W)$ 网格，对 6 个均匀分布层取平均 $\bar{A}_i$。第四步损失计算：像素级 BCE 与文本生成损失联合优化。训练用 8× A100，混合 235K 样本（125K NL-Refer + 100K LLaVA-Video-178K + 10K videorefer-qa-75k）。

技术新颖性

SWIM 的技术新颖性体现在三个层面。第一，把物体名词-视觉区域的 token 级对齐当作显式的训练目标。此前没有任何方法在 MLLM 训练损失中直接包含这一项——Ferret/VideoRefer 等用额外 region encoder 处理 mask，Osprey 用像素解码器，都没有触及物体名词的 cross-attention 应该指向何处。第二，发现了一个系统性现象并把它工程化为训练信号：通过交叉注意力可视化发现属性词和物体名词之间存在显著的语义参考偏差，并基于此设计了只针对物体名词的注意力正则化，避免了监督过于稀疏的负面影响。第三，提出 NL-Refer 数据构造流水线，把基于占位符的视觉提示式数据自动转换为纯自然语言指代形式，使视觉标注信息能在不改变下游推理接口的前提下注入训练，为这类纯文本推理但需要物体级感知的范式提供了可扩展的数据基础。

实验结果

VideoRefer-Bench-Q 上 SWIM 取得 78.3% 平均准确率，领先 Qwen2.5-VL-7B（71.8%）/ VideoRefer-7B（71.9%）/ GPT-4o（71.3%）六个百分点以上，Basic 子项 78.0→83.8（+5.8）提升最大。VideoRefer-Bench-D 平均 3.78，超 DAM-8B（3.68）+0.10、GPT-4o（3.25）+0.53，SC（4.92）与 AD（3.85）提升最显著。通用基准 MVBench 62.1、VideoMME 55.9、ActivityNet-QA 55.6，未牺牲通用能力。消融（Tab. 3-5）确认 6 层均匀 + Mean 聚合 + BCE 损失最优。GamePoint@P P=1 0.329→0.392（+6.3pp）、P=5 0.293→0.348（+5.5pp），注意力峰精准。对齐指标 AUC 0.62→0.67、NSS 0.39→0.50、Precision 0.28→0.39、AP 0.26→0.30 全方位改善。Fig. 4 显示数据 30K→125K 时性能单调 3.23→3.78，曲线尚未饱和。

**Table 1**: Performance comparisons on fine-grained VideoRefer-Bench-D and VideoRefer-Bench-Q.

**Table 2**: Performance comparisons on general video benchmarks.

**Table 3**: Ablation study of attention layer selection.

**Table 4**: Ablation study of attention layer fusion methods.

**Table 5**: Ablation study of attention loss function.

**Table 6**: GamePoint@P comparison between Qwen2.5-VL and SWIM.

**Table 8**: Performance comparisons on VideoRefer-Bench-D under synonym-based noise.

**Fig. 5**: Qualitative comparisons between SWIM and Qwen2.5-VL.

**Fig. 6**: Quantitative comparison of fine-grained text–visual alignment metrics.

查看结构化数据

任务	指标	本文	基线	提升
VideoRefer-Bench-Q (物体级视频问答)	准确率 (%)	78.3	Qwen2.5-VL-7B: 71.8 / VideoRefer-7B: 71.9 / GPT-4o: 71.3	+6.5 / +6.4 / +7.0
VideoRefer-Bench-D (物体级描述生成)	0-5 平均分 (Subject/Appearance/Temporal/Hallucination)	3.78 (4.92/3.85/3.43/2.96)	DAM-8B: 3.68 (4.69/3.61/3.34/3.03); GPT-4o: 3.25	+0.10 / +0.53
MVBench (通用视频理解)	平均分	62.1	VideoRefer: 59.6; VideoLLaMA2.1: 57.3	+2.5 / +4.8
VideoMME (通用视频理解)	平均分	55.9	VideoRefer: 55.9; LLaVA-Octopus: 55.7	持平/+0.2
ActivityNet-QA	平均分	55.6	VideoLLaMA2: 50.2; INST-IT: 55.2	+5.4 / +0.4
GamePoint@1 (注意力峰在物体内比例)	命中率	0.373	Qwen2.5-VL-7B: 0.330	+4.3pp
GamePoint@5	命中率	0.348	Qwen2.5-VL-7B: 0.293	+5.5pp
AUC (文本-视觉对齐)	ROC-AUC	0.67	Qwen2.5-VL-7B: 0.62	+0.05
NSS (Normalized Scanpath Saliency)	saliency score	0.50	Qwen2.5-VL-7B: 0.39	+0.11

局限与改进

作者在论文中主要承认的局限是数据规模——125K 的 NL-Refer 样本可能还不够，Fig. 4 显示曲线没有饱和，意味着更大规模的高质量 mask-标注数据能让性能继续提升；BCE 损失虽然稳健，但在极高分辨率（>1080p）或极小目标物体上，注意力图的分辨率仍受限于视觉 token 数量，可能出现定位抖动。从独立视角看，论文还存在以下隐含不足：第一，方法依赖 GPT-4o 进行指代表达生成，引入了额外的 API 成本与黑盒依赖，蒸馏到开源模型时质量可能下降；第二，仅在 Qwen2.5-VL-7B 上验证，泛化到其他 MLLM（如 LLaVA-OneVision、InternVL3）需要重新调优；第三，BCE 损失对注意力图的整体形状有约束，但并未直接约束 token 之间的相对关系，可能在多物体同框时出现注意力竞争；第四，对长视频、跨镜头物体身份切换等场景尚未充分评估；第五，HD（Hallucination Detection）维度从 GPT-4o 的 2.43 提升到 2.96 但仍显著低于 SC/AD，说明物体级描述的事实性提升空间有限。

独立分析的弱点

第一个可改进点是损失函数的均匀性：BCE 对所有非物体像素一视同仁地压制，但在小目标或物体与背景对比度低时，模型可能倾向于把注意力扩散到背景中以降低整体 loss。可考虑加入 Focal 风格的难度调制或动态加权机制，让 loss 更聚焦于困难像素。第二个弱点是数据构造对 GPT-4o 的依赖：当前指代表达由闭源模型生成，下游使用者复现时既要付 API 费用，又难以控制风格一致性（论文也没有报告指代表达的平均长度和多样性）。可改进方向是用开源 MLLM（如 Qwen2.5-VL-72B）蒸馏或训练一个专门的指代生成器。第三个弱点是模型在 HD 维度提升有限（2.43→2.96），说明即便注意力对了，模型仍可能捏造未在画面出现的内容；可以在 SFT 阶段显式加入对抗性负样本（如同一物体被错误标注的帧）以增强事实一致性。第四个弱点是同句多物体场景未被单独评测，论文例子大多针对单一 `` 标记；多物体竞争注意力时的表现仍待验证，建议扩展 NL-Refer 中多目标样本并加入相对位置推理 prompt。

未来方向

作者明确提出的方向是扩大带掩码标注的数据规模——Fig. 4 暗示曲线尚未饱和，下一步可以使用 SAM2、Grounded-SAM2 等模型对更大规模视频数据集（如 Panda-70M、ActivityNet）自动生成伪掩码，再过滤低质量样本，形成千万级训练数据。基于成果可延伸的方向包括：(1) 把这一范式迁移到图像域，构建 NL-Refer-Image 训练 MLLM 在 Referring Expression Comprehension 任务上的表现；(2) 把物体名词-视觉区域对齐扩展到关系词-空间关系对齐，让模型能理解左边、旁边等关系性指代；(3) 把 SWIM 注意力监督作为 reward signal 用于 RLHF，进一步优化细粒度感知；(4) 与 chain-of-thought 推理结合，让模型在回答前显式输出我现在关注哪个物体，增强可解释性；(5) 探索多帧视频中物体身份保持的注意力一致性约束，处理镜头切换与遮挡。

复现评估

论文开源度高：代码与数据均发布在 https://github.com/HumanMLLM/SWIM，包含 NL-Refer 构造脚本与训练 pipeline。基座使用公开的 Qwen2.5-VL-7B + SIGLIP-so400m-patch14-384 视觉编码器；训练硬件为 8× NVIDIA A100，235K 样本 SFT 成本适中。复现难度主要在三方面：(1) 数据构造需调用 GPT-4o API 并按论文 prompt 模板生成指代表达，研究者需准备 OpenAI 账号与预算；(2) 训练需保留 cross-attention 中间激活，对显存要求高（7B 模型 + 多层 attention map 缓存），可能需要 gradient checkpointing；(3) BCE 损失需对 softmax 后注意力图反向传播到 attention weights，某些 MLLM 实现可能需要修改 attention 实现以暴露 logits。主要超参（6 层、mean 聚合、BCE 损失）都已固定，第三方复现 SWIM 核心结果可行。

所见即所指：通过视觉-语言表征对齐实现视频细粒度物体理解 See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding