基于属性结构化与质量验证指令的通用视频多模态大语言模型 Towards Universal Video MLLMs with Attribute-Structured and Quality-Verified Instructions
提出结构化属性指令数据集ASID-1M和验证管道，显著提升视频描述的细粒度和可靠性
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是将视觉、音频等多种模态信息与语言模型结合的架构。它通过视觉编码器（如ViT）提取图像/视频特征，音频编码器提取声学特征，然后通过投影层将这些特征映射到语言模型的嵌入空间。模型接收视频帧序列和文本提示作为输入，生成自然语言描述或回答问题。典型代表包括Qwen2.5-Omni、InternVL等，它们能够同时处理视觉和听觉信息，实现真正的视听理解。
本文基于Qwen2.5-Omni构建ASID-Captioner，理解MLLM的基本架构是理解模型训练和推理流程的基础
监督微调（SFT）
监督微调是在预训练模型基础上，使用高质量标注数据进行有监督训练的过程。在视频理解领域，SFT使用视频-文本对作为训练数据，让模型学习根据视频内容生成描述。训练目标通常是最大化目标文本序列的似然概率，即最小化负对数似然损失，其中y_i是目标token，x_i是输入。SFT的效果直接取决于训练数据的质量和组织方式。
本文采用三阶段渐进式SFT训练方案，理解SFT的工作原理对于理解训练策略的设计至关重要
属性结构化指令
属性结构化指令是将视频描述分解为多个语义属性（如场景、人物、动作、摄像机、情感等）的组织方式。与传统的单一描述不同，属性结构化指令为每个属性生成独立的描述，然后可以组合成完整的视频描述。这种方法使学习目标更加明确，模型能够针对特定属性进行学习，同时在推理时可以灵活选择需要描述的属性子集。
这是本文的核心创新点，理解属性结构化的设计理念是理解整个论文的关键
幻觉与缺失
在视频描述任务中，幻觉（Hallucination）指模型生成了视频中不存在的内容，如描述不存在的物体或动作；缺失（Missing）指模型遗漏了视频中的重要信息。这两个指标是评估视频描述质量的核心标准。现有模型往往面临两难：生成详细描述时容易产生幻觉，而保守描述时又会遗漏关键信息。理想的模型需要在两者之间取得平衡。
本文的核心目标之一就是降低幻觉和缺失率，理解这两个概念对于理解实验结果至关重要
研究动机
现有视频指令数据集存在严重的质量问题，制约了多模态大语言模型的性能。具体表现为三个层面：第一，注释不完整——传统范式为每个视频分配一个固定格式的提示，产生一个不完整的描述，常常遗漏关键的细粒度信息，如时间定位或摄像机相关细节。第二，注释不可靠——论文在第3.4节的分析表明，仅仅增加注释粒度并不能产生更高质量的监督：通过详细提示设计或多源集成使多属性描述更加全面时，反而引入了额外的错误和幻觉内容。第三，缺乏系统验证——现有数据集普遍缺乏对细粒度注释的系统性验证，主要原因是标注成本高且难以大规模验证细粒度注释的正确性。此外，许多细粒度数据集仍然是封闭的，限制了可重复性，也阻碍了对其注释的进一步验证和改进。
本文的目标是本文采用以数据为中心的方法，聚焦于结构化指令设计和质量验证的细粒度监督，目标是构建一个开源的百万级视听指令数据集ASID-1M，其中注释被分解为互补的单属性和多属性描述。具体目标包括：（1）提供细粒度、结构化的属性描述，覆盖场景、人物、物体、动作、叙事、语音、摄像机和情感等多个维度；（2）通过自动化的验证和改进管道确保注释质量，使超过98%的改进描述经过验证是可靠的；（3）训练一个能够遵循属性指令生成高质量描述的模型ASID-Captioner，在开源模型中达到最先进的性能。
与已有工作不同的是，本文的独特切入角度在于认识到「结构化」和「质量验证」这两个被忽视的关键点。现有工作要么关注数据规模，要么关注注释粒度，但都没有系统性地解决细粒度注释的质量问题。本文发现，仅仅增加注释粒度是不够的——关键是要有结构化的属性分解和针对每个属性的独立验证。通过将注释分解为语义属性，可以更精确地识别和修正错误；通过多源集成和属性级验证，可以在提高覆盖度的同时控制幻觉。这种「属性结构化+质量验证」的双重策略是本文与已有工作的本质区别。
核心方法
本文的方法可以类比为一个精心设计的编辑流程：就像一个专业编辑团队处理一篇稿件，首先由多位记者（多源注释器）从不同角度采访同一事件，然后由主编（LLM集成器）整合各方报道形成初稿，接着由事实核查团队（验证模块）逐条核实信息，最后由资深编辑（改进模块）修正错误并润色。技术路线上，整个系统分为数据管道和模型训练两大部分。数据管道ASID-Verify采用三阶段流程：多源注释生成、注释集成与验证、基于属性的评估与改进。模型训练ASID-Captioner采用三阶段渐进式SFT：单属性表示学习、全属性短上下文学习、全属性长上下文学习。这种设计确保了训练数据的高质量和模型对属性指令的精确遵循能力。
本文的核心创新点是「属性结构化监督」与「质量验证机制」的结合。与已有方法最本质的区别在于：已有方法将每个视频建模为单一描述，学习目标是生成一个整体性的文本；而本文将视频内容分解为多个语义属性（场景、人物、物体、动作、叙事、语音、摄像机、情感），为每个属性提供独立的监督信号。这种结构化设计带来三个关键优势：第一，使学习目标更加明确，模型可以针对特定属性进行学习；第二，使错误定位更加精确，可以在属性级别识别和修正问题；第三，使推理更加灵活，用户可以选择需要描述的属性子集。更重要的是，本文认识到细粒度注释需要系统性的质量控制，因此开发了ASID-Verify管道，通过多源集成、属性级验证和针对性改进，确保注释的可靠性和一致性。
方法步骤详情
整个方法分为数据管道和模型训练两大部分。数据管道ASID-Verify包含三个阶段：阶段1（多源注释生成）从LLaVA-Video-178K和FineVideo构建约125K视频池，使用开源视听模型（如AVoCaDO）和闭源模型（如Seed-1.6）生成多源候选描述，同时使用Whisper进行语音识别和时间对齐。阶段2（注释集成与验证）使用Seed-1.6作为集成器，将多源描述合成为统一的全属性草稿描述，然后通过ASR对齐和时间戳一致性检查进行验证，产生更完整的描述。阶段3（基于属性的评估与改进）将描述分解为预定义语义属性，使用MLLM独立评估每个属性的事实准确性和表达质量，然后针对性地修正错误并补充缺失内容，最终保留121K视频，每个视频配8个验证的单属性描述和1个全属性描述。模型训练ASID-Captioner也分为三个阶段：阶段1（单属性表示学习）使用单属性监督；阶段2（全属性短上下文学习）使用全属性监督；阶段3（全属性长上下文学习）在长视频（最长3分钟）上进行训练。推理时，模型接受视频和用户指定的属性子集，生成条件描述。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在数据组织方式上，与现有数据集（如ShareGPT4Video、LLaVA-Video-178K）采用单一描述不同，本文引入属性结构化指令，将描述分解为8个语义属性。这种设计使监督信号更加明确和细粒度。其次，在质量控制上，现有数据集普遍缺乏系统性验证，而本文开发了三阶段验证管道，特别是阶段3的属性级评估和针对性改进，这是前所未有的。第三，在训练策略上，本文采用渐进式三阶段训练，从单属性到全属性，从短上下文到长上下文，这种设计使模型能够稳定学习并泛化到未见过的属性组合。最后，在推理灵活性上，模型支持用户指定任意属性子集进行描述，无需重新训练或修改架构，这是已有方法不具备的能力。
实验结果
本文在七个基准测试上进行了全面评估，覆盖视听描述、属性描述、基于描述的问答和时间定位四个维度。在Video-SALMONN-2基准上，ASID-Captioner 7B模型的缺失率为20.5%，幻觉率为15.4%，总分为35.9，与Gemini-3-Pro（19.1/16.6/35.7）竞争，显著优于Qwen2.5-Omni（41.7/15.4/57.1）等开源模型。在UGC-VideoCap基准上，7B模型在音频（79.1）、视觉（84.4）、细节（80.2）三个维度均表现优异，平均分81.2，超越所有开源模型，与Gemini-3-Pro（81.9）相当。在VDC属性描述基准上，7B模型在所有五个属性（摄像机、短摘要、背景、主物体、详细描述）上均取得最佳成绩，平均准确率40.9，评分1.8，超越Gemini-3-Pro（38.2/1.7）和AVoCaDO（36.3/1.6）。在VidCapBench-AE基准上，7B模型的整体准确率18.2，精确率60.0，覆盖率93.3，在视频内容和视频运动方面表现尤为突出。在基于描述的问答任务上，7B模型在Daily-Omni上得分61.2，World-Sense上得分34.0，均显著超越现有开源模型。在时间定位任务上，7B模型的mIoU为28.5，在IoU阈值为0.3、0.5、0.7时的召回率分别为44.1%、26.3%、11.0%。消融实验表明，属性结构化监督（多属性）比非属性监督在Video-SALMONN-2上将总分从49.1降至43.4，在VDC详细描述上将准确率从38.5提升至40.2。阶段训练实验显示，从S1到S3，缺失率从42.1降至23.4，总分从54.9降至41.7，验证了渐进式训练的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视听描述（Video-SALMONN-2） | Total ↓ | 35.9（7B）/ 41.7（3B） | Gemini-3-Pro: 35.7 | 开源模型SOTA，与Gemini-3-Pro竞争 |
| 视听描述（UGC-VideoCap） | Avg ↑ | 81.2（7B） | Gemini-3-Pro: 81.9 | 超越所有开源模型，接近Gemini-3-Pro |
| 属性视觉描述（VDC） | Avg Acc / Score ↑ | 40.9 / 1.8（7B） | Gemini-3-Pro: 38.2 / 1.7 | 超越Gemini-3-Pro |
| 文本生成描述（VidCapBench-AE） | Acc / Pre / Cov ↑ | 18.2 / 60.0 / 93.3（7B） | Gemini-3-Pro: 18.9 / 58.1 / 92.8 | 精确率和覆盖率超越Gemini-3-Pro |
| 基于描述的问答（Daily-Omni） | Accuracy ↑ | 61.2（7B） | Gemini-2.5-Pro: 60.2 | 超越Gemini-2.5-Pro |
| 基于描述的时间定位（Charades-STA） | mIoU ↑ | 28.5（7B） | Gemini-2.5-Pro: 27.6 | 超越Gemini-2.5-Pro |
局限与改进
论文作者承认了三个主要局限性。第一，ASID-1M通过多源自动注释、集成和验证构建，尽管阶段3进行了属性级检查，但仍可能存在残留噪声，特别是对于依赖ASR的语音内容和细粒度时间戳。在随机抽样的300个视频中，超过98%的改进描述是可靠的，但剩余问题仍限于2秒内的时间戳偏差。第二，部分评估依赖强大的专有模型作为评判者或下游求解器（如GPT-4.1/GPT-4o/Seed-1.6/Gemini），这可能引入评估者偏差，使绝对分数对所选评判模型敏感。第三，ASID-1M聚焦于短视频（最长3分钟），对于更长视频或不同领域的泛化能力需要进一步验证。从我的观察来看，论文在属性覆盖方面可能存在偏差，某些细粒度属性（如物体材质、光照细节）可能在数据集中代表性不足；此外，验证管道的计算成本可能较高，限制了其在更大规模数据集上的应用。
独立分析的弱点
基于我对论文的分析，我认为存在以下几个弱点和改进方向。首先，属性分解的粒度仍然有限——当前只定义了8个高层属性（场景、人物、物体、动作、叙事、语音、摄像机、情感），而实际视频内容的语义维度远比这丰富。例如，物体的材质、光照条件、空间关系等细粒度属性没有被显式建模。改进方向是引入更细粒度的属性层次结构，如论文附录E中展示的三级层次结构，但需要平衡粒度和注释成本。其次，验证管道依赖闭源模型Seed-1.6，这限制了方法的完全可复现性。改进方向是探索使用开源模型进行验证，或开发基于规则的验证方法。第三，训练数据主要来自YouTube和短视频平台，可能存在领域偏差，对于专业领域（如医学、工业）的视频理解能力可能有限。改进方向是扩展数据源，包含更多领域的视频。第四，模型在属性指令遵循方面，当属性数量增加时准确率下降明显（从1个属性的47-52%降至4个属性的5.5-6.5%），表明模型处理复杂属性组合的能力仍需提升。
未来方向
基于本文的成果，未来研究可以从多个方向展开。作者提出的未来方向包括：将ASID-Verify管道扩展到更长视频和更多领域，以及探索强化学习与结构化监督的结合。基于论文成果可延伸的方向包括：第一，将属性结构化思想应用到视频生成任务，使用属性描述作为中间表示来提高生成质量；第二，开发交互式视频理解系统，允许用户通过属性查询来探索视频内容；第三，将ASID-1M数据集用于训练视频检索模型，利用属性描述进行细粒度的视频-文本匹配；第四，探索属性结构化在多轮对话中的应用，使模型能够根据对话上下文动态调整描述的属性组合；第五，研究属性分解的自动化方法，减少对预定义属性集的依赖。
复现评估
本文在可复现性方面做出了显著努力。代码已在GitHub开源（https://github.com/HVision-NKU/ASID-Caption），数据集ASID-1M在HuggingFace公开（https://huggingface.co/datasets/AudioVisual-Caption/ASID-1M），模型也在HuggingFace发布（https://huggingface.co/AudioVisual-Caption/models）。训练基于Qwen2.5-Omni，这是一个开源的7B参数模型。训练配置在论文附录A中有详细说明：使用32块NVIDIA A800 GPU（80GB显存），采用DeepSpeed ZeRO-2/ZeRO-3优化，AdamW优化器，学习率2e-5，全局批大小128。三阶段训练分别使用150K、136K、53K训练样本。对于希望复现的研究者，主要挑战在于：（1）验证管道依赖闭源模型Seed-1.6，可能需要寻找替代方案；（2）计算资源需求较高，32块A800 GPU的配置对于大多数实验室可能难以实现；（3）数据集的构建涉及多源注释和三阶段验证，复现整个管道需要大量工程努力。总体而言，论文的开源程度较高，但完全复现仍有一定门槛。
论文图表
左侧展示了现有描述监督的典型问题：非结构化、不完整、存在幻觉。右侧展示了本文提出的属性结构化监督：对齐、验证、细粒度。图中用具体例子说明了如何将视频描述分解为场景、人物、摄像机等属性，并分别进行验证。
这张图直观地展示了本文的核心动机和创新点，是理解论文的关键起点