Demo-ICL：面向程序性视频知识获取的上下文学习 Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition
提出Demo驱动的视频上下文学习任务与基准，通过两阶段训练提升MLLM从演示中学习新技能的能力
前置知识
上下文学习（In-Context Learning, ICL）
上下文学习是指大语言模型通过在输入中提供少量示例（demonstrations）来执行新任务的能力，而无需更新模型参数。最初在纯文本LLM中被发现，模型通过观察输入-输出对的模式来学习新任务。在多模态设置中，ICL扩展到包含图像或视频的示例。传统ICL假设演示是预先提供的，而本文提出的Demo-driven ICL更进一步，要求模型自己从候选池中检索合适的演示。
本文的核心创新在于将ICL从文本域扩展到视频域，并引入了模型自主选择演示的能力，这是理解本文方法论的基础
多模态大语言模型（MLLM）
多模态大语言模型是能够处理和理解多种模态（文本、图像、视频等）信息的大规模语言模型。典型代表包括GPT-4V、Gemini、Qwen-VL系列等。这些模型通常采用视觉编码器（如ViT）提取视觉特征，通过投影层将视觉token映射到语言模型的嵌入空间，然后由语言模型进行推理和生成。在视频理解中，MLLM需要处理时序信息，通常通过采样关键帧来实现。
Demo-ICL是在MLLM框架下构建的，理解MLLM的基本架构有助于把握本文方法的技术细节和创新点
直接偏好优化（Direct Preference Optimization, DPO）
DPO是一种替代传统RLHF（基于人类反馈的强化学习）的对齐方法。传统RLHF需要训练单独的奖励模型，然后用PPO等算法优化策略。DPO则直接利用偏好数据（包含优选和劣选响应对）来优化语言模型，通过Bradley-Terry模型将偏好概率转化为损失函数。公式为 $\mathcal{L}_{DPO} = -\mathbb{E}[\log \sigma(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)})]$，其中 $y_w$ 和 $y_l$ 分别是优选和劣选响应。
本文提出了信息辅助的DPO变体，是方法的核心创新之一，理解标准DPO有助于把握本文的改进
程序性知识（Procedural Knowledge）
程序性知识是指关于如何做某事的知识，表现为一系列有序的步骤或操作。与陈述性知识（关于事实的知识）不同，程序性知识强调动作的时序性和依赖关系。在视频理解中，程序性知识通常出现在教学视频（如烹饪、手工制作）中，每个步骤都有明确的先后顺序，错过或打乱步骤会导致任务失败。
本文聚焦于从教学视频中获取程序性知识，这是区别于传统视频理解任务的核心特征
研究动机
现有的视频理解基准主要评估模型基于静态内部知识的理解能力，而非从动态、新颖上下文中学习和适应的能力。具体而言，当前基准（如ActivityNet-QA、VideoMME等）提出的问题要么依赖模型预训练时学到的内部知识（如什么是打蛋器），要么基于目标视频中可见的事实（如打蛋器在哪里）。这与更贴近真实世界的场景存在本质差距：模型需要从演示中学习新流程或技能，然后将所学知识应用到新的相关视频序列上。例如，在烹饪场景中，模型看到加热油的第一步后，需要根据上下文演示推断下一步应该做什么。这种能力对机器人学习等下游应用至关重要，机器人需要从演示中学习来处理新任务。然而，当前模型缺乏这种从上下文示例中学习和适应的能力，Gemini-2.5-Pro在没有演示的情况下在本文提出的基准上仅能达到5%的准确率，说明仅靠内部知识无法解决这类问题。
本文的目标是本文旨在建立一个系统性的框架来评估和提升MLLM从上下文演示中学习程序性知识的能力。具体目标包括：(1) 设计三个Demo驱动的视频上下文学习任务，分别测试模型从文本演示学习、从视频演示学习、以及自主检索合适演示的能力；(2) 构建一个高质量、具有挑战性的基准Demo-ICL-Bench，包含1200个来自真实教学视频的问题；(3) 开发一个有效的训练方法，使模型能够在不改变架构的情况下获得强大的demo驱动视频上下文学习能力。最终目标是推动视频理解模型从被动的感知理解向主动的知识获取和应用转变。
与已有工作不同的是，本文的独特切入角度在于将学习而非回忆作为视频理解的核心能力。与现有工作相比，本文抓住了三个被忽视的关键点：第一，现有模型主要优化零样本性能，通过精心策划的视频指令数据集进行训练，但没有专门针对从上下文示例中学习进行优化；第二，传统ICL研究主要在语言和图像域展开，视频ICL仍是一个未被充分探索的领域；第三，现有方法将上下文仅作为参考，而非真正的学习来源。本文提出的Demo-driven ICL要求模型真正理解演示内容并将其迁移到新场景，这比简单的检索增强生成（RAG）更具挑战性，因为它需要模型具备时序对齐、抽象概括和灵活知识迁移的能力。
核心方法
Demo-ICL的方法可以类比为人类学习新技能的过程：当你想学做一道新菜时，你可能会先看文字菜谱（文本演示）或观看教学视频（视频演示），然后将学到的步骤应用到自己的烹饪过程中。本文将这个过程形式化为三个任务，并设计了一个两阶段训练策略来赋予模型这种能力。整体技术路线如下：首先，构建Demo-ICL-Bench基准，包含1200个精心策划的问题，每个问题都配有文本或视频演示；然后，采用两阶段训练策略：第一阶段通过视频监督微调（SFT）建立基础的视频理解和上下文推理能力，第二阶段通过信息辅助的直接偏好优化（DPO）专门增强模型从视频演示中学习的能力。这种方法的优势在于不需要修改模型架构，只需通过定制化的训练策略即可赋予现有MLLM新的能力。
本文的核心创新点在于提出了信息辅助的DPO训练策略，这是与已有方法最本质的区别。传统DPO需要人类标注优选和劣选响应对，但标注成本高且在demo驱动的视频ICL任务中尤其困难。本文的创新在于：(1) 利用自动生成的辅助信息来提升响应质量，而非依赖人工标注。对于文本ICL任务，提供视频时间戳帮助模型更好地将视觉输入与文本指令对齐；对于视频ICL任务，将视频演示与对应的文本指导配对。(2) 使用奖励模型对生成的多个响应进行评分，高分响应作为优选，低分响应作为劣选，构建偏好数据对。(3) 采用迭代训练策略，每轮使用前一轮模型生成的数据进行DPO训练，逐步提升模型能力。这种方法通过Bradley-Terry模型建模人类偏好分布：$p^*(y_1 \succ y_2 | x) = \sigma(r^*((x, I), y_1) - r^*(x, y_2))$，其中 $I$ 表示辅助信息。通过最小化负对数似然来训练奖励模型，从而使模型能够学习利用额外信息生成高质量响应。
方法步骤详情
Demo-ICL的方法包含数据构建和模型训练两个主要流程。数据构建阶段：(1) 视频收集与标注 - 从HowTo100M数据集中筛选教学视频，使用HTM-AA提供的ASR输出获取句子和词级时间戳；(2) 文本演示生成 - 使用Qwen2.5-72B将ASR转录总结为步骤序列，过滤无关步骤，合并冗余内容，再用Qwen2.5-VL-72B结合视频片段进行精炼；(3) 视频演示选择 - 采用粗到细的配对选择过程，首先利用HowTo100M的元数据（YouTube搜索排名）筛选，然后用LLM评估标题语义相似度，最后验证视频是否确实展示可迁移的相似任务；(4) 问题生成 - 对文本ICL任务，从有效步骤序列中随机选择一个中间步骤生成问题；对视频ICL任务，由LLM分析配对视频的指令确定目标步骤和时间戳。模型训练阶段：第一阶段SFT，使用数百万样本进行监督微调，包括图像-文本对（LLaVA-OneVision、VisualWebInstruct等）和视频数据（LLaVA-Video、Oryx等），特别加入COIN和Cross-Task等教学视频数据集；第二阶段信息辅助DPO，使用5000个样本，学习率5e-7，通过迭代训练（多轮DPO）逐步增强demo驱动的视频ICL能力。
技术新颖性
Demo-ICL的技术新颖性体现在三个层面：首先，在任务定义层面，本文首次系统性地提出了Demo驱动的视频上下文学习任务，包含文本演示、视频演示和演示选择三个子设置，这与传统零样本视频理解和简单的检索增强生成有本质区别。传统方法将上下文仅作为参考，而本文要求模型真正从演示中学习并迁移到新场景。其次，在数据构建层面，本文设计了一个高质量的粗到细数据生成管道，特别值得注意的是视频演示的选择机制：不仅基于元数据和标题相似度进行粗筛，还通过LLM验证文本指令的一致性来确保视频对确实展示可迁移的相似任务。第三，在训练策略层面，信息辅助DPO是最大的创新，它解决了demo驱动视频ICL中高质量偏好数据难以获取的问题，通过自动引入辅助信息（时间戳、文本指导）来提升响应质量，避免了昂贵的人工标注。迭代训练策略进一步放大了这一优势，使模型能力逐步增强。
实验结果
本文在Demo-ICL-Bench和多个通用视频理解基准上进行了全面实验，得出以下核心发现。首先，Demo-ICL-Bench确实极具挑战性：最先进的专有模型表现不佳，Gemini-2.5-Pro在文本和视频演示设置下分别仅达到54.4%和36.2%的准确率，GPT-4o更是只有48.8%和31.4%。人类在相同任务上的表现分别为84.0%和80.4%，显示出巨大的提升空间。其次，模型规模对上下文学习能力有显著影响：Qwen2.5-VL-72B在无演示时仅24.2%，但提供文本演示后提升至45.0%，改进幅度超过20个百分点；而7B模型的改进通常不到10个百分点。第三，Demo-ICL模型（7B参数）在Demo-ICL-Bench上取得了竞争性表现：SFT阶段后，文本ICL准确率从基线的31.4%提升至38.4%（+7.0），DPO阶段后进一步提升至43.4%（+5.0），总体平均准确率达到33.1%，超越所有同规模开源模型。第四，在通用视频理解基准上，Demo-ICL同样表现出色：在VideoMMMU知识获取基准上达到52.6%，超越Qwen2.5-VL-72B的60.2%；在VideoMME上，短/中/长视频分别达到78.6%/63.9%/53.2%（无字幕），与更大规模模型竞争。第五，消融实验证实了各组件的有效性：信息辅助DPO（vs 原始DPO）在平均准确率上带来约2.4个百分点的提升，迭代训练策略带来额外1.4个百分点的提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Demo-ICL-Bench 文本ICL | Demo. Acc | 43.4% | Gemini-2.5-Pro 54.4% | 7B模型接近专有模型水平 |
| Demo-ICL-Bench 视频ICL | Demo. Acc | 32.0% | Gemini-2.5-Pro 36.2% | 7B模型接近专有模型水平 |
| Demo-ICL-Bench 演示选择 | S.Acc | 58.0% | VideoChat-R1 52.0% | +6.0% |
| Demo-ICL-Bench 总体 | Avg Acc | 33.1% | Qwen2.5-VL-7B 26.3% | +6.8% |
| VideoMMMU 知识获取 | Accuracy | 52.6% | Ola-Video (Base) 46.2% | +6.4% |
| Video-MMLU Quiz | Accuracy | 50.4% | Qwen2.5-VL-7B 32.9% | +17.5% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，作者承认Demo-ICL模型没有采用专门为demo驱动视频ICL设计的特殊架构，而是通过定制化的训练策略在现有MLLM上实现这一功能。这意味着模型的能力提升可能受限于基础架构的表达能力，未来可能需要设计专门的架构来更好地处理演示信息。其次，视频演示ICL任务仍然显著困难于文本演示ICL任务：Demo-ICL在视频ICL上的准确率（32.0%）比文本ICL（43.4%）低11.4个百分点，说明模型从视频中提取和迁移知识的能力仍有较大提升空间。第三，演示选择任务对所有模型都极具挑战性，当前模型往往无法捕获全局语义信息，导致检索合适的演示失败。第四，作者未探索模型如何有效从多样化的上下文（如不同模态或资源）中学习，这种能力更接近自然人类学习过程。第五，数据构建过程依赖Qwen2.5-72B和Qwen2.5-VL-72B等大型模型，增加了基准构建的成本和复杂性。最后，本文主要关注程序性知识（如烹饪、手工），对于其他类型的知识获取（如科学概念、数学推理）的泛化能力尚未验证。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个弱点并提出改进方向。首先，模型在视频演示ICL任务上的表现明显弱于文本ICL，根源在于当前MLLM缺乏有效的时序对齐机制。改进方向是设计专门的时序注意力模块，能够跨视频进行步骤级别的对齐和匹配，而不是简单地将帧独立处理。其次，信息辅助DPO虽然避免了人工标注，但辅助信息的质量完全依赖于自动生成的文本指导和时间戳。当ASR质量较差或视频编辑不连续时，这些辅助信息可能不准确，进而影响DPO训练的稳定性。建议引入辅助信息质量评估机制，过滤低质量的训练样本。第三，演示选择任务的失败模式揭示了模型缺乏细粒度的跨视频比较能力。当前模型主要基于全局语义相似度选择演示，但忽略了步骤级别的对应关系。可以考虑引入层次化的选择策略：先粗筛语义相关的候选，再通过步骤级别的精细匹配确定最终演示。第四，本文的迭代DPO训练策略虽然有效，但缺乏理论分析。每轮训练的数据分布如何变化？模型在哪些方面获得了提升？这些都需要更深入的分析来指导更好的训练策略设计。
未来方向
本文为未来研究开辟了多个值得探索的方向。作者提出的未来方向包括：探索模型如何从多样化的上下文（不同模态、不同资源）中学习，这更接近自然人类学习过程。基于本文成果，可以延伸出以下研究方向：第一，将Demo-driven ICL扩展到更多领域，如机器人操作（从视频演示中学习抓取、组装等技能）、医疗诊断（从病例演示中学习诊断流程）、教育辅导（从教学视频中学习解题方法）。第二，探索更高效的演示选择机制，当前的粗到细选择过程可以被端到端的检索模型替代，或引入强化学习让模型学习最优的演示选择策略。第三，研究跨语言、跨文化的演示迁移能力，例如模型能否从英文烹饪视频演示中学习并应用到中文烹饪场景。第四，将Demo-driven ICL与具身智能结合，让机器人能够实时观看人类演示并执行相应操作，这需要模型具备更强的实时推理和泛化能力。第五，探索多模态演示的融合理解，即同时利用文本、视频、音频等多种模态的演示信息来增强学习效果。
复现评估
本文在复现性方面提供了较好的支持。代码已在GitHub开源（https://github.com/dongyh20/Demo-ICL），包含数据构建管道和模型训练代码。数据方面，Demo-ICL-Bench基于公开的HowTo100M数据集构建，但需要注意数据构建过程使用了Qwen2.5-72B和Qwen2.5-VL-72B等大型模型，这些模型的调用需要相应的API访问权限或本地部署资源。模型训练方面，Demo-ICL基于Ola-Video构建，使用Qwen2.5作为语言模型骨干，训练在64块NVIDIA A100 80G GPU上进行，这对大多数研究机构来说算力门槛较高。SFT阶段使用数百万样本，DPO阶段使用5000个样本，训练数据的具体获取和处理流程在论文中有详细描述。评估方面，Demo-ICL-Bench包含1200个精心策划的问题，论文提供了详细的评估设置（帧采样数量、是否提供字幕等）。总体而言，对于拥有充足算力的研究团队，复现本文结果是可行的；但对于资源有限的团队，建议从较小规模的实验开始，或使用论文提供的预训练模型进行下游任务的评估。
论文图表
