← 返回 2026-04-27

借助人机协同监督构建精确的视频语言体系 Building a Precise Video Language with Human-AI Oversight

Zhiqiu Lin, Chancharik Mitra, Siyuan Cen, Isaac Li, Yuhan Huang, Yu Tong Tiffany Ling, Hewei Wang, Irene Pi, Shihang Zhu, Ryan Rao, George Liu, Jiaxi Li, Ruojin Li, Yili Han, Yilun Du, Deva Ramanan 📅 2026-04-22 👍 17 2026-07-13 08:36
DPO/SFT后训练 可扩展监督 影视语言规范 数据引擎 文生视频 视频-语言模型
arXiv HuggingFace PDF

提出CHAI框架，将视频描述拆为规格定义、AI预描述、人工纠错三步，让开源Qwen3-VL在五维精细视频描述任务上超越Gemini-3.1。

前置知识

视频-语言模型（VLM）

能同时理解视频帧序列和自然语言的模型，通常以视觉编码器加语言解码器结构实现，可用于视频描述、视频问答、字幕生成等任务。Qwen3-VL是本文微调的基座模型。

本文的核心目标是改进视频-语言模型的描述能力，所有评测、后训练方法均围绕VLM展开；不理解VLM就无法理解CHAI要监督什么。

可扩展监督（Scalable Oversight）

当模型在某些任务上超过人类时，如何让人类继续监督更强模型的研究范式。常见做法是把生成交给模型、把验证交给人类，或通过辩论、批评等方式让弱监督者引导强模型。Bowman 2022、OpenAI GDC 是经典工作。

本文把这一思想迁移到视频描述：让VLM写初稿、人类写批评，使人类精力集中在核查而非从头撰写，从而提升效率和质量。

DPO与RLHF-V偏好优化

DPO（Direct Preference Optimization）通过对比"偏好"与"拒绝"输出来直接优化策略模型，损失函数包含KL约束；RLHF-V是DPO的扩展，在被编辑的文本片段上加大梯度。两者都需要成对的偏好样本。

CHAI框架天然产出(pre-caption, critique, post-caption)三元组，可直接喂给SFT、DPO、RLHF-V，是论文第三大贡献的算法支柱。

VQAScore作为奖励信号

将"模型是否认为该答案正确"建模为对'Yes/No'二分类的logit，再用P(Yes)作为连续奖励分数。论文对比发现VQAScore比让模型直接生成1-5的Likert分更可靠。

理解VQAScore才能看懂论文如何训练奖励模型，以及为什么用二分类而非离散打分。

影视语言与镜头原语（Camera Primitives）

影视工业里描述镜头的一组原子词汇，如景别(shot size)、角度(angle)、运镜(movement)、焦平面(focal plane)、景深(depth of field)等。CameraBench系列论文系统整理了这些原语。

本文第一大贡献就是与100多位专业内容创作者合作，把这些原语形式化成"该描述什么"的规范(specification)，是CHAI能产出高质量数据的认知基础。

研究动机

现有视频-文本数据集普遍存在两类系统性问题。第一类源于缺乏清晰规范：标注员不知道该描述什么、用什么术语。作者人工评估了8个常用数据集（MSR-VTT、ActivityNet、ShareGPT4Video、UltraVideo、VDC、Dream1K、PerceptionLM、TUNA-Bench），发现几乎全部缺少公开标注指南，导致术语误用（如把camera translation说成zoom、把full shot说成close-up、把dolly zoom描述成"weird warping effect"）、关键信息缺失（忽略相机抖动、焦平面切换、跟踪运动等）、主观描述过多（如"inspiring"、"meditative viewing experience"）。第二类源于缺乏监督：纯人工标注会出现拼写错误、时序错乱、指代不清；纯模型标注则视觉幻觉频发，例如GPT-4V在ShareGPT4Video中把左右搞反、把字幕当成实物。即使最新的TUNA-Bench（自评最高分4.1/5）也有这些问题。这意味着不管用人类还是VLM作标注器，单一来源都不可靠。

本文的目标是本文的目标是构建一套"精确的视频语言"体系，使视频描述在专业影视维度上准确、完整、客观且无幻觉。具体来说：1）发布一套与专业内容创作者共同制定的结构化标注规范；2）发布一个把生成交给模型、把验证交给人类的人机协同监督框架（CHAI）；3）发布首个同时评估描述生成、奖励建模、批评生成三项任务的统一基准，并通过SFT/DPO/RLHF-V后训练使开源Qwen3-VL超越Gemini-3.1等闭源模型。

与已有工作不同的是，已有的视频描述工作要么强调模型架构（如VideoChat-R1.5、OmniVinci）但忽视数据质量，要么只用模型自动写描述（如UltraVideo、ShareGPT4Video）造成幻觉，要么用众包标注（如MSR-VTT、ActivityNet）但缺乏专业词汇。PerceptionLM首次采用"AI预描述+人类修正"的工作流，但仍缺少显式的"批评"机制，也没有第二阶段质检。本文独特之处在于把批评(critique)本身作为一等公民：批评必须精确（无幻觉）、完整（覆盖所有错误）、具建设性（说明如何修正）。这三个属性在CHAI框架下被天然强制——只有能直接指导模型改写出post-caption的批评才合格。这把"监督"从模糊的"检查"升级为可形式化、可训练、可评测的优化目标。

核心方法

CHAI框架的总体思路是把"精确视频语言"的构建拆成三件事：1）规格(Specification)——明确要描述什么；2）监督(Oversight)——保证描述得对；3）后训练(Post-training)——把监督信号转化为模型能力。规格部分，作者与30位核心创作者和100+位候选人合作，从零开始定义五维（subject/scene/motion/spatial/camera）200+视觉与运动原语。监督部分用五步流水线：人工标原语→VLM写pre-caption→人工写批评→VLM改写post-caption→二级质检。后训练部分利用产出的(pre-caption, critique, post-caption)三元组，对Qwen3-VL-8B-Instruct做SFT、DPO、RLHF-V，并引入奖励模型和批评生成模型。在推理时还可叠加best-of-N等测试时扩展。

核心创新是把"批评"作为一种可学习、可监督、可训练的优化信号，而非简单的质检步骤。具体技术差异有三处：1）相比PerceptionLM那种"AI写、人类编辑"，CHAI要求人类专注于写"批评文本"而不是直接改写caption，迫使批评精确、完整、有建设性——三者缺一批评就无法被模型利用；2）首次把视频描述拆成五个独立维度（subject/scene/motion/spatial/camera）独立训练，原语级标签先单独标，再由VLM按维度生成caption；3）把"判断是否准确"形式化为二分类Yes/No的VQAScore，避免离散Likert打分的不稳定和分布不均问题。

方法步骤详情

数据采集五步流水线：(1) 专业标注员在独立平台上用预定义原语(共200+，如camera shake、rack focus、POV、shot size)给视频打标，覆盖五个维度；(2) 把这些原语翻译成动态prompt，输入Qwen2.5-VL-72B或Gemini-2.5-Pro生成pre-caption；(3) 训练后的人类专家(captioner)在平台上观看视频并撰写correction critique，必须指出每个错误并说明如何修复；(4) 把critique作为额外上下文送回模型，让模型改写出post-caption；(5) 顶级reviewer做二级质检，必要时返工。后训练阶段：(a) SFT用八种任务格式混合训练(caption生成、critique生成、caption revision、critique-based revision、Caption Scoring等)；(b) DPO和RLHF-V用每对的pre-caption作为负样本、post-caption作为正样本，critique任务则把经过错误注入(inaccurate/incomplete/non-constructive)的负例与人类critique配对；(c) 奖励模型用VQAScore，Yes/No平衡采样以避免坍缩。推理时可选best-of-N：用训练好的奖励模型挑选多个候选中的最优caption，在N=16时BLEU-4从17.1升到25.1。视频生成端，用同一模型给~150K YouTube专业视频合并出≤400词的描述，再用这些caption微调Wan2.2-T2V-14B。

技术新颖性

技术新颖性体现在三个层面。规范层面，首次把影视语言的形式化从CameraBench的50个camera motion扩展到200+原语，并把原语组装为五维结构化caption policy；监督层面，首次证明"批评质量三属性"(precision/recall/constructiveness)对后训练结果的决定性影响——故意注入不准确/不完整/无建设性的批评后，caption/reward/critique三项任务平均下降20-40%；算法层面，提出用VQAScore替代Likert文本打分作为奖励信号，并设计八格式SFT数据集统一训练caption、reward、critique三项任务。在评测上，首次构建同时覆盖三项任务的统一基准，并揭示"spatial+camera最难"、"开闭源模型在motion/camera上差距最大"等系统结论。

Oversight is crucial for quality annotations
Figure 3: Oversight is crucial for quality annotations
Critique quality matters for post-training
Figure 4: Critique quality matters for post-training
Overview of our specification
Figure 18: Overview of our specification
Example screenshots from our captioning platform
Figure 19: Example screenshots from our captioning platform
Genre distribution for ~150k curated videos
Figure 29: Genre distribution for ~150k curated videos

实验结果

论文报告了五组核心结果。1）人工评估了9个数据集(8个已有+自己的3个版本)：TUNA-Bench平均分4.1最高，但空间与相机维度仅3.5和2.2；众包caption平均分仅3.2；本框架最终caption平均5.0、众包平均仅110词且维度不全；2）后训练消融(表1)：在Qwen3-VL-8B-Instruct上做"只用caption的SFT"平均分12.0，"全数据SFT"跃升到18.2(Subject 18.0/Spatial 19.3)；DPO从15.8(DPO仅caption)上升到15.8(全数据)，RLHF-V从8.8上升到15.7，但SFT(全数据)最优；3）闭源对比：在caption任务上SFT(全数据)18.2>Gemini-2.5-Pro 6.2>GPT-5 5.7>Gemini-3.1 5.1，奖励建模89.8 vs Gemini-2.5-Pro 62.0，critique生成41.7 vs Gemini-3.1 3.3；4）批评质量消融(表2)：用Inaccurate/Incomplete/Non-constructive批评训练后，caption从18.2降到12.1/12.5/13.4，reward从89.8降到47.1/56.6/67.2；未经二级质检的批评进一步降到14.8/73.1/35.7，验证了"批评质量决定后训练"的核心论断；5）视频生成(表12)：用SFT-caption微调Wan2.2，人类Likert分3.95±0.45，显著高于base 3.23和zero-shot caption 3.64。

Model performance across captioning, reward modeling, and critique generation
Table 1: Model performance across captioning, reward modeling, and critique generation
Critique quality determines post-training success
Table 2: Critique quality determines post-training success
Comparison of video-text datasets on video statistics, caption source, task rating, and known issues
Table 3: Comparison of video-text datasets on video statistics, caption source, task rating, and known issues
Per-aspect CHAI annotation statistics
Table 4: Per-aspect CHAI annotation statistics
Prior work collects non-constructive critiques
Table 5: Prior work collects non-constructive critiques
More reference-based metrics for captioning and critique generation
Table 9: More reference-based metrics for captioning and critique generation
Test-time scaling strategies for reward modeling
Table 10: Test-time scaling strategies for reward modeling
Test-time scaling strategies for caption generation
Table 11: Test-time scaling strategies for caption generation
Human preference study
Table 12: Human preference study
Training hyperparameters for Wan2.2 fine-tuning
Table 13: Training hyperparameters for Wan2.2 fine-tuning
Re-captioning improves video generation
Figure 5: Re-captioning improves video generation
Comparing reference-based metrics
Figure 27: Comparing reference-based metrics
Comparing reward models using VQAScore versus text generation
Figure 28: Comparing reward models using VQAScore versus text generation
查看结构化数据
任务指标本文基线提升
Subject Caption (BLEU-4) BLEU-4 18.0 Gemini-3.1-Pro 6.1, Gemini-2.5-Pro 6.3 +11.9 vs Gemini-3.1, +11.7 vs Gemini-2.5-Pro
Scene Caption BLEU-4 18.2 Gemini-3.1-Pro 6.0, Gemini-2.5-Pro 6.8 +12.2 vs Gemini-3.1, +11.4 vs Gemini-2.5-Pro
Motion Caption BLEU-4 17.3 Gemini-3.1-Pro 1.4, Gemini-2.5-Pro 6.1 +15.9 vs Gemini-3.1, +11.2 vs Gemini-2.5-Pro
Spatial Caption BLEU-4 19.3 Gemini-3.1-Pro 7.2, Gemini-2.5-Pro 7.2 +12.1 vs Gemini-3.1, +12.1 vs Gemini-2.5-Pro
Camera Caption BLEU-4 18.3 Gemini-3.1-Pro 4.6, Gemini-2.5-Pro 5.5 +13.7 vs Gemini-3.1, +12.8 vs Gemini-2.5-Pro
Reward Modeling (avg) Binary Accuracy 89.8 Gemini-2.5-Pro 62.0 +27.8
Critique Generation (avg) BLEU-4 41.7 Gemini-3.1-Pro 3.3 +38.4
Wan2.2 prompt following Human Likert (1-5) 3.95±0.45 Base 3.23, ZS-Caption 3.64 +0.72 vs base, +0.31 vs zero-shot

局限与改进

作者明确承认的局限包括：1）标注员培训是主要瓶颈，新人需要1.5–3个月付费训练才能达≥90%准确率，因此首版数据集只能做到~4K视频；2）当前CHAI仅覆盖英文caption和英文批评；3）视频生成评估只用200个prompt做人工Likert打分，未做大规模自动评测；4）推理时扩展实验证明vanilla best-of-N优于critique-based revision，作者认为原因是Qwen3-VL在critique生成格式上的训练数据量仍不足。我自己观察到的额外局限：5）虽然论文声称支持400词长prompt，但实际评测集中在BLEU-4这一参考指标上，对新颖场景(训练集外)的泛化能力缺乏讨论；6）caption主要针对5秒短视频，对长视频时序一致性未涉及；7）数据集规模(~4K)与UltraVideo(59K)、Panda-70M(70M)相差3-4个数量级，限制了直接用作大规模预训练数据的可能；8）批评质量三属性的定义依赖LLM自动注入错误，但这种注入方式可能无法覆盖真实人类批评的所有瑕疵。

独立分析的弱点

独立分析下，论文有以下几个可改进点。1）评分指标单一：主表用BLEU-4，而LLM-Judge-Instruct能达到98%的pairwise准确率，比BLEU-4的95.4%更接近人类判断，但作者只在Table 9中作为补充，未来应在主表中并列。2）空间(spatial)维度最弱：预描述Likert只有3.3/5，平均需要1.4次纠错迭代，说明参考系消歧(subject's left vs frame's left)仍是开放问题，可引入更显式的3D坐标系原语或专门的空间推理模块。3）motion/camera维度未单独建模camera movement和motion dynamics的相互依赖，导致SFT后motion平均仅17.3分，可考虑用对比学习或显式的运动分解表示。4）批评三属性的验证目前用LLM注入错误而非真实人类瑕疵，外部效度有限，可引入对抗性人类critic red team来增强鲁棒性。5）视频生成评估规模仅200条prompt、Likert打分的方差大(±0.45)，统计显著性不足，未来应扩展到1000+样本并加自动指标如VBench。

未来方向

作者提出的未来方向包括：1）用更强的批评模型替代人类critic来扩展监督规模；2）构建专门的视频生成基准；3）扩展到多语言。基于本文成果可延伸的方向：1）把specification迁移到图像-文本领域，构建五维图像描述基准；2）把CHAI框架应用到视频问答或具身智能的指令微调，产生(pre-answer, critique, post-answer)三元组；3）把"VQAScore + best-of-N"扩展为流程式(reward-guided tree search)推理；4）研究批评的语言学特征(如名词-动词比例、修复建议的明确性)对训练效率的影响，自动筛选高价值批评；5）把Wan2.2微调扩展到camera motion预测前置任务，让视频生成原生支持运镜控制。

复现评估

复现评估：论文承诺数据和代码将开放在项目网站，作者隶属CMU和Harvard两个公开机构。开源内容包括：~20K(pre-caption, critique, post-caption)三元组、CameraBench-Pro原语taxonomy、五维caption标注规范、CHAI标注平台截图、训练好的Qwen3-VL-8B-Instruct权重。算力需求：SFT在Qwen3-VL-8B上做3 epoch全参数训练，batch size 10×2 accumulation，BF16精度，需多卡A100/H100；Wan2.2-14B微调使用ZeRO-2、AdamW、2 epoch在832×480分辨率、49帧序列。复现难度中等偏上：最大的瓶颈不是模型训练，而是招聘和培训专业标注员——30位核心创作者+100+候选人+6轮考试+1个月带薪培训才能达到≥90%准确率，普通实验室难以复制这一资源；后训练的超参数(学习率3e-5、LoRA rank 16、DPO β=0.1、RLHF-V β=0.5)均明确给出，但负样本构造中LLM注入错误的prompt未完全公开。

论文图表

Recipe for precise video language
Figure 1: Recipe for precise video language

三栏对比图，分别展示prior dataset(红色)、本文的specification/oversight/post-training三大步骤(蓝色)。底部蓝色箭头串联"specification→oversight→post-training"的完整recipe，并展示该recipe生成的caption可被进一步用于视频生成模型。

这是论文的"门面图"，直观说明本文与已有数据集的本质差异——不是单纯做标注或模型，而是把精确视频语言当作一个需要构建的系统工程。

Specification is crucial in video language
Figure 2: Specification is crucial in video language

左右两栏对比。左栏(红)列出prior datasets的典型错误：术语误用、信息缺失、主观描述。右栏(蓝)展示作者与100+专业内容创作者合作定义的五维结构化规范：subject、scene、motion、spatial、camera，并列出shot size、focal plane、POV、overlays等子原语。

把"为什么需要规范"和"规范长什么样"用一张图说清，是理解第一大贡献(specification)的核心可视化。

Errors in crowdsourced video captions
Figure 6: Errors in crowdsourced video captions

可视化众包标注的典型错误：把高处俯瞰视角称为"bird's-eye view"(实际指顶视)、把广角镜头下的直线弯曲描述为"circular tower"、把full shot(整个人入镜)描述为"close-up"、把dolly zoom描述为"weird warping effect"。

为"为什么需要专业创作者参与"提供直观反例，是Specification章节的引子。