OmniScript：面向长篇影视视频的音视觉剧本生成 OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video
首个8B音视觉语言模型，将长影视视频转写为分层、时序对齐的剧本。
前置知识
多模态大语言模型 (MLLM)
多模态大语言模型是在大语言模型基础上扩展视觉、音频等模态输入的模型，通常通过视觉编码器（如 ViT）将图像/视频帧转成 token，再通过投影层与文本 token 在 LLM 内部融合，能在统一架构下完成图文问答、视频描述等任务。代表性工作有 Qwen-VL、LLaVA、GPT-4V 等。
OmniScript 本身就是 MLLM，理解其架构（视觉-音频双编码器 + LLM 推理）需要先掌握 MLLM 的基本范式。
视频时序接地 (Temporal Grounding)
视频时序接地指模型不仅识别视频中发生了什么，还要精确预测事件发生或结束的起止时间戳（通常用 mm:ss 或秒表示），并以此评估 tIoU（时间区间交集比）等指标。
V2S 任务的核心难点之一就是为每个事件生成准确的时间戳，本文自建了 tIoU Hit Rate 指标专门评估这一点。
GRPO (Group Relative Policy Optimization)
GRPO 是 DeepSeek 提出的一种强化学习算法，相比传统 PPO 它不需要单独的 critic 网络，而是对同一 prompt 采样一组回答后用组内相对优势作为基线，能显著降低显存并稳定训练。
本文第四阶段用 GRPO 对剧本生成进行强化学习对齐人类偏好，并设计了时序分段奖励替代全局语义奖励。
Chain-of-Thought (CoT) 监督微调
CoT 监督微调指在 SFT 阶段让模型先输出中间推理步骤（如剧情摘要、人物关系），再输出最终答案，而非直接端到端生成。这样训练出的模型在测试时也会先思考后回答，能在长上下文推理中保持全局一致性。
OmniScript 在 SFT 阶段把脚本生成建模成 Video→Thinking→Script 的 CoT 流程，先输出 plot 进展和角色关系再解码结构化字段。
DeepStack 多层视觉注入
DeepStack 是 Qwen3-VL 提出的视觉特征融合策略，区别于传统只在输入层拼接视觉 token 的做法，它将 ViT 的中间层特征分别注入到 LLM 的多个 transformer block 中，实现跨层持续的多模态交互。
本文的 AV-DeepStack 是 DeepStack 的扩展，把音频 token 也按相同方式注入多个 LLM 层，是 OmniScript 区别于传统视觉 MLLM 的核心架构创新。
研究动机
当前多模态大模型虽然在短视频片段的描述或问答任务上表现亮眼，但要把一部完整电影或剧集转写成结构化剧本，仍然是几乎无人涉足的开放问题。具体痛点有三：第一，长篇影视视频（从几分钟到几十分钟）需要细粒度的时序接地和跨片段叙事连贯，但现有数据要么是宏观剧情分析（缺乏时间戳），要么是孤立片段的角色动作描述（缺乏长程连贯），根本没有兼顾两者的标注数据；第二，评估这类长结构化输出缺乏合适指标——BLEU/ROUGE 这类 n-gram 指标对开放词汇、长结构输出极度不友好，而传统基于 tIoU 的时序定位指标又会严重惩罚那些语义正确但时间轻微偏移的预测；第三，自动回归生成这类细粒度描述的算力开销巨大，作者实测仅两分钟视频就需要约 4000 token 输出，按比例外推到长视频会形成显著的计算瓶颈。
本文的目标是本文提出 Video-to-Script (V2S) 这一全新任务，目标是给定一段未剪辑的长篇影视视频，模型要输出三层次 JSON 结构化剧本：视频级元信息（标题、时长、角色列表）、场景级（位置、环境、时段、氛围）和事件级（时间戳 $\tau_{i,j}$、角色 $c_{i,j}$、动作 $a_{i,j}$、对白 $d_{i,j}$、表情 $x_{i,j}$、音频线索 $u_{i,j}$）。最终模型需同时在时序定位精度、跨片段角色一致性和多模态叙事忠实度三个维度上做到 SOTA。具体可量化目标是：8B 参数 OmniScript 在 5 分钟视频的 Event-level Overall F1 上达到与 Gemini-3-pro 等超大闭源模型相当的水准，并在 30-40 分钟长视频上保持「长度不变性」。
与已有工作不同的是，已有工作在三个维度上各管一摊：Movie101 等数据集生成了角色感知叙事但只在无对白片段上工作；TimeChat-Captioner 等音视觉密集描述模型虽然具备时间戳但输出是场景级粗粒度；AVoCaDO 等真正做到音视觉融合的模型却完全放弃了时序接地。OmniScript 切入的独特角度是把「严格解耦的层级结构 (Scene→Event→Field)」作为强约束，强制把动作、对白、表情、音频线索这些原子元素单独抽取并精确锚定到时间戳上，避免它们纠缠在粗段落摘要里造成评估歧义。同时作者提出「时序分段奖励」替代常用的全局语义相似度奖励，专门解决长序列生成中容易被主特征掩盖的短时段细粒度错误。
核心方法
OmniScript 的整体思路可以类比为给模型配一个「会写剧本的影视专业学生」：学生先要看懂画面听懂声音（多模态感知），再理清剧情主线和人物关系（CoT 推理），最后按标准剧本格式一条条写下来（结构化解码）。技术上是一条「多模态编码 → 跨层融合 → 推理链解码 → RL 对齐」的四阶段管线。输入视频被切成时间对齐的视觉帧（ViT）和音频段（Whisper），通过 AV-DeepStack 模块同时注入 LLM 的多个 transformer 层，使模型在每层都能看到视觉+音频的联合信号；输出时先用 Chain-of-Thought 生成中间推理（plot 进展 + 角色关系图），再解码成 Scene→Event→Field 的 JSON 结构。整个 8B 模型在约 1M 双语对齐数据 + 2.4M 多任务预训练 + 45K SFT + 高质量 RL 四阶段递进式训练而成。
OmniScript 与已有方法最本质的区别有两点。第一点是「严格解耦的层级结构 + 时序接地」：传统密集描述方法（TimeChat-Captioner、AVoCaDO）要么把动作、对白、情绪等混在段落里，要么完全没有时间戳，OmniScript 用 Scene→Event→Field 的强 schema 强制把每个原子事件独立存储并绑定 mm:ss 时间戳，这种「细粒度解耦」带来了可量化评估的可能性。第二点是「时序分段奖励」：传统 RLVR 奖励（如整体语义相似度）在长序列里会被高频主事件主导，而 OmniScript 沿时间轴把生成结果与 GT 在事件级别一对一匹配，让短时段、低频但关键的细粒度错误（如某个表情识别错、某个对白漏听）也能被严格惩罚，这是它在长视频上保持 length-invariance 的关键。第三点是「AV-DeepStack」把音频 token 用和视觉 token 完全相同的方式注入到 LLM 多个 block（而非只在输入层），使音-视-语三模态在每一层都能持续交互，对字幕缺失下的对白恢复特别有效。
方法步骤详情
流程分四步。步骤一：模态对齐。冻结 Qwen3-VL-8B 的 LLM 与 ViT，加载 Whisper-Large-v3 作为音频编码器，训练轻量音频 projector 把音频特征映射到 LLM 词向量空间；随机 mask 部分视频帧强迫模型利用音频。步骤二：多任务预训练。在约 2.4M 中英双语影视视频上完全微调 LLM，联合训练 ASR（带/不带时间戳）、视频摘要、密集描述、时序接地四个任务。步骤三：CoT 监督微调。在 45K 视频（21K 横屏剧集 + 24K 竖屏短剧）上让模型先输出 plot 摘要和人物关系（Thinking 阶段），再解码结构化 JSON 剧本（Script 阶段），并引入随机字幕 mask。步骤四：GRPO 强化学习。用多维场评估得分 $S_{field}$ 作为时序分段奖励，沿时间轴逐事件比对 GT 与预测。长视频推理时：OmniScript-LCE 直接扩展上下文窗口并用跨视频拼接构造伪长视频；OmniScript-TSG 先用 plot-segmentation 模型切段再分段生成再合并。
技术新颖性
本文的技术新颖性体现在四个层面。架构上提出 AV-DeepStack，把 Whisper 音频特征沿用 DeepStack 思路注入多个 LLM 层，是目前少数同时具备「多层注入 + 真正音视觉对齐」的 MLLM。数据上提出 Memory-Augmented 渐进标注管线（Character Profile Manager），用跨段落的角色记忆模块解决电影级长视频中的角色重识别难题，并通过 lazy naming 策略优雅处理「先出场后揭示姓名」的电视剧常见现象。训练上首次把 plot→character relationship 的 CoT 注入到结构化脚本生成任务中，并显式构造了 Video→Thinking→Script 三段式监督。奖励设计上提出 Segmented Reward，把传统 RLVR 的全局语义打分换成事件级局部打分，使 RL 信号在长序列里仍然有区分度。
实验结果
5 分钟 Event-level（Table 1）上 OmniScript-8B 取得 Overall F1 37.7、tIoU@0.1 69.3，显著超过 Qwen3VL-235B-A22B（33.0 / 62.0），与 Gemini-3-pro（38.9 / 64.4）相当；Dialogue F1 以 72.2 大幅领先。Scene-level（Table 2）取得 Overall 52.4 / tIoU@0.1 74.6。MiniCPM-O-4.5 等直接处理 5 分钟视频时几乎崩盘（Overall 仅 3.9 / 7.7）。更长视频（Figure 5/6）上所有传统模型在 30 分钟处出现「context cliff」，而 OmniScript-TSG 几乎全程保持水平。Table 3 验证 CoT 把 Overall 从 35.3 提到 37.0、Segmented Reward 进一步推到 37.7；Table 4 显示字幕去掉后纯视觉模型的 Dialogue F1 从 58.6 暴跌到 7.7；Table 5 证明移除音频后 Dialogue F1 从 68.2 跌到 52.0。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 5-min Event-level Overall F1 | Overall F1 (Char/Dia/Act/Exp/Aud 均值) | 37.7 | Gemini-3-pro: 38.9；Qwen3VL-235B-A22B: 33.0 | +4.7 vs 同体量开源；与 Gemini-3-pro 差距仅 1.2 |
| 5-min Event-level Dialogue F1 | Dialogue F1 | 72.2 | Gemini-3-pro: 68.8；Seed-2.0-pro: 42.9 | +3.4 vs Gemini-3-pro, +29.3 vs Seed-2.0-pro |
| 5-min Event-level tIoU@0.1 | Temporal IoU Hit Rate | 69.3 | Gemini-2.5-pro: 73.4；Qwen3VL-235B-A22B: 62.0 | +7.3 vs 同体量开源, 接近 Gemini-2.5-pro |
| 5-min Scene-level Overall F1 | Overall F1 | 52.4 | Gemini-3-pro: 57.0；Qwen3VL-235B-A22B: 53.4 | 接近 235B 体量开源，差 Gemini-3-pro 约 4.6 |
| 40-min Length-Invariance | Overall Avg F1 | OmniScript-TSG ~0.25 (近水平) | Gemini-2.5-pro 从 0.35 暴跌至 ~0.10 | 长视频不退化，传统模型退化 ~70% |
| 字幕掩码鲁棒性 | Dialogue F1 (masked/visible) | 63.8 / 72.2 (Δ=-8.4) | Qwen3VL-235B: 7.7 / 58.6 (Δ=-50.9) | 字幕依赖度远低于纯视觉模型 |
| 音频注入消融 | Dialogue F1 | 68.2 (with audio) | 52.0 (vision-only SFT) | +16.2 绝对提升 |
| 训练策略消融 (Overall) | Overall F1 | 37.7 (SFT+RL+CoT+SegReward) | 35.3 (SFT only) | +2.4 绝对提升 |
局限与改进
作者明确指出几类局限。第一，Gemini-2.5-flash 在视频超过 25 分钟后会退化为「重复生成循环 + 无结构输出」，说明大多数 MLLM 在长序列下都缺乏格式稳定性；OmniScript-LCE 在超过 30 分钟时同样会出现多维度指标缩水，只是不那么剧烈。第二，Scene-level 中需要视觉+音频细微整合的场（environment、mood）在所有模型上都明显偏弱，例如 OmniScript 在 Mood 场仅 49.5，明显低于 Location 的 54.0，说明氛围/情绪这种隐性语义的视觉接地仍是开放问题。第三，TSG 策略依赖一个独立的 plot-segmentation 模型做先验切分，如果切分出错会直接影响后续段落生成的一致性。从独立观察角度，论文对「长视频」的定义最高只到 45 分钟，对真正电影级 90-120 分钟长度的实验缺失；TSG 的优势目前只在 30+ 分钟处显现，对 5-15 分钟区间反而可能因为额外模块而降低效率；此外所有指标都是 LLM-as-judge 风格，主观性不可避免。
独立分析的弱点
独立分析下，本文有四个值得改进的弱点。弱点一：TSG 策略虽然解决 length-collapse 但引入级联风险，plot-segmentation 模型一旦切错场景（如把对话双方拆到不同段），下游 OmniScript 就失去上下文锚点；改进方向是引入 segment-aware 重叠窗口或在合并阶段做回填校验。弱点二：音频输入明显提升 Dialogue 表现（+16.2），但对 Expression 场提升非常有限（11.6 vs 11.1），说明音频对视觉主导的表情识别帮助不大；改进方向是引入视觉微表情专用模块（如情感识别 adapter）。弱点三：CoT 提升了 Overall 但 Reasoning Trace 没有显式评估指标，模型可能「假思考」（生成看似合理的 plot 总结但不真正利用）；改进方向是对 Thinking 阶段加显式 reward 监督。弱点四：实验只在中英双语影视上验证，对其他语言（韩剧、日剧）和非虚构内容（体育、纪录片）的泛化未知，需构造多语言 benchmark 做 cross-lingual transfer。
未来方向
作者明确提出的未来方向是「更好的细粒度多模态感知」，特别是对隐性属性（mood、environment）和边界敏感的时序定位。本文成果可延伸的方向包括：（1）把 V2S 任务扩展到真人长电影级别（90+ 分钟）的完整剧本生成，配合自动章节定位与角色档案库构建；（2）将 OmniScript 的剧本输出反向用于训练视频生成模型（如剧本→视频的 text-to-video），形成「理解→生成」闭环；（3）探索把 OmniScript 用作下游任务（视频检索、内容审核、辅助创作）的中间表征，把结构化剧本当作可索引的语义数据库；（4）研究 Character Profile Manager 的可解释性，把 CPM 模块单独抽出来做成可编辑的「角色记忆」工具供编剧使用；（5）把 Segmented Reward 推广到其他长序列 RLVR 任务（如长视频 QA、长期对话），替代当前普遍使用的全局语义奖励。
复现评估
复现可行性整体良好。作者已在项目页 (arcomniscript.github.io) 和 GitHub (TencentARC/OmniScript) 承诺开源代码与模型权重。训练数据约 3.4M（45K SFT + 2.4M 预训练 + 1M 对齐）。算力要求较高：OmniScript 基础为 Qwen3-VL-8B，预训练阶段完全微调 LLM，按常规估算至少需要 256+ 张 H100/A100 训练数周。复现难点有三：第一，45K SFT 数据由 Gemini-2.5-Pro + Character Profile Manager 自动生成，需可访问 Gemini API；第二，benchmark 仅 19.9 小时但需专家 in-the-loop 标注；第三，Hierarchical Evaluation Framework 涉及 DP 匹配、LLM-as-judge 和 character mapping prompt，需重新实现整套评估管线（作者已在附录给出 7 个 prompt 模板）。建议优先复现 8B SFT + GRPO 部分。
论文图表
展示了给定一段长篇影视视频，pipeline 如何把它按时间切成 Scene-1 到 Scene-k 的层级结构，每个场景下又有 Event-1 到 Event-n 的事件，每个事件绑定时间戳、角色、动作、对白、表情、音频线索和潜台词。
是全文最核心的「任务定义图」，让读者一眼看懂 V2S 输出的三层 JSON 结构，对理解后续所有方法/评估都至关重要。