剧本就是你所需要的一切：面向长时域对话到电影视频生成的智能体框架 The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation

方法分为以下几个步骤。第一步：构建 ScriptBench 基准数据集。从高保真电影过场动画中采集原始实例，通过三阶段专家引导的标注流水线扩展为丰富的镜头级电影脚本：Stage 1 进行上下文重建和对话融合，联合分析文本脚本和对话音频以推断角色关系、场景设定、情节发展和情感倾向；Stage 2 进行镜头级语义规划，遵循四个约束——镜头完整性、时长自适应（上限 10 秒）、语义连贯性和技术可行性；Stage 3 进行多轮自适应纠错，包含对话完整性、角色外貌一致性、场景连贯性和位置物理合理性四个验证模块，自动化检测器迭代扫描并反馈修正信号，最终得到 1,750 个脚本实例（1,700 训练 + 50 测试）。第二步：训练 ScripterAgent。输入为多轮对话 $x$，输出为结构化 JSON 格式脚本 $y$。Stage 1 使用 SFT 在 Qwen-Omni-7B 基础模型上训练 20 个 epoch，学习率 $\eta = 1 \times 10^{-5}$，批量大小 4，最大序列长度 8,192 tokens，损失函数为 $\mathcal{L}_{SFT} = -\mathbb{E}_{(x,y) \sim \mathcal{D}} \left[ \sum_{t=1}^{|y|} \log \pi_\theta(y_t | y_{<t}, x) \right]$。Stage 2 使用 GRPO 进行强化学习，对每个输入采样 $K=8$ 个候选脚本，计算混合奖励并归一化得到优势 $A_k$，策略更新目标为 $\mathcal{L}_{GRPO} = \mathbb{E}_{x \sim \mathcal{D}} \left[ \frac{1}{K} \sum_{k=1}^{K} A_k \cdot \log \pi_\theta(y^{(k)} | x) \right] - \beta \cdot \mathbb{E}_{x \sim \mathcal{D}} \left[ KL(\pi_\theta(\cdot|x) \| \pi_{SFT}(\cdot|x)) \right]$，其中 KL 系数 $\beta = 0.04$，训练 5,000 步，学习率 $\eta = 10^{-6}$。第三步：DirectorAgent 执行视频生成。首先进行智能的基于镜头的分段，遵循四个原则（镜头完整性、时长自适应、语义连贯性、技术可行性）；然后通过帧锚定机制，将场景 $i$ 的最后一帧提取为场景 $i+1$ 的视觉锚点，形成视觉接力链。第四步：CriticAgent 评估，使用 Gemini-2.5-Pro 对脚本从格式合规性、镜头划分合理性、内容完整性和叙事连贯性四个维度评分，对视频从镜头艺术性、肢体语言、视觉保真度、情感弧线和叙事节奏五个维度评分。

本文的技术新颖性体现在多个层面。首先是任务定义的新颖性：首次提出对话到电影视频的端到端任务，反转了传统的视频-文本被动描述范式，要求模型从稀疏对话中主动推断完整的电影化执行方案。其次是训练范式的新颖性：ScripterAgent 的两阶段 SFT + GRPO 训练是首个将强化学习对齐技术应用于电影脚本生成的工作，其混合奖励函数 $R_{total}$ 创新性地将客观结构正确性（$R_{structure}$，基于规则的四维自动检查）与主观艺术质量（$R_{human}$，基于三位高级美术总监标注训练的 BERT 回归模型）融合，权重 $\alpha=0.4$ 的设计反映了结构是基础、美学是目标的理念。第三是评估体系的新颖性：VSA 指标填补了时间-语义对齐评估的空白，公式 $VSA = \frac{1}{\sum_{k=1}^{K} |T_k|} \sum_{k=1}^{K} \sum_{t \in T_k} Sim(E_{vis}(v_t), E_{txt}(I_k))$ 首次量化了视频事件是否在脚本指定的时间区间内发生。第四是 DirectorAgent 的帧锚定机制，不同于简单的首尾帧插值或风格迁移，它通过显式的视觉条件注入形成跨场景的视觉接力链，在不修改底层视频模型的前提下扩展了连贯生成窗口。最后是 ScriptBench 的构建流水线——三阶段专家引导标注加多轮自适应纠错，自动化通过率达 94%，专业剧本顾问审计发现的微妙语义错误（如角色瞬移、对话-动作冲突、道具状态不一致）被纳入改进的提示约束和验证逻辑中。

本文存在几个值得深入分析的弱点。首先，帧锚定机制虽然解决了跨场景视觉一致性的核心问题，但其工作方式是视觉接力而非全局规划——每个场景的生成只依赖前一场景的最后一帧，缺乏对更长距离视觉一致性的全局感知。例如，在一个 10 个场景的视频中，场景 1 和场景 10 之间没有任何直接的视觉约束，可能导致长距离的角色外貌漂移。改进方向可以引入全局角色锚点图——始终将主角的参考图作为额外条件注入每个场景的生成。其次，ScripterAgent 的 GRPO 训练使用了固定的 $\alpha=0.4$ 权重平衡结构奖励和人工奖励，这一超参数可能对不同类型的对话内容并非最优。可以探索自适应权重调整机制，根据对话的复杂度和创意需求动态调整 $\alpha$。第三，DirectorAgent 的分段策略是离线的、一次性的，无法根据视频生成的实际质量动态调整。如果某个场景生成效果不佳，系统没有回退或重新生成的机制。可以引入在线质量监测和自适应重试策略。第四，人工奖励模型 $R_{human}$ 基于仅 500 个标注样本训练的 BERT 回归模型，其预测精度可能限制了 RL 阶段的优化效果。增加标注样本数量或使用更强的奖励模型架构可能带来进一步提升。

作者在结论中提出了几个未来研究方向。首先是增强细粒度控制能力，特别是精确的唇部同步（lip synchronization），这对于对话驱动的电影视频生成至关重要。其次是开发能够动态生成多样化电影风格的自适应模型——当前系统生成的脚本风格相对固定，难以自动切换黑色电影、科幻、浪漫喜剧等不同类型的视觉语言。基于本文的成果，还可以延伸出多个有前景的方向：(1) 将 ScripterAgent 扩展到交互式电影游戏领域，实现实时的对话到视频生成；(2) 引入多模态反馈循环——利用 CriticAgent 的评估结果作为 RL 训练的额外奖励信号，形成生成-评估-优化的持续改进闭环；(3) 探索将帧锚定机制升级为语义锚定——不仅传递视觉信息，还传递场景的语义状态（如情感氛围、叙事张力曲线），使视频模型能更好地理解上下文；(4) 将本文的脚本驱动范式应用到其他需要长时域一致性的视频任务，如教程视频生成、纪录片自动制作等。

本文的复现条件评估如下。代码方面，作者在论文中提供了 GitHub 仓库链接（https://github.com/Tencent/digitalhuman/tree/main/ScriptAgent），但未明确说明是否包含完整的训练代码、评估脚本和预训练权重。数据方面，ScriptBench 包含 1,750 个脚本实例，来源于高保真电影过场动画，这些原始数据的获取可能涉及版权问题，且标注流水线依赖闭源模型 Gemini-2.5-Pro，增加了复现成本。算力方面，ScripterAgent 基于 Qwen-Omni-7B 进行 SFT（20 epoch）和 GRPO（5,000 步，$K=8$ 采样），需要相当的 GPU 资源；视频生成评估涉及 7 个 SOTA 模型（包括闭源的 Sora2-Pro、Veo3.1），普通研究者难以完全复现。评估方面，人工评估由专业导演和编剧团队进行，CriticAgent 使用 Gemini-2.5-Pro，这些评估流程的复现需要显著的人力和 API 成本。总体而言，核心方法的复现难度中等偏高，但论文提供了足够的技术细节（超参数、损失函数、训练配置）使得理论上可行。