Co-Director：基于层次化多智能体的生成式视频叙事框架

用多智能体+多臂老虎机把抽象创意转化为连贯广告视频

前置知识

多臂老虎机 (Multi-Armed Bandit, MAB)

一类经典的在线决策问题：智能体在多轮中依次选择若干『臂』(动作)，每次获得一个随机奖励，目标是最大化累积奖励。其核心难点是探索-利用权衡——既要尝试新臂以发现高奖励，又要持续利用已知最优臂。常用算法如 UCB1 通过置信上界平衡这一权衡。

本文把整个生成管线的创意配置搜索建模为 MAB 问题，用 UCB1 在 T 轮迭代中挑选最佳 (θ_cs, θ_nm, θ_aa) 组合，是论文最核心的优化引擎。

UCB1 算法

Upper Confidence Bound 1 是一种基于置信上界的 MAB 求解策略。每个臂的得分 = 平均奖励 + $\sqrt{\frac{2\ln t}{n_i}}$，其中 $t$ 为总轮数、$n_i$ 为臂 $i$ 被选次数。该公式对被选次数少的臂给予额外奖励，鼓励探索。

Co-Director 用 UCB1 更新三个独立维度上的奖励，从而在非可微的黑盒管线中实现端到端的全局优化。

多智能体系统 (Multi-Agent System)

由多个独立或半独立的 LLM/MLLM 智能体通过消息传递或共享状态协作完成任务的架构。每个智能体通常负责特定子任务，通过预设协议组合出复杂行为。本文涉及 Orchestrator、Pre-Production、Production、Post-Production 四个层级。

理解层级化智能体的拆分方式(生成 vs. 评估 vs. 编辑)是阅读本文方法部分的基础，否则容易把多个角色混为一谈。

视频扩散模型 (Video Diffusion Model)

基于扩散过程的视频生成模型(如 Veo 3.1、Wan 2.6、Kling)，通过迭代去噪从噪声合成时空连贯的视频片段。本文中的 Veo 3.1 是关键生成后端，单次仅能生成数秒片段。

本文的所有优化都是在不可微的扩散生成器之上构建的，理解管线不可微才能体会为何必须改用 MAB 而非梯度下降。

研究动机

当前的智能体式视频管线(如 AniMaker、MovieAgent)大多采用线性『瀑布』链式结构：脚本→分镜→关键帧→视频→剪辑→后期。每一环节的 prompt 由各智能体独立手工编写，缺乏全局一致性约束，导致两个典型失败模式：一是早期脚本或视觉资产的微小错误会向下游传播并放大(即『级联失败 cascading failures』)，终端视频崩坏时极难回溯到具体哪个 prompt 出错，对应经典的 credit assignment 难题；二是不同智能体对『创意方向』的解读不一致，生成的视频片段在风格、调性、人物外观上彼此割裂，出现 semantic drift 和身份漂移。表 1 中 MovieAgent 平均 65.3、AniMaker 仅 62.2，相对底层 Veo 3.1 的 63.6 几乎没有提升甚至更差，正说明现有线性管线并未真正释放扩散模型的能力。

本文的目标是论文目标是把生成式视频叙事从一个线性流水线提升为可全局优化的过程。具体而言，作者希望：(1) 让所有子智能体在共享的『创意意图』下协同工作，避免漂移；(2) 通过 MAB 的探索-利用机制在多个候选创意配置中自动找到最优组合；(3) 在保持高效的前提下(仅 T=4 次完整生成)显著超越现有商业产品和开源 agentic 基线，最终在 GenAd-Bench 上把平均分从 65.3 推到 81.4。

与已有工作不同的是，本文的核心切入角度是把创意参数(creative configuration)抽提为一个三维正交的可优化空间 $\theta=(\theta_{cs}, \theta_{nm}, \theta_{aa})$，用 MAB 在该空间上做端到端搜索，而不是手工设计流水线。配合局部 self-refinement(storyline 与 keyframe 反馈重写)以及 LLM-driven warm start，既避免冷启动方差大、又避免了纯随机搜索的低效。这是首次把视频叙事形式化为『黑盒全局优化』问题，与既有『瀑布链+模板 prompt』的范式形成本质区别。

核心方法

Co-Director 是一个四层多智能体系统：Orchestrator 全局调度，Pre-Production 写脚本与分镜，Production 生成关键帧/视频/音频，Post-Production 合成终片。整体直觉是：与其让每个智能体凭自己 prompt 自由发挥，不如由 Orchestrator 在每一轮从三个正交轴($\theta_{cs}$ 创意策略、$\theta_{nm}$ 叙事模式、$\theta_{aa}$ 美学原型)上用 UCB1 老虎机采样一个统一的 $\theta$，并把它注入到所有下游智能体的 system prompt 中，使整个创作团队『目标对齐』。当 MAB 收敛后，再用 MLLM-as-Judge 计算分维度奖励 $R=(r_{cs}, r_{nm}, r_{aa})$ 反哺策略。为了解决底层扩散模型仍会出错的现实问题，方法还嵌入了两处局部自优化：storyline 写作未达标时由 LLM 重写，keyframes 序列一致性不足时由 MLLM 联合评估并选择性重新生成。

本文与已有方法的最大区别在于：(a) 把创意方向提升为可优化参数 $\theta$，而不是写死的 prompt 模板；(b) 引入分维度奖励 $R=(r_{cs}, r_{nm}, r_{aa})$ 配合 UCB1，从根本上绕开了不可微管线的信用分配难题，每个维度独立更新对应 arm 的期望收益；(c) LLM-driven warm start 让老虎机不必从均匀先验开始，第一轮就偏向理论合理的配置；(d) 『hierarchical parameterization』用一个共享的 $\theta$ 同时调制 7 个不同子智能体，强制全局一致性，避免分头创作带来的语义碰撞。这四点合起来构成了一个真正面向创作本身的搜索算法，而不是另一个模板拼接。

方法步骤详情

流程分 4 步。第一步 Orchestrator 多模态摄入：把 $p_{user}$ 解析为品牌/产品/人口学约束 $\hat{p}_{user}$，参考图 $I_{ref}$ 标注为 logo/product/protagonist 得 $\hat{I}_{ref}$。第二步 T 轮迭代：每轮 UCB1 采样 θ 三个分量，由 Orchestrator 翻译为各 agent 注入指令。第三步 Pre-Production 生成 B/L/V/S(L 带 LLM self-refinement，阈值 $\tau_L$)；Production 由 Keyframe Agent 产出 $K$(MLLM 联合评估与重生成，阈值 $\tau_K$)、Video Agent 产出 $C$、Audio Agent 产出 $A$；Post-Production 拼接得终片 $F$。第四步 MLLM Judge 输出聚合分挑最佳终片，并给出分维度奖励 $R=(r_{cs}, r_{nm}, r_{aa})$ 更新 UCB1，$T=4$ 轮后返回累计最优视频。

技术新颖性

技术新颖性体现在三个层面：(1) 问题重定义——首次把『生成式视频叙事』形式化为 discrete-action MAB 问题，开辟了『creative latent space search』这一新视角；(2) 分维度奖励解耦——通过 $R=(r_{cs}, r_{nm}, r_{aa})$ 让 UCB1 的三个轴独立学习，绕开非可微管线无法 back-prop 的限制，表 4 第 (3) 行验证若退化为标量奖励 VAF 立即下降 5.0 分；(3) 闭环评估-优化——同一 MLLM Judge 既选最优终片又喂老虎机，实现真正的端到端 self-play。同时配合 GenAd-Bench(200 个虚构品牌 × 4 个产品 × 2 种人口学 = 400 场景)排除训练先验记忆干扰，是首个面向端到端生成式视频叙事的 benchmark。

**Figure 1**: Co-Director multi-agent pipeline: (Top): The Orchestrator Agent (Φ_orch) utilizes MAB to navigate a factored creative action space θ=(θ_cs, θ_nm, θ_aa). (Bottom): The Pre-Production Agent (Φ_pre) synthesizes a creative brief (B), storyline (L), and visual assets (V) to establish a consistent storyboard (S), which the Production Agent (Φ_prod) translates into synchronized keyframes (K), video clips (C), and audio (A). An MLLM Judge evaluates the final video (F) to generate a factored reward signal R=(r_cs, r_nm, r_aa), which is propagated back to the MAB to iteratively refine the creative configuration over T optimization loops.

实验结果

表 1 显示 Co-Director 在 GenAd-Bench 全部四项指标 SOTA，平均 81.4，相对 Veo 3.1(63.6)提升 +17.8，相对 MovieAgent(65.3)提升 +16.1，相对 Random Search(75.7)提升 +5.7。图 2 显示 Warm-Up+MAB 在第 1 轮 VAF 即达约 80，Random Search 起步低 5–8 分，验证 warm start 有效。表 4 消融：完整架构(行 1)79.0 > Bare Pipeline(行 8)67.2，K-Ref 贡献最大(缺时 VAF 跌 9.8)、S-Ref 次之、Scalar Reward 退化为单值时 VAF 跌 5.0 分，证实分维度奖励必要性。表 2/3 中 Co-Director 人类 MOS 3.96 超 Veo 3.1 的 3.71；MLLM-Human 的 Krippendorff α 在 DA(0.592)与 MA(0.562)上接近人类天花板(0.641/0.620)。

**Table 1**: Evaluation on GenAd-Bench. All metrics are scaled [0, 100]. VAF: Visual Asset Fidelity, DA: Demographic Alignment, MA: Marketing Appeal, VQ: Visual Quality.

**Table 2**: Human agreement and correlation statistics across 50 scenarios. Human-human agreement serves as the theoretical ceiling for MLLM-human alignment.

**Table 3**: Mean Opinion Scores (MOS). Average of 5 human raters per video on a [1–5] scale.

**Table 4**: Ablation results (T=4). S-Ref: Storyline and K-Ref: Keyframe Refinement.

**Figure 2**: MAB Optimization Efficiency. Cumulative best performance over 10 iterations comparing Co-Director's MAB optimization against an undirected Random Search.

查看结构化数据

任务	指标	本文	基线	提升
GenAd-Bench (400 scenarios)	VAF (Visual Asset Fidelity) ↑	82.1	Veo 3.1: 60.0 / Wan 2.6: 67.0 / MovieAgent: 61.2 / AniMaker: 53.1	+15.1 vs Veo 3.1, +15.1 vs Wan 2.6, +20.9 vs MovieAgent, +29.0 vs AniMaker
GenAd-Bench (400 scenarios)	DA (Demographic Alignment) ↑	91.4	Veo 3.1: 80.8 / MovieAgent: 81.3 / AniMaker: 81.3 / Random Search: 85.8	+10.6 vs Veo 3.1, +10.1 vs MovieAgent, +5.6 vs Random Search
GenAd-Bench (400 scenarios)	MA (Marketing Appeal, AIDA-based) ↑	82.0	Veo 3.1: 63.2 / MovieAgent: 66.4 / AniMaker: 60.3 / Random Search: 75.6	+18.8 vs Veo 3.1, +15.6 vs MovieAgent, +6.4 vs Random Search
GenAd-Bench (400 scenarios)	VQ (Visual Quality) ↑	70.2	Veo 3.1: 50.5 / Wan 2.6: 58.9 / MovieAgent: 52.4 / AniMaker: 53.9	+19.7 vs Veo 3.1, +11.3 vs Wan 2.6, +17.8 vs MovieAgent
GenAd-Bench (400 scenarios)	Average ↑	81.4	Base Pipeline T=1: 68.5 / Random Search T=4: 75.7 / Veo 3.1: 63.6 / MovieAgent: 65.3	+12.9 vs Base Pipeline, +5.7 vs Random Search, +17.8 vs Veo 3.1
Human MOS (50 scenarios, 5 raters)	Avg MOS [1-5]	3.96	Veo 3.1: 3.71 / Kling 3.0: 3.59 / Wan 2.6: 3.48 / MovieAgent: 3.22 / AniMaker: 3.07	+0.25 vs Veo 3.1, +0.74 vs MovieAgent, +0.89 vs AniMaker
MLLM-Human Agreement (Krippendorff α)	DA α	0.592	Human-Human Ceiling: 0.641	approaches ceiling (gap 0.049)
MAB Ablation (T=4)	Avg score with K-Ref removed	79.0 (full)	71.5 (no K-Ref) / 74.0 (no S-Ref)	K-Ref contributes +7.5; S-Ref contributes +5.0

局限与改进

作者明确承认的局限包括：(1) 计算成本高——T=4 轮加上局部 self-refinement，单场景需 4 次完整管线执行，远超 single-pass baseline；(2) 评估依赖 MLLM-as-Judge，表 2 显示 VQ 维度 MLLM-Human α 仅 0.469，比 DA 的 0.592 低，原因是 MLLM 对瞬时扩散伪影过严；(3) 验证局限于广告领域，仅在 ViStoryBench-Lite 上做了简要泛化测试，对开放叙事场景(如长片电影)尚未充分验证；(4) 视频仅 4 镜头 12 秒，长视频中的累积漂移问题未涉及。我自己的观察还包括：依赖 Google 内部模型栈(Gemini 3 Pro、Nano Banana Pro、Veo 3.1、Lyria 2)导致外部复现门槛高；warm start 用 LLM 注入先验可能让搜索偏向特定风格；reward shaping 中分维度奖励的设计仍依赖专家经验，并非端到端学得。

独立分析的弱点

独立审视的可改进点：(a) T=4 次完整执行算力成本高，可考虑先用 surrogate model 做粗筛或跨 query 复用中间产物；(b) UCB1 无状态、忽略 $\theta$ 维度相关性，引入 contextual bandit 可进一步降本；(c) 分维度奖励 $r_{cs}/r_{nm}/r_{aa}$ 仍由手工 prompt 驱动 MLLM Judge 给出，存在 prompt-sensitive 问题，可改用人类偏好数据 fine-tune 轻量 reward model；(d) Keyframe Refinement 中 $\tau_K$ 与 retry 上限(3)是固定超参，不同场景难度差异大，应改成自适应阈值；(e) Audio Agent 一次成型、没有 refinement loop，而音乐/旁白对广告效果影响大；(f) benchmark 用 Gemini 3 Pro 同时作为生成器与评估器，存在 self-bias，建议引入 cross-family judge。

未来方向

作者提及的方向包括：把 Co-Director 推广到长视频与更复杂叙事(如短片、连续剧集)，让多智能体协作跨场景维持一致性；进一步在 ViStoryBench 等通用电影叙事基准上验证框架泛化能力；引入 RLHF 或人类偏好学习替代 prompt-engineered reward。基于本文成果还可延伸的方向：(1) 将 $\theta$ 参数空间从分类变量扩展为连续 embedding，用 Contextual Bandit 或 Bayesian Optimization 替代 UCB1；(2) 把 hierarchical parameterization 与 LoRA-style 风格控制结合，让 $\theta$ 直接控制扩散模型的 adaptor；(3) 探索 multi-query 共线生成(同一品牌多个产品共享视觉资产，降低成本)；(4) 加入对真实用户反馈(A/B 测试)的在线学习回路，让 $\theta$ 在投放中持续更新；(5) 与传统 LLM pipeline 的失败模式做对比研究，量化『cascading failure』在不同管线中的占比。

复现评估

作者声明将开源 Co-Director 实现与 GenAd-Bench 数据集，并提供项目页 https://co-director-agent.github.io/。但完整复现门槛较高：(1) 后端模型栈全部依赖 Google 内部 API(Gemini 3 Pro、Veo 3.1、Lyria 2 等)，外部研究者要么申请配额要么找替代品；(2) T=4 轮 × 400 场景 ≈ 1600 次 Veo 3.1 调用，费用极高；(3) 数据合成中 15% 需人工重新生成，部分流程仍依赖人工；(4) 超参 $\tau_L$、$\tau_K$、retry 上限若未随代码释放会显著影响结果。建议先复现 Table 4 的 (6)/(7)/(8) 三行(不需要 MAB)以独立验证基线，待代码释出再做端到端复现。

Co-Director：基于层次化多智能体的生成式视频叙事框架 Co-Director: Agentic Generative Video Storytelling