VideoGen-Agent：用强化学习训练会调用工具的视频生成智能体 VideoGen-Agent: Reinforcing Video Generation Agents
多任务智能体强化学习训练工具调用策略，视频生成 VABench 提升 19.1 分
前置知识
智能体强化学习
智能体在与环境的多轮交互中学习决策：每一步先对历史（提示词、之前的动作与工具观察）推理，再输出一个动作（这里是工具调用或终止），工具执行返回的观察被拼回上下文，整条轨迹结束后才获得标量奖励。与单轮 RLHF 不同，奖励需要分配到多轮决策上，且工具执行出错时策略要学会恢复而非崩溃。
本文的整个框架就是一个多任务智能体 RL 问题：策略、奖励、rollout 全部围绕多轮'推理–行动–观察'工具调用轨迹展开，不掌握这个范式就无法理解训练目标。
GRPO（组相对策略优化）
GRPO 对同一提示词采样 $n$ 条轨迹，用组内奖励的均值与标准差把每条轨迹的优势归一化 $\hat{A}_i=(R_i-\mathrm{mean})/(\mathrm{std}+\epsilon)$，再套用 PPO 式的重要性比率裁剪目标并加 KL 正则项，省去价值网络。由 DeepSeek 提出，是当前 LLM 强化学习最常用的算法之一。
本文 RL 阶段直接采用 GRPO，并在此基础上叠加任务级优势归一化；理解公式 (2)(3)(5) 的优势计算与裁剪目标需要 GRPO 基础。
SFT + RL 两阶段训练
先用高质量教师轨迹做监督微调（SFT），用下一词预测损失让模型学会基本行为模式（这里是为六类任务调用工具的工作流），再以 SFT 检查点为初始化做强化学习，用奖励信号超越教师水平。SFT 保证 RL 初期探索不至于过于随机，RL 负责在奖励引导下精化决策。
本文训练管线（Figure 2）正是这一范式：16K 条教师轨迹 SFT 后接 8K 条提示词上的 GRPO，消融显示 SFT 贡献 69.2 分中的大部分、RL 再加 6.4 分。
条件视频生成（T2V/I2V/R2V/M2V）
文生视频（T2V）从纯文本生成视频；图生视频（I2V）以单张首帧图像为条件；多参考图到视频（R2V）接收一张或多张参考图以保持主体身份一致；运动条件生成（M2V）接收轨迹、运动场等显式运动信号。四种接口输入不同，分别适配知识、身份、运动等不同任务需求。
智能体的四类生成工具就是这四种条件模式，任务到工具的映射（Table 1）与奖励中的'任务适配工具使用'都建立在这些概念之上。
VLM as Judge（视觉语言模型裁判）
用视觉语言模型按人工设计的评分细则（rubric）给生成视频打分，可以评估提示一致性、身份保持、物理合理性、时间顺序等维度，既能当自动评测器，也能直接作为 RL 奖励模型使用。其关键问题是与人类偏好的一致性需要校准，否则策略可能学出'讨好裁判'的行为。
本文奖励中权重 0.5 的 VLM 分量与 VABench 评测都由 Gemini 3.1 Pro 裁判完成，是理解论文所有分数来源与潜在偏差的关键。
研究动机
当前扩散视频生成模型在视觉保真度和时序连贯性上进步显著（CogVideoX、Wan2.1、Seedance 等），但其能力基本来自预训练时见过的知识，遇到需要专门知识或精确控制的提示词就会失败。论文给出四类典型失败场景：其一是程序性知识，如让模型生成太极'白鹤亮翅'，模型画不出重心后坐、右膝弯曲、虚步点地的动作细节；其二是身份保持，如让《明日方舟》角色 Vigil 流畅拉弩，模型无法保持特定角色的视觉外观；其三是物理一致性，如 0.3 kg 橡胶球以 8 m/s 撞击 3 kg 金属立方体并使其旋转的碰撞场景，模型常违反基本物理规律，或玻璃碎裂时窗内记分员护住账本这类因果细节缺失；其四是有序事件，如 12 秒视频中 0–4 秒雨水积重压裂支架、4–8 秒檐槽下坠、8–12 秒摆动，模型会遗漏阶段或乱序呈现。这些缺陷影响产品演示、教育内容、体育分析与影视预可视化等实际应用，而单纯提示词改写无法弥补。
本文的目标是本文的目标是训练一个统一的多模态智能体策略 VideoGen-Agent，让它通过多轮'推理–行动–观察'循环协调外部工具来增强视频生成，覆盖六类单模型难以胜任的任务：程序性知识（PK）、单实体身份（SI）、多实体身份（MI）、物理模拟（PS）、组合场景（CS）与多镜头时序（MS）。具体而言，智能体要学会按任务需求选择增强工具（文本检索、图像检索、代码模拟）、生成工具（T2V/I2V/R2V/M2V）与验证工具（目标检测、深度估计），利用中间观察修正后续决策，并在验证不达标时再生成。训练上分两阶段：先用教师模型生成的工具调用轨迹做 SFT 建立工具使用行为，再用多任务智能体强化学习（GRPO）在类别感知的混合奖励下精化策略。同时构建留出基准 VABench（600 条提示词，每类 100 条）以系统评测六类能力。
与已有工作不同的是，已有的智能体化视频生成工作大多针对单一目标：场景分解与编辑流水线把生成拆成小步组织，物理引导方法用模拟或力控制引导运动，VISTA 在测试时通过迭代生成、多模态批评与提示词改写做免训练精化；Gen-Searcher 虽用 SFT+GRPO 训练了搜索增强的图像生成智能体，但局限于图像合成且只做检索增强。这些方法要么不训练策略、要么只覆盖单一任务或单一模态。本文的独特切入是：把'为视频生成学习工具使用'形式化为多任务智能体强化学习问题——一个共享策略在六类异质任务上联合训练，用类别感知的混合奖励同时评估工具调用合法性、任务适配的工具使用与最终视频质量，并用任务级优势归一化平衡六类学习信号。此外通过统一工具接口把工具实现与策略解耦，使生成工具升级时无需重训智能体即可获益，这一'策略与工具进步可加'的性质此前未被验证。
核心方法
方法的直觉是：单靠更强的文生视频模型无法弥补知识、身份、物理与时序上的短板，而外部工具恰好能补齐——文本检索补充程序性知识，图像检索提供身份参考图，代码模拟给出物理运动条件，检测与深度模型验证生成结果并指导再生成。VideoGen-Agent 以 Qwen3-VL-8B-Instruct 为骨干，在多轮循环中工作：每步对历史 $H_t$ 推理，从策略 $\pi_\theta$ 采样动作 $a_t$（工具调用或 $\langle$answer$\rangle$），执行工具得到观察 $o_t$ 并拼入 $H_{t+1}=H_t\Vert(a_t,o_t)$，直到所有请求阶段都有候选视频且验证分数达到阈值 $\eta$。工具箱分三组：增强（Search-Text、Search-Image、Code 模拟）、生成（T2V、I2V、R2V、M2V）与验证（目标检测、深度估计）。训练流程为：构建 24K 条六类各 4K 的平衡提示词，教师生成 24K 轨迹，16K 做 SFT，8K 做 GRPO 强化学习；奖励由格式分、VLM 视频质量分与工具使用分加权而成，权重 $(\lambda_f,\lambda_v,\lambda_t)=(0.1,0.5,0.4)$。
核心创新在于把六个异质视频生成任务统一到一个可学习的工具使用策略中，并用任务感知的奖励与归一化机制解决多任务梯度失衡。其一，混合奖励 $R(\tau,x,c)=\lambda_f R_{\mathrm{format}}(\tau)+\lambda_v R_{\mathrm{vlm}}(\tau,x,c)+\lambda_t R_{\mathrm{tool}}(\tau,c)$：格式奖励检查输出与工具调用合法性，VLM 奖励用类别专属 rubric 评估视频质量与提示一致性，工具奖励评估工具选择是否适配任务、是否真正利用了返回观察。其二，在组相对优势 $\hat{A}_i=(R_i-\mathrm{mean}\,R)/(\mathrm{std}+\epsilon)$ 之上再做任务内归一化 $\tilde{A}_{i,k}=(\hat{A}_i-\mu_c)/(\sigma_c+\epsilon)$，把六个类别的 token 级优势拉到可比尺度，避免某类任务的奖励尺度主导训练。与 VISTA 等免训练的测试时精化不同，本文策略是被训练出来的；与 Gen-Searcher 等单任务单模态工作不同，这里跨六个视频任务共享一个策略。统一工具接口还带来可插拔性：换用更强的生成后端而策略不变，性能继续提升。
方法步骤详情
第一步提示词构建：用 Claude Opus 4.7 为六个类别各批量生成 4K 条训练提示词（共 24K），并从公开数据集直接或小幅修改后补充；每条提示词刻意简化非目标维度使目标能力成为主要挑战，多镜头提示词规定 2–4 个有序阶段。第二步教师轨迹生成：对每条提示词随机选 Gemini 3.1 Pro 或 Claude Opus 4.7 作教师，在同一套工具接口与系统提示下产出完整轨迹（含推理、工具调用、观察与最终视频），16K 条用于 SFT，8K 保留给 RL。第三步 SFT：以标准下一词预测目标在 16K 教师轨迹上微调 Qwen3-VL-8B-Instruct，AdamW 学习率 $5\times10^{-5}$，2 个 epoch，8 张 H200 141GB 用 FSDP 训练；失败动作片段从损失中掩蔽但保留在上下文里，后续恢复动作仍提供监督。第四步 RL：从 SFT 检查点用 GRPO 训练 1 个 epoch，每批 8 条提示词、每条采样 $n=6$ 条 rollout，裁剪区间 $\epsilon_{lo}=0.2$、$\epsilon_{hi}=0.28$，KL 系数 $\beta_{KL}=10^{-3}$；只有智能体自身生成的 token 进入目标，工具响应仅作上下文，因外部工具错误而失败的 rollout 被剔除优化。第五步推理（Algorithm 1）：按类别默认工作流调用工具，多镜头任务用 ELF 抽取上一段末帧经 I2V 串接保证连贯，段被替换时验证结果失效需重验，全部阶段达到 $\eta$ 后按序拼装输出。
技术新颖性
技术新颖性体现在四个层面。任务定义层面：首次把'视频生成中的工具使用'作为多任务智能体强化学习问题系统训练，覆盖程序性知识、单/多实体身份、物理模拟、组合场景、多镜头六类能力，而非针对单一目标设计固定流水线。奖励设计层面：提出类别感知混合奖励，把工具调用合法性、任务适配的工具使用（如身份类任务必须检索参考图、物理类任务必须先模拟）与 VLM 视频质量一起纳入，消融显示去掉工具奖励整体分从 75.6 降到 71.2、去掉 VLM 奖励降到 73.3，证明两个分量都不可或缺。优化层面：借鉴 AgentRL 引入任务级优势归一化，把六类任务奖励分布差异导致的梯度失衡拉平。系统层面：通过统一工具接口把策略与工具实现解耦，实验证明把生成工具从 Toolset 1（Seedance 1.0）整体升级到 Toolset 2（Seedance 2.0 等）而策略零改动，总分从 75.6 升至 86.1，体现了'学到的工具使用策略'与'生成模型进步'的可加性。
实验结果
主实验在留出基准 VABench（600 条提示词，每类 100 条）上进行，用 Gemini 3.1 Pro 按类别 rubric 打分并归一化到 $[0,100]$。表 2 显示：开源基线 CogVideoX-5B 41.3、Mochi-1 43.6、HunyuanVideo-13B 29.8、Wan2.1-T2V-14B 50.0；闭源基线 Kling 3.0 65.2、Hailuo 2.0 63.8、Seedance 1.0 56.5、Seedance 2.0 73.2。VideoGen-Agent 配 Toolset 1 得 75.6，比其基础生成器 Seedance 1.0 高 19.1 分，也超过最强独立基线 Seedance 2.0（+2.4）；换 Toolset 2 后达 86.1，六类全部第一：PK 92.1、SI 83.2、MI 86.7、PS 69.2、CS 90.7、MS 94.6。工具升级收益最大的是多实体身份（65.3→86.7）。相对 Seedance 2.0，PK +14.1、MI +17.7、MS +25.7、SI +8.2、PS +9.0、CS 仅 +2.9，说明工具增强收益取决于提示词所需能力。人类评测：随机抽 100 对视频、4 名评分者两两对比，84.3% 偏好 VideoGen-Agent-Toolset 2（对 Seedance 2.0），程序性知识与多镜头优势最大。表 3 消融：提示词改写仅 57.3、零样本工具使用 59.5，说明单纯给工具不够；SFT 69.2、加 RL 到 75.6（+6.4）；去 VLM 奖励 73.3、去工具奖励 71.2；单任务 RL 76.3 仅比多任务高 0.7。扩展实验：训练中途引入 π0.5 + Ctrl-World 的机器人操作动作到视频流程效果更好；对'具名角色做专业动作'等未见任务组合，智能体能自发组合文本与图像检索。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VABench 总体（六类平均） | VLM rubric 归一化评分 [0,100] | 86.1（Toolset 2）/ 75.6（Toolset 1） | Seedance 2.0 为 73.2（最强独立基线），基础生成器 Seedance 1.0 为 56.5 | 较最强独立基线 +12.9，较基础生成器 +19.1 |
| 多镜头时序（MS） | VLM rubric 评分 [0,100] | 94.6 | Seedance 2.0 为 68.9 | +25.7，为所有类别中最大增益 |
| 多实体身份（MI） | VLM rubric 评分 [0,100] | 86.7 | Seedance 2.0 为 69.0 | +17.7；工具升级带来 65.3→86.7 的跳升 |
| 程序性知识（PK） | VLM rubric 评分 [0,100] | 92.1 | Seedance 2.0 为 78.0 | +14.1 |
| 物理模拟（PS） | VLM rubric 评分 [0,100] | 69.2 | Seedance 2.0 为 60.2 | +9.0 |
| 单实体身份（SI） | VLM rubric 评分 [0,100] | 83.2 | Seedance 2.0 为 75.0 | +8.2 |
| 组合场景（CS） | VLM rubric 评分 [0,100] | 90.7 | Seedance 2.0 为 87.8 | +2.9，最小增益，基线本身已很强 |
| 人类偏好对比 | 偏好率（100 对视频 × 4 名评分者） | 84.3% 偏好 VideoGen-Agent-Toolset 2 | Seedance 2.0（最强独立基线） | 两两对比中 84.3% 胜出，PK 与 MS 类优势最大 |
局限与改进
作者承认三点局限：生成工具的质量与时延（多轮调用成本高，验证—再生成循环更贵）、验证反馈的覆盖面（仅目标检测与深度估计，无法检查动作正确性或物理参数）、以及训练只覆盖六类任务。我的补充观察：其一，评测存在循环性风险——Gemini 3.1 Pro 同时是教师、奖励模型和评测裁判，训练数据与评分 rubric 同源，分数可能高估与人类偏好的一致性，而人类评测只有 100 对视频、4 名评分者；其二，单任务 RL 得 76.3 已高于多任务的 75.6，共享策略在总分上并未体现优势，只是以 0.7 分的代价换来一个智能体服务六类任务；其三，增益高度依赖闭源工具（Seedance、Gemini 等），上游模型的能力天花板与 API 成本会直接转移给智能体；其四，组合场景类增益最小（+2.9），因最强基线已达 87.8，说明场景组合更多是模型内生能力，验证回路收益有限；其五，VABench 提示词构造方式与训练提示词同构，真实用户分布外提示词的表现未知。
独立分析的弱点
第一，裁判与奖励同源：奖励模型和评测都用 Gemini 3.1 Pro，且它也是 SFT 教师之一，策略容易学到'讨好裁判'的倾向；改进方向是引入异构裁判集成，或用更大规模人类偏好数据校准 rubric。第二，时延与成本未报告：多镜头任务要串行生成 K 段并多次验证，交互次数可能是单次生成的数倍，论文没有给出延迟和 API 成本对比；改进方向是并行化无依赖阶段、蒸馏更小的策略或缓存检索结果。第三，验证工具太弱：目标检测与深度估计只能确认'有什么、在哪'，无法验证动作细节与物理量，例如碰撞后速度关系仍靠生成器自觉；可引入物理约束检查器或专用动作识别模型作为验证器。第四，物理模拟类分数最低（Toolset 2 下 PS 仅 69.2），说明 Code→M2V 管线对复杂动力学的表达受限；可探索可微模拟或更精细的运动条件表征。第五，工具升级虽免费，但引入新类型工具（如音频、编辑工具）仍需重新训练策略，共享策略的任务泛化边界尚不清晰。
未来方向
作者提出的方向：用在线策略蒸馏在智能体自己的轨迹上提供监督，改进跨任务决策质量；用更强的视频理解模型给出更细粒度的内容反馈，帮助智能体定位错误并做针对性修正；部署更快、更高质量且更易部署的生成工具，降低交互成本使迭代精化更实用；以及把智能体训练、视频反馈与生成工具三者联合优化，支持更复杂的工作流和更广的创作任务。基于本文成果可延伸的方向：其一，把六类任务推广到开放任务空间——机器人操作管线（π0.5 + Ctrl-World）已证明框架可通过继续训练吸收新工具，可扩展到音频生成、视频编辑、长视频叙事；其二，系统研究工具组合的泛化，如'具名角色 + 专业动作'的零样本组合行为，可显式构造组合训练课程；其三，利用验证回路的信号做测试时扩展（best-of-n 采样加验证阈值）以进一步提升推理时性能；其四，研究奖励模型与人类偏好的一致性校准，降低对单一 VLM 裁判的依赖。
复现评估
复现难度较高。开源情况：项目主页为 andyca111.github.io/VideoGen_Agent，骨干策略 Qwen3-VL-8B-Instruct 是开源权重，但管线的关键组件依赖闭源服务——教师（Gemini 3.1 Pro、Claude Opus 4.7）、生成工具（Seedance 1.0/2.0 等）与奖励/评测用 VLM；论文未明确说明 24K 提示词、16K 教师轨迹与 VABench 是否公开。算力需求：SFT 用 8 张 H200 141GB（FSDP，AdamW，$5\times10^{-5}$，2 epochs），RL 用 8 张 H200 训练策略、另 8 张部署生成与验证工具，每批 8 条提示词、每条 6 条 rollout 训练一整个 epoch，成本远超多数实验室预算。可复现细节：工具接口 schema、系统提示（附录 A.3）、奖励权重 $(0.1,0.5,0.4)$ 与 GRPO 超参（$\epsilon_{lo}=0.2$、$\epsilon_{hi}=0.28$、$\beta_{KL}=10^{-3}$）论文均已给出，若拿到数据与工具 API，工程上可以复现；但闭源工具链意味着结果数字会随上游模型版本漂移。建议复现者先用开源 T2V（如 Wan2.1）替换 Seedance 验证流程，再逐步接入闭源工具对齐数字。
论文图表
