WeVisCut：从解说词到长视频的一体化剪辑智能体 WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video
单个9B策略完成脚本到长视频全流程，质量比肩Claude Opus 5而token开销仅1/33
前置知识
Agent harness 与工具调用
LLM 智能体通过调用带类型参数的工具完成任务，harness 是包裹策略的运行时环境，负责维护持久状态、校验参数与产物引用、返回观测与类型化错误（blocker）。本文的 harness 持有共享生产状态（镜头计划、素材、渲染、未决问题），且只有运行时能把校验通过的结果提交为'已完成'，被拒调用只会得到指明缺失项的 blocker。
WeVisCut 的全部设计——状态视图、blocker 反馈、有界修复、交付校验——都定义在这个 harness 契约之上，理解它才能理解策略究竟在与什么交互。
SFT 与损失掩码
监督微调用轨迹数据做交叉熵训练，但只对模型自己生成的响应 token 计损失，指令、工具返回与 padding 通过掩码 $m_{e,j}$ 排除：$\mathcal{L}_{\mathrm{SFT}}=-\sum_e\sum_j m_{e,j}\log\pi_\theta(y_{e,j}\mid y_{e,<j})/\sum_e\sum_j m_{e,j}$。本文 134,771 条角色样本按此方式用 LoRA 训练 Qwen3.5-9B。
Phase 1 的 SFT/RFT 是三阶段训练的地基，损失掩码体现了'运行时观测只作上下文、不参与监督'的关键设计。
RFT（拒绝采样微调）
让模型自己 rollout，用可验证的运行时检查筛选成功样本加入训练；在首个可恢复失败处回滚到最后可回放状态，保留有效早期步骤，由教师从该状态重生成完整余下序列。学生独立成功与教师辅助修复两类样本都必须通过运行时检查和质量阈值才准入。
它解释了 WeVisCut 如何获得'学生自己走出来的状态'上的恢复监督，对应 Table 3 中 RFT 使 SCF +6.2、TPR +5.7 的增益来源。
Guided-OPD（引导式在线策略蒸馏）
教师与学生面对同一角色上下文 $c_t$，每次调用掷伯努利变量 $q_t\sim\mathrm{Bernoulli}(\beta_n)$ 决定由谁生成完整输出；教师分支用词表 top-K 重归一化的前向 KL 蒸馏以省算力，学生分支在自己生成的前缀上做反向 KL；干预概率 $\beta_n$ 随训练衰减到 0，最终完全由学生执行。
Phase 2 专门解决学生从自身部分正确动作继续时的分布漂移问题，是理解三阶段训练为何递进有效的关键。
DAPO / GRPO 组内相对策略优化
PPO 的无 critic 变体：对同一决策采样一组候选输出，用组内奖励的均值与标准差归一化得到优势 $A_i=(R_i-\mu)/(\sigma+\epsilon)$，高于均值的候选获得正优势。本文的 RCF-DAPO 进一步把组限制在同角色同决策上下文 $\kappa$ 内，并用 $\mathrm{sg}$ 停止通过优势的梯度。
Phase 3 的核心更新规则，奖励栈（硬门分数+VLM-Judge）与组构造方式直接决定最后 +5.6 分的提升。
编辑反演
从成品视频反向恢复结构化生产意图：用 ASR 得到时间戳解说、镜头切割得到镜头结构、再做句-镜对齐，形成描述每个镜头该传达什么、持续多久、满足什么约束的分镜。注意它恢复的是'意图'而非原始编辑者的工具操作序列。
这是数据管线的起点，也是'成品视频→可执行监督'这一核心思想能否成立的关键——没有反演就没有可回放的目标。
五指标评测体系
五项 0-100 指标：SCF（解说对源脚本的覆盖/忠实/顺序）、VNSM（画面与并发解说的语义匹配）、TPR（计划与实际镜头在存在/时长/顺序上的实现度）、LHC（后期镜头健康保持与素材多样性）、ERY（可解码且解说非静音的完整视频产出率），Overall 为五者均值的等权平均。
读实验部分必须知道每个指标衡量什么，才能判断系统是否超越了' merely 渲染成功'，实现脚本忠实与视觉对齐。
研究动机
把一段解说脚本变成成片长视频，需要一连串相互依赖的决策：镜头规划、视觉素材检索、配音合成与时间线组装彼此耦合——改变某个镜头的时长会改变其后所有时间戳，检索到不合适的画面还得回头重做规划与检索。现有 agentic 剪辑系统大多用通用大模型驱动多阶段工作流（如 CutClaw、CineAgents、VideoAgent），靠编排与反馈兜底，但编排本身并不能回答'如何训练一个既保画质又低 token 成本的紧凑策略'。Crayotter 在人工构建的任务上用最终视频偏好训练了 9B 剪辑模型，但这条路线有个根本障碍：成品视频只呈现解说与镜头结果，不暴露工具调用、中间产物与失败过程，无法直接构成环境接地的可执行训练监督。
本文的目标是本文要构建一个长视频脚本到成片（script-to-video）系统 WeVisCut，把工具执行与策略学习打通。具体分四件事：其一，设计一个 agent harness，维护共享生产状态，使工具反馈能指导后续决策、检查与有界修复，且修复时保留此前成功步骤的产物；其二，从 3,750 个真实成品视频中自动恢复可执行监督，构造超过 13 万条带真实工具返回与失败-修复链接的训练样本；其三，训练一个统一的 9B 策略，同时承担编排、生成、评审三种生产角色，并在同一 harness 内学会从失败中恢复；其四，提出 100 个任务的基准与五个互补指标，使评估不止于'渲染成功'，而是度量脚本忠实度、视觉-解说对齐、计划实现度与端到端交付可靠性。
与已有工作不同的是，本文的独特切入点是回答'成品视频如何变成可执行监督'。作者观察到：虽然成品视频不记录原始编辑动作，但可以通过'编辑反演'从时间戳解说与镜头结构中恢复脚本-镜头意图（每个镜头该传达什么、持续多久、满足什么约束），再通过'验证回放'在与部署完全一致的工具链上重新执行这份意图，让每一步工具调用都产生真实返回、状态更新与质量判定；回放暴露缺陷时用观察-反思-修复做有界修正并复用成功产物。这样，静态成品被转化为带失败与修复链接的完整轨迹。这与 AgentTrek 从教程构建已验证网页轨迹的思路呼应，但面向视频编辑这一天然缺少动作记录的领域，也绕开了人工构建任务的高成本。
核心方法
WeVisCut 由三部分组成：有状态 agent harness、四阶段数据管线与三阶段策略训练。形式化地，任务输入 $x$ 包含固定解说脚本 $S$、目标宽高比 $a^\star$、可行时长区间 $D^\star$、可选源素材与带版本的工具空间 $T$。单一共享参数 $\theta$ 的策略 $\pi_\theta$ 按调用切换三种角色 $r_t\in\{O,G,C\}$：编排者 O 选工具与参数，生成者 G 产出结构化内容，评审者 C 检查产物并请求/验证修复。每次调用的角色上下文 $c_t$ 由任务输入、角色、生产状态 $s_t$ 的视图、相关调用返回历史 $h_t$ 与工具 schema 组成；策略输出完整角色输出 $z_t$，运行时在工具契约 $u_t$ 下执行：$z_t\sim\pi_\theta^{(r_t)}(\cdot\mid c_t)$，$(o_t,s_{t+1})\sim\mathcal{E}_{r_t,u_t}(\cdot\mid s_t,z_t)$。每个编排轮只选一个工具，工具可批量处理多个镜头并内部调用生成者/评审者；选哪个工具取决于当前状态（可用产物与 blocker），而非预定流水线。
核心创新有三层。第一，有状态 harness：持久化生产状态把全局记录（解说覆盖、镜头顺序、时间）与每镜头记录（素材、音频、模板、渲染、未决问题）分开，episode memory 保留产物，事件 trace 保留调用与失败；只有运行时能把校验通过的结果提交进状态，被拒调用返回类型化 blocker 指明缺什么（例如缺镜头渲染或 BGM 就不许拼接），从而把'计划了'与'已完成'严格区分。第二，监督来源：编辑反演+验证回放把成品视频转成带真实工具反馈与失败-修复链接的轨迹，而 Crayotter 需要人工构建任务、只用最终视频偏好；缺参、引用未解析、阶段非法、交付检查失败等失败被如实保留而非改写为成功。第三，单一 9B 策略角色路由复用，配以 RCF-DAPO：把 DAPO 的组内比较限制在同角色同决策上下文内，$A_i^{(r)}=\mathrm{sg}[(R_i^{(r)}-\mu_\kappa^{(r)})/(\sigma_\kappa^{(r)}+\epsilon)]$，避免跨角色、跨上下文比较引入的噪声。
方法步骤详情
数据构造四阶段（Figure 3）：A 编辑反演——对 3,750 个 B 站成品视频做 ASR、镜头切割与时间解析，恢复时间戳解说、镜头结构与句-镜对齐，形成结构化分镜；B 验证回放——在部署一致的工具链上执行该意图，覆盖规划（分段、镜头规划、自反思）、资产生产（视觉检索+TTS、聚光装饰填 HyperFrames 模板槽位、音乐搜索）、时间线执行（合成+评审、渲染、拼接），每次真实工具返回都更新状态并校验引用、音频时长与渲染输出；C 观察-反思-修复——结构化检查加 VLM-Judge 定位缺陷，做有界（约 ≤2 轮）局部修复，只重做失败维度并复用成功产物；D 轨迹物化——保留动作前状态、工具参数、真实返回与失败-修复链接，组织成角色专属样本共 134,771 条（O 15,000、G 88,413、C 31,358），按源项目切分。训练三阶段（Figure 4）：Phase 1 用 LoRA 对 Qwen3.5-9B 做统一 SFT（损失仅计响应 token）加运行时验证 RFT（失败处回滚、教师重生成，仅留通过检查者）；Phase 2 用 Guided-OPD，教师以 $\beta_n$、学生以 $1-\beta_n$ 在同一上下文生成完整输出，教师分支用词表 top-K 重归一化前向 KL、学生分支用自身前缀反向 KL，$\beta_n$ 衰减至 0；Phase 3 用 RCF-DAPO：恢复同一生产状态、冻结延续策略与配对随机种子执行各候选，按角色奖励（编排看交付+质量+进度分，生成看 schema+覆盖+可用性，评审看诊断+修复效用+验证、乱修复罚分）算组内相对优势，保留 DAPO 的 Clip-Higher 与软超长惩罚。
技术新颖性
与已有工作的本质区别在监督来源与训练组织。监督来源上，Crayotter 及其后续用人工构建任务与最终视频偏好，ScripterAgent/DirectorAgent 把系统拆成多个模型，Aurora 只训局部编辑规划器；本文从真实成品视频自动反演意图，在与部署一致的 harness 中回放执行，把编排、检索、装饰、合成、评审、修复的完整决策链连同失败一起变成监督，且损失只作用于模型输出 token、运行时观测仅作上下文。训练组织上，RFT 的准入由运行时验证而非启发式打分决定；Guided-OPD 用截断教师 logits 降低蒸馏成本并处理学生自达状态；RCF-DAPO 把 DAPO 因子化到角色×上下文粒度，组内比较只在匹配条件候选间进行，配额与回放队列保证覆盖。评测侧则把脚本、镜头计划、执行轨迹与渲染视频串联成 100 任务基准与五指标，超越单纯的生成视频质量评测（VBench 等）。
实验结果
共享工具环境策略对比（Table 1，100 个 held-out 任务、5 次运行）：WeVisCut 的 Overall Score 从基座 Qwen3.5-9B 的 74.5 升到 90.5（+16.0），五项全面上涨：SCF 88.4±2.1（+18.6）、VNSM 74.6±2.3（+15.4）、TPR 94.0、LHC 98.8、ERY 96.7；超过无任务特调的 Qwen3.5-397B-A17B（81.5）与 Gemini 3.1 Pro（84.6），与 Claude Opus 5（89.9）相当（仅 VNSM 低 0.2，分量差距 ≤1.3），但每成功输出分钟只生成 2,377 个 token，对 Opus 5 的 78,763（约 1/33）。端到端对比（Table 2，各用原生工作流）：90.5 对 Crayotter 84.9、VideoAgent 82.5，SCF/VNSM 各领先 6.8；墙钟 2.1 分钟/成功输出分钟（对手 8.6、10.4），成本 $0.09（对手 $0.97、$0.58），均含失败尝试。阶段消融（Table 3）：SFT 把 ERY 从 70.4 提到 87.6，RFT 再加 SCF +6.2、TPR +5.7（83.5），Guided-OPD 至 84.9，RCF-DAPO 再 +5.6 到 90.5（SCF/VNSM 各 +7.4/+7.2）。人类盲评（Table 4，3 名标注者）：六维全部最高，总体偏好 4.56 对 3.48/3.46，叙事连贯性领先 1.23/1.28 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 共享工具环境策略对比（100 个 held-out 任务，5 次运行均值） | Overall Score（五指标等权均值，0-100） | 90.5 | Qwen3.5-9B 基座 74.5 | +16.0 |
| 与最强通用模型对比 | Overall Score 与生成 token/成功输出分钟 | 90.5 / 2,377 | Claude Opus 5：89.9 / 78,763 | 质量持平（+0.6），token 成本约 1/33 |
| 端到端系统对比（各用原生工作流） | Overall Score | 90.5 | Crayotter 84.9 / VideoAgent 82.5 | +5.6 / +8.0 |
| 端到端交付成本（含失败尝试） | 估算 USD 与墙钟分钟 / 成功输出分钟 | $0.09 / 2.1 分钟 | Crayotter $0.97 / 8.6 分钟；VideoAgent $0.58 / 10.4 分钟 | 成本 −91% / −84%，时间 −76% / −80% |
| 人类盲评（3 名标注者，1-5 分） | Overall preference | 4.56 | Crayotter 3.48 / VideoAgent 3.46 | +1.08 / +1.10 |
| 交付可靠性 | ERY 端到端渲染产出率 | 96.7±1.8 | 基座 70.4±2.1 | +26.3 |
局限与改进
作者明确承认两点：装饰模板覆盖面有限（聚光镜头依赖经过验证的 HyperFrames 模板库），以及视觉检索鲁棒性不足以覆盖更广的编辑任务。此外可以观察到：VNSM（74.6）仍略低于 Claude Opus 5（74.8），是五项中唯一未全面领先的指标；自动评估依赖时间戳 contact sheets 上的 VLM-Judge 与只读评测环境，对运动、节奏等动态时序质量的刻画有限；五个分量指标报均值±标准差，但 Overall Score 与人类评分都只是描述性均值，作者自己声明未做统计显著性检验；训练与评测数据全部来自 B 站四个领域（科技数码、商业财经、自然科学、人文社科）的固定解说视频，对需要改写解说、复杂转场特效或多说话人的剪辑范式未覆盖；成本核算未计入推理服务与渲染基础设施的部署开销；修复预算耗尽后质量警告仍可能随视频交付。
独立分析的弱点
独立分析有四个弱点。其一，编辑反演只恢复'意图'而非原始编辑动作，转场风格、特效参数、配音韵律等不可观测语义在反演中丢失，模型学到的修复策略偏向本工具链支持的缺陷类型，迁移到其他剪辑软件需重建契约；可引入回放一致性检验或意图保真度评估来量化这一损失。其二，质量判定把结构化检查与 VLM-Judge 组合，但 VLM-Judge 只覆盖聚光镜头渲染，普通镜头的构图与美学缺陷缺少在线信号，可能出现 ERY 高但观感平庸的视频过关；可补充轻量审美打分器或人在回路抽检。其三，修复预算有限（约 ≤2 轮反思），且'预算耗尽不豁免产物缺失'只约束硬性产物，质量警告仍可随交付流出；可引入风险分级的交付门槛或警告聚合展示。其四，RCF-DAPO 的奖励是固定 rubric 与权重，无法随用户偏好漂移更新，长期可学习奖励模型或对接真实播放/完播反馈会更有生命力；此外 100 任务×5 次运行的评测规模较小，Overall 无显著性检验，结论强度受限。
未来方向
作者提出的方向是扩展模板覆盖与更鲁棒的检索，把系统推向更广的编辑任务。在此基础上可以延伸：把编辑反演推广到自由解说与多语言内容，甚至反向生成可回放的项目文件以便人工接管续剪；把 RCF-DAPO 的角色×上下文因子化比较作为通用配方迁移到其他长程多角色 agent 任务（数据分析流水线、软件修复、爬虫编排）；用学习到的奖励模型替代固定 rubric，并纳入真实用户的多轮修改行为作为在线信号；在评测侧增加运动质量、节奏与美学维度的客观指标，以及横竖屏、短视频等多平台泛化测试；探索把 9B 策略进一步蒸馏到端侧，或与更大评审模型做级联，在成本与质量间提供可调档位；另一条线是把 33 倍 token 效率的来源（角色路由、状态缓存、blocker 反馈）拆解归因，形成紧凑 agent 策略的设计准则。
复现评估
复现条件较好但工程量大。代码在 GitHub（Tencent/WeVisCut），权重在 HuggingFace（tencent/WeVisCut），项目页提供概览；骨干是公开的 Qwen3.5-9B，LoRA 微调降低显存门槛；三阶段训练中 OPD 只需冻结教师前向，RL 阶段需要可并行的工具环境回放与配对随机种子控制。真正的门槛在数据与环境：需要 3,750 个 B 站成品视频的采集与授权、ASR 与镜头切割管线，以及生产工具链本身（视觉检索、TTS、HyperFrames 模板库、渲染与拼接服务）——若开源仓库不完整提供模板与渲染服务，只能用替代实现近似，指标绝对值会随之漂移。论文附录较完整（A.1 准入规则与 KL 细节、A.2 完整奖励公式、B 基准与指标协议、B.2 只读评测环境、C/D 轨迹示例），协议描述细致。整体复现难度中高：模型层可行，工具链层是主要成本。
论文图表
顶部展示脚本驱动的有状态视频生产流程（规划、检索、合成、检查、修复）与多轮对话编辑示例（换 3D 地球、调 BGM 与节奏）；中部为与基线 Crayotter 的对比柱状图：时间效率 4.1×快（−76%）、成本 10.8×低（−91%）、人类偏好 +1.08（+31%）、可靠性 +5.1 points；底部为科学与天文、历史与文明、地理与地球系统、科技与工程、健康与生命科学五个知识型长视频示例。
一图总览系统形态与核心成绩，适合作为读论文前的心理地图，快速建立'这个系统做什么、好在哪'的直觉。