Soap2Soap:面向长篇电影化视频重制的多智能体协作框架

用多智能体+双桥一致性框架在百镜头量级实现角色一致的长视频换脸/风格化重制

前置知识

视频扩散模型 (Video Diffusion Model)

在扩散模型 (Diffusion Model) 基础上，把时间维度上的多帧联合去噪作为目标而训练得到的生成模型，常见架构有 U-Net 与 Diffusion Transformer (DiT) 两种。模型在潜空间 (latent space) 内对一段连续帧做迭代去噪，从而得到时序一致的短片段。

本文的 Keyframe Generation 与 I2V 阶段都直接调用商业视频扩散模型 (Nano Banana 2、Veo 3)，理解去噪过程和潜空间共享是看懂"网格批量关键帧"为何能提升一致性的基础。

Image-to-Video (I2V) 合成

以一张静态图像为起点条件，结合文本提示让视频扩散模型沿时间轴延伸出 4-8 秒的动态片段。模型既要保持首帧的视觉外观，又要根据 prompt 注入相机运动和角色动作。

Soap2Soap 的"拍镜头级视频合成"完全依赖 I2V，每个 shot 独立生成后再按时序拼接，因此关键帧质量直接决定整段镜头可信度。

多智能体系统 (Multi-Agent System, MAS)

把复杂任务拆给多个有独立 prompt / 工具 / 上下文的 LLM 智能体协作完成，常见角色如 Director、Writer、Cinematographer。智能体之间通过结构化消息 (schema) 通信，并由协调器统一调度。

本文把"理解-生成-验证"拆成三个智能体，区别于以往 MAS 借用"制片流程"的隐喻，作者强调一致性必须显式存储、检索、执行，这部分需要读者熟悉 MAS 的通信模式。

角色身份一致性 (Character Identity Consistency)

在长视频中要求同一角色的脸型、服装、配饰在跨镜头、跨视角下保持可识别。常用度量包括人脸识别相似度、CLIP 图像相似度，以及 VLM-as-a-Judge 的视觉评分。

身份漂移 (identity drift) 是本文最核心要解决的问题，ID-VLM 与 CLIP-I (ID) 两项指标就是为衡量它而设计。

VLM-as-a-Judge 评估范式

用视觉语言模型 (VLM) 充当裁判，对生成内容按指定维度 (如身份、场景、剧情) 打分。VLM 接收参考图、生成图与文字描述后输出结构化分数或偏好。

SoapBench 的所有 VLM 分数都由 Gemini 3 Flash 给出，读者需理解该范式的优势 (可解释) 与风险 (同源评估偏差)，才能正确解读 Soap2Soap 9.17 的高分。

研究动机

随着视频生成模型扩展到分钟级，传统短视频管线在长视频重制 (cinematic remaking) 场景下集中暴露三类问题：身份漂移、背景突变、语义侵蚀。在 SoapBench 评测中 (607 个镜头、95% 以上带显式角色锚点)，换脸后的角色在 4-8 秒片段内就会出现脸型、服装甚至种族属性的偏移；商用 V2V API 如 Kling O1、Runway Gen4 在长序列分块处理时，背景和光线会在镜头间漂移；文本到视频模型则会因为上下文窗口有限，在数百镜头跨度上失去对剧情因果和摄像机语言的控制。Mocha 等参考型编辑系统同样无法跨多镜头稳定维持身份 (ID-VLM 仅 6.21)。本质原因是真实电影靠物理连续性维持一致性，而生成式重制必须把一致性显式地"存储-检索-执行"，现有工作要么靠"制片流程"隐喻让 LLM 自发协调、要么只对单段 4-8 秒片段做局部约束，缺乏跨镜头的全局机制。

本文的目标是本文提出一个训练无关 (training-free) 的多智能体框架 Soap2Soap，目标是：在不重新训练扩散模型的前提下，把长视频重制拆解为"理解-生成-验证"三个串联阶段，借助结构化 JSON 剧本 (Language Bridge) 和动态视觉锚点 (Visual Bridge) 两座"显式桥梁"，让生成过程在 100+ 镜头跨度上同时保持角色身份、场景风格、剧情因果和摄影机语言；并配套发布 SoapBench 基准 (含 IMDb 高质量剧本对齐) 量化评估长视频理解和长视频重制两个任务。

与已有工作不同的是，作者认为以往的多智能体长视频工作 (VideoDirectorGPT、MovieAgent、AniME、FilmAgent、CoAgent) 多沿用"导演-编剧-摄影"的隐喻，把一致性当成 LLM 涌现出来的副产物；Soap2Soap 反其道而行，把一致性升级为一等公民，提出 Dual-Bridge Consistency (语言桥 + 视觉桥) 作为显式控制信号；并创新性地引入 2x2 / 3x3 网格批量关键帧 (在共享潜空间里一次性去噪) 来抑制"逐帧重采样导致的身份分裂"，再用闭环 Critique-Correct-Verify 机制做选择性重生。这种"显式桥 + 共享潜空间 + 闭环验证"的组合，是它在长序列下取得 9.17 ID-VLM 的关键切入点。

核心方法

Soap2Soap 沿一条"分析-生成-校验"的流水线，把长视频重制任务交给三个串行协作的智能体：Video Understanding Agent 用 Gemini 3 Flash 解析源视频 $V_{src}$ 得到场景级 JSON 剧本 $S_{json}$ 和视觉记忆库 $M$；Video Generation Agent 根据分配给每个 shot $s_{i,j}$ 的紧凑上下文包 $M_{i,j}=\text{Allocate}(S_{json},s_{i,j})$，先用 Nano Banana 2 在 2x2 / 3x3 网格中批量合成关键帧 $I_K$，再调用 Veo 3 做 4-8 秒 I2V 生成得到 $V_{i,j}$；Verification Agent 沿身份、场景、剧情、生成质量四个维度做 Critique-Correct-Verify，必要时把反馈 $\Delta$ 路由回前两阶段触发选择性重生 $(M'_{i,j},P'^{I2V})=\text{Refine}(M_{i,j},S_{json},\Delta)$。

核心创新在于把"一致性"从隐性约束升级为两类可显式检索的桥梁：Language Bridge $S_{json}$ (按 shot 索引的 JSON 剧本，记录镜头尺度、视角、动作、对话、T2I/I2V 提示) 锁定"应该发生什么"；Visual Bridge $M$ (场景级环境参考图 + 镜头级角色参考图) 锁定"应该长什么样"。两者通过一个上下文分配函数 $\text{Allocate}$ 绑定到每个 shot 上，构成最小且充分的约束集。第二点创新是网格批量关键帧：把同一场景的 4-9 帧塞进 2x2 / 3x3 网格在共享潜空间里联合去噪，让所有子图共享注意力，从根源上抑制逐帧生成带来的身份分裂。第三点是闭环验证：当 ID-VLM / Scene-VLM / Plot-VLM 任一维度不达标时，Verifier 输出结构化文本反馈 $\Delta$，触发 Refine 函数对受影响 shot 做局部重生而非整段回滚。

方法步骤详情

Video Understanding Agent 接收 $V_{src}$，调 Gemini 3 Flash 抽场景描述并按 shot 输出 JSON 剧本 $S_{json}$，每条含 Shot Schema、Script (对话+镜头语言+情绪)、T2I/I2V Prompt 与场景/角色参考形成 $M_{i,j}$。Video Generation Agent 用 Nano Banana 2 把同场景 4-9 帧拼成 2x2 / 3x3 网格在共享潜空间一次去噪后超分切分得 $I_K$；Veo 3 接收 $I_K$ 与 $P^{I2V}$ 生成 4-8 秒 $V_{i,j}$，按时序拼为 $V_{tgt}$。Verification Agent 对结果做四维评判，不通过则把反馈 $\Delta$ 路由回前两阶段触发 $(M'_{i,j},P'^{I2V})=\text{Refine}(M_{i,j},S_{json},\Delta)$ 的局部重生。评测用 SoapBench：理解任务基于 10 部 607 shot 配 IMDb 算 F1，重制任务测 VLM 与 CLIP-I。

技术新颖性

技术新颖性体现在三个层面：(1) 桥接机制层面，把语言和视觉双通道显式建模成 $S_{json}$ 和 $M_{i,j}$，通过 $\text{Allocate}$ 函数把全局上下文裁剪成最小充分集，避免 LLM 单次输入无法承载分钟级视频历史的问题；(2) 共享潜空间层面，网格联合合成 (grid joint synthesis) 让多个关键帧在同一次去噪过程中共享注意力，相比单独生成后再做 ID 匹配 (如 IP-Adapter) 在结构稳定性和细节保真度上都更强，作者在 Fig. 5 中给出了 wrong face 案例的直接对比；(3) 闭环校验层面，提出"语义回路 + 视觉回路"双层 VLM 验证，并使用 $(M'_{i,j},P'^{I2V})=\text{Refine}(M_{i,j},S_{json},\Delta)$ 把反馈编译回生成上下文，使得重生只在局部发生，时间与算力成本可控。三个层面合起来让 Soap2Soap 在不微调扩散模型的前提下，于 100+ 镜头量级同时压住了漂移、突变和语义侵蚀三种典型失败模式。

**Figure 2**: Overall architecture of Soap2Soap.

实验结果

SoapBench 长视频重制任务上 Soap2Soap 五项指标全部最高。ID-VLM 9.17 比 Kling O1 (8.11) 提升 +1.06，比 Runway Gen4 (7.48) 提升 +1.69，比 Mocha (6.21) 提升 +2.96；Scene-VLM 8.84 比次优 Kling O1 (8.37) 高 0.47，场景锚点显著抑制背景漂移；Plot-VLM 8.67 与 Kling O1 (8.60) 持平但仍胜出，JSON 剧本对剧情因果有效；CLIP-I (ID) 0.842 比 Kling O1 (0.632) 提升 33%，CLIP-I (Scene) 0.819 比 0.751 提升 9%，去 VLM 主观打分后 Soap2Soap 在像素-特征层也更接近参考。消融中移除动态分配使 F1 从 0.936 跌至 0.618、IoU 从 0.921 跌至 0.569，验证 $M_{i,j}=\text{Allocate}(S_{json},s_{i,j})$ 不可或缺；移除验证回路 F1 跌至 0.887、ID-VLM 跌至 8.91。

**Table 1**: Quantitative comparison on the long-video remaking task.

**Table 2**: Ablation study on long-video understanding and remaking/generation.

**Figure 3**: Results of Soap2Soap on diverse genres.

**Figure 4**: Qualitative comparison between our method and several strong commercial and open-source baselines.

查看结构化数据

任务	指标	本文	基线	提升
长视频重制 - 身份一致性	ID-VLM (10 分制)	9.17	Kling O1: 8.11 / Runway Gen4: 7.48 / Mocha: 6.21	相对最优基线 Kling O1 提升 +1.06 分 (+13.1%)，相对 Mocha 提升 +2.96 分 (+47.7%)
长视频重制 - 场景一致性	Scene-VLM (10 分制)	8.84	Kling O1: 8.37 / Runway Gen4: 7.96 / Mocha: 6.74	相对最优基线 Kling O1 提升 +0.47 分 (+5.6%)，相对 Mocha 提升 +2.10 分 (+31.2%)
长视频重制 - 剧情一致性	Plot-VLM (10 分制)	8.67	Kling O1: 8.60 / Runway Gen4: 8.27 / Mocha: 5.52	相对最优基线 Kling O1 提升 +0.07 分 (+0.8%)，相对 Mocha 提升 +3.15 分 (+57.1%)
长视频重制 - 身份像素相似度	CLIP-I (ID)	0.842	Kling O1: 0.632 / Runway Gen4: 0.604 / Mocha: 0.563	相对最优基线 Kling O1 提升 +0.210 (+33.2%)
长视频重制 - 场景像素相似度	CLIP-I (Scene)	0.819	Kling O1: 0.751 / Runway Gen4: 0.724 / Mocha: 0.681	相对最优基线 Kling O1 提升 +0.068 (+9.1%)
长视频理解 - 角色识别	F1 score (shot 级)	0.936	w/o Dynamic Allocation: 0.618 / w/o Verification: 0.887	相对无动态分配提升 +0.318 (+51.5%)，验证上下文分配机制对长序列不可或缺

局限与改进

作者在论文中明确了两点局限：(1) 缺乏细粒度音视频同步，重制过程只关注视觉一致性，原始对白、配乐、音效没有在 SoapBench 中被显式评估，跨镜头音轨可能与新演员口型错位；(2) 极端运动动力学下表现仍欠佳，文中提及 extreme motion dynamics 是未来工作，意味着当角色做出快速转身、剧烈相机甩动或多个角色交叉打斗时，网格关键帧的注意力共享可能不足以保持稳定。我自己的观察是：SoapBench 的重制评测仅取 10 部 1.5-5 分钟的片段、最长 42 个连续镜头，对真正的整集电视剧 (300-600 镜头) 来说仍属于缩比例评测；且评估侧 VLM 与理解侧 VLM 都使用 Gemini 3 Flash，存在同源偏差风险，作者虽然补了 CLIP-I 但 CLIP 在多人脸场景也会把背景照明误识为身份差异，因此 9.17 的 ID-VLM 可能仍有上偏；此外整套管线强依赖 Nano Banana 2 + Veo 3 两个商用模型及其 API 配额，复现门槛与单次推理成本都相当高。

独立分析的弱点

独立审视有三个值得改进的弱点。第一，网格批量关键帧虽然能让 4-9 帧共享注意力，但 2x2 与 3x3 网格意味着所有 sub-image 共享相同的 prompt 和参考锚，对于"同场景但角色分镜"(如对话正反打) 来说，文本提示难以在同一 prompt 内刻画"左格是 A 视角的 B、右格是 B 视角的 A"，更细粒度的方案应当为每格生成条件 mask 或单独 prompt 通道；第二，Verifier 仅依赖 Gemini 3 Flash 单一模型，存在 1) 同源评估偏差 2) 反馈信号 $\Delta$ 仍为自然语言，可能出现 LLM hallucination 导致错误的 Refine 调用，建议增加确定性度量 (如 DINO 人脸 embedding 距离、SSIM 阈值) 作为硬门控；第三，pipeline 是离线串行的，理解→生成→验证各阶段不可并行，整段 5 分钟视频的端到端耗时与 token 消耗可观，而商用 API 计费 (尤其是 Veo 3) 会让重现成本激增，缺少 per-shot 的预算与超时回退策略。

未来方向

作者已点名的方向包括 (1) 细粒度音视频同步，把对白、配乐、环境音纳入 SoapBench 的评估并开发音唇同步 (lip-sync) 模块；(2) 极端运动下的鲁棒生成，可能要引入运动模板 (motion template) 或 3D-aware 关键帧。基于本文成果还可以延伸的方向有：把 Dual-Bridge 思路推广到交互式内容创作 (用户编辑 $S_{json}$ 即可批量重生某段剧情)；把 SoapBench 扩展到 300+ 镜头的整集评测并引入人工评估的 M-Turker 协议；研究多语言剧本 (中、日、印地语) 的 $S_{json}$ 跨模态迁移，从而让"全球本土化重制"成为可能；以及引入 RLHF 或 DPO 训练 Verifier 自身的反馈质量，把 Critique-Correct-Verify 升级为自适应长度的层级控制。

复现评估

代码已在 GitHub 公开 (github.com/showlab/Soap2Soap)，但训练无关的实现完全依赖三组商用 API：Gemini 3 Flash (理解与验证)、Nano Banana 2 (关键帧 T2I)、Veo 3 (I2V)，这三者都需要付费配额且 Nano Banana 2 在原论文中尚无可独立部署的开源替代品，因此即便有代码也难以在不调用 API 的情况下完整跑通。SoapBench 包含 10 部电影、607 个镜头的 IMDb 剧本对齐数据，作者称对角色标注做了人工核验，但并未发布测试集本身的视频原片 (版权原因)，下游研究者需要自备或请求授权电影源。算力方面，单条 5 分钟视频需要数千次 Gemini 推理和数百次 Veo 3 调用，按 2026 年 API 价格估算单次完整评测约数百美元。复现难度整体评为中等偏高：算法思想清晰、模块解耦良好，但外部依赖重、评测成本高，且 ID-VLM/Scene-VLM 的 Gemini 评分会随 Gemini 版本变化而漂移，报告数字难以严格复现。

Soap2Soap:面向长篇电影化视频重制的多智能体协作框架 Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration