Seedance 2.0：面向世界复杂性的视频生成进阶 Seedance 2.0: Advancing Video Generation for World Complexity
ByteDance Seed 团队发布的多模态音视频联合生成模型，在 T2V/I2V/R2V 三大任务六维评测中全面领先 Sora 2 Pro、Veo 3.1、Kling 3.0。
前置知识
扩散模型 (Diffusion Model)
扩散模型是一类通过迭代去噪过程生成数据的生成模型。它先在前向过程中对真实数据逐步加噪直至接近标准高斯分布，再在反向过程中学习一个从噪声恢复数据的去噪网络 $\epsilon_\theta(x_t, t)$，采样时从随机高斯噪声出发逐步去噪得到样本。视频扩散模型将这一范式扩展到时空维度，同时对空间外观和时间动态建模。
Seedance 2.0 这类商用视频生成模型的核心引擎正是大规模视频扩散 Transformer，文中所有生成能力（动作、镜头、风格、声音）都建立在扩散模型对时空联合分布的拟合能力之上。
多模态条件生成 (Multimodal Conditional Generation)
指生成模型同时接收多种模态的条件信号（如文本、图像、视频、音频）来引导生成过程的技术。常见做法是用独立的编码器把每种模态投影到统一的隐空间 token，再通过 cross-attention 或 concat 拼接到主干网络中，使模型能够根据任意子集条件进行生成。
Seedance 2.0 最核心的卖点就是统一支持文本/图像/音频/视频四种输入模态的联合生成，读者必须先理解多模态条件如何融合，才能看懂它为什么能做参考生成、视频编辑和续写。
参考视频生成 / Reference-to-Video (R2V)
指给定一张或多张参考图像、视频、音频，模型在保留参考主体身份、风格、动作或声音的同时生成新视频的任务。它本质上是对参考内容做 identity / motion / style 的解耦注入，常通过 IP-Adapter 类适配器或额外的条件分支实现。
本文 R2V 章节是 Seedance 2.0 区别于 T2V/I2V 模型的关键差异化能力，涉及 22 种输入模态组合，不熟悉 R2V 概念就无法理解其评测协议和领先优势。
评测基准 SeedVideoBench 2.0
作者团队自建的视频生成主观+客观评测体系，将评测拆分为客观指标（运动稳定性、自动可计算项）和主观盲评指标（美学、叙事、音频表现力），并细分为 motion quality、prompt following、aesthetics、audio quality、audio-visual sync、audio prompt following 六大维度，每个维度下又有 17–30 个细分子类。
整篇论文的对比数据全部基于 SeedVideoBench 2.0，理解其评分维度（1–5 分制）、可用率/满意度/惊艳率三类阈值、以及客观主观分离的设计，是看懂所有表格数字的前提。
研究动机
商用视频生成模型在 2025–2026 年普遍存在四类硬伤：第一，动作质量不稳定，复杂多人交互、高强度体育动作、长镜头连续运动时容易出现人物形变、肢体扭曲、动作断片，例如 Seedance 1.5 在 intense sports motion 上仅 2.00 分、physical feedback 仅 1.69 分；第二，指令跟随薄弱，特别是涉及多镜头分镜、长脚本、抽象挑战、复合指令时，模型往往只覆盖字面意思而忽略隐含意图，Sora 2 Pro 在 surreal motion 上甚至跌到 1.86 分；第三，音频能力普遍偏弱，绝大部分竞品在 audio-visual sync、audio prompt following 上都低于 3.0 分，Lip-sync 错位、中文方言失真、双声道缺乏层次是高频痛点；第四，多模态参考生成能力碎片化，能做主体参考的往往不能做动作/风格参考，能做编辑的不能做续写/扩展，Kling 3 Omni 仅支持 22 种输入模态组合中的 9 种，远不能满足商业广告、影视特效、游戏动画等真实生产链路的需求。
本文的目标是ByteDance Seed 团队的目标是发布一个统一、高效率、大规模的多模态音视频联合生成底座 Seedance 2.0，把 T2V、I2V、R2V、视频编辑、视频续写/扩展统一到同一个模型里，输出 4–15 秒、原生 480p/720p 视频并自带双声道沉浸音，在 SeedVideoBench 2.0 六大维度、Arena.AI 人类偏好榜、以及 22 种多模态任务覆盖范围上同时达到行业领先水平，最终服务于亿级 DAU 产品的内容创作链路。
与已有工作不同的是，本文选择走统一架构 + 工业级评测路线，而不是发布一个新算法 trick：技术贡献在于把多模态条件融合、双声道沉浸音、细粒度评测体系 SeedVideoBench 2.0、以及覆盖 22 种输入组合的参考任务矩阵整合到一个发布版本里；产品贡献在于同时给出 720p 标准版与低延迟 Fast 版，使研究成果直接落到 Doubao、即梦、火山引擎三大平台；评测贡献在于把过去零散的运动/美学/音频指标升级为统一量纲（1–5 分）并配套可用率/满意度/惊艳率三类阈值，让 T2V/I2V/R2V 之间的对比变得可解释。
核心方法
Seedance 2.0 采用原生多模态音视频联合生成思路，整体直觉是：把文本、图像、视频、音频四种输入统一编码为时空对齐的隐空间 token，再用一个大容量扩散 Transformer 同时去噪生成视频帧序列与对应的双声道声波，最后通过解码器还原为像素和波形；技术上以 Seedance 1.5 已实现的音视频同步生成 (Yu et al., 2025) 为起点，升级为统一的联合框架，并配套面向商业生产的可控性接口（参考、编辑、续写、扩展）。训练数据规模、推理算力、具体损失函数等实现细节未在文中披露，因此方法部分的核心信息集中在架构定位、输入输出规格和能力清单：模型直接生成 4–15 秒、480p/720p 视频，开源平台单次任务最多接受 3 段视频、9 张图像、3 段音频作为参考输入。
Seedance 2.0 的核心创新不在单一模块，而在于把四模态输入 + 多任务输出 + 双声道沉浸音压进同一套架构：与 Sora 2 Pro（侧重 T2V 创意）、Veo 3.1（强但输入模态少）、Kling 3.0（动作强但音频弱）、Wan 2.6（开源但综合落后）、Vidu Q2 Pro / Kling O1（仅覆盖部分 R2V）相比，Seedance 2.0 是当前唯一在 22 种参考输入组合中支持 20 种的商用模型，并独占视觉特效/创意参考、视频续写/扩展两大类共 7 个任务；同时音频侧从 1.5 的同步生成升级为双声道沉浸音 + 多轨道并行（背景/环境/旁白）+ 严格音画时序对齐，配合 SeedVideoBench 2.0 的六大维度评测闭环，这是它能横扫榜单的根本原因。
方法步骤详情
第一步，模型在 SeedVideoBench 2.0 框架下用 T2V/I2V/R2V 三大任务、六个评估维度（motion quality、video prompt following、aesthetics、audio quality、audio-visual sync、audio prompt following）和数十个细分子类进行全面盲评，每个子类都给出 1–5 分绝对分数以及 ≥3 分的可用率、≥4 分的满意率、=5 分的惊艳率三类比例；第二步，T2V 评估涵盖广告/影视/特效/UGC/社交/基础六大场景（共 16 个细分子场景），与 Kling 2.6/3.0、Sora 2 Pro、Veo 3.1、Seedance 1.5 横评，并单独在 Arena.AI 公开 Elo 榜单上对照 veo-3.1-audio-1080p、grok-imagine-video-720p 等一线商用模型；第三步，I2V 评估细粒度展开 prompt 抽象、复杂指令、复杂运镜、复杂动作、复杂交互、创意生成、物理规律、复杂参考图 8 大类 23 个子类，与 Kling 2.6/3.0、Wan 2.6、Veo 3.1、Seedance 1.5 Pro 对照；第四步，R2V 评估把 22 种输入模态组合形式化为 5 个任务族（subject/motion/style/effects-reference + editing + continuation/extension），逐一打分并核对功能可用性；第五步，输出可视化样例覆盖花样滑冰、武侠打斗、油画人物喝可乐等典型创意场景，证明模型对长脚本、多镜头、强交互的指令遵循能力。
技术新颖性
技术新颖性体现在三个层面：第一，提出 SeedVideoBench 2.0 评测协议，把客观自动指标 + 主观专家盲评 + 现实感判别实验组合起来，把多模态任务遵循拆成参考一致性 + 编辑一致性两个可测维度，并把叙事质量拆解为镜头语言、剧情设计、风格美学三个子维度，填补了开源社区缺少统一商用级视频评测的空白；第二，构建了行业最完整的 R2V 任务矩阵，覆盖主体（图像/视频/音频/混合）、动作、风格、特效、编辑、续写、扩展七大族 22 个组合，把过去零散的参考能力转化为可枚举、可评测的接口清单；第三，把双声道沉浸音与多轨音频生成（背景/环境/旁白）纳入视频扩散 Transformer 同一生成过程，而不是后处理拼接，使得音频表现力和唇同步都获得明显提升（中文多人对话 audio-visual sync 从 2.36 升至 3.86）。
实验结果
T2V 层面（Table 1），Seedance 2.0 在六个维度全部排名第一，motion quality 3.75、aesthetics 3.43、video prompt following 3.67、audio-visual sync 3.75、audio quality 3.63、audio prompt following 3.56，平均较 Seedance 1.5 提升 0.86 分，其中 motion quality 提升最大达 +1.36；可用率方面（Table 2），Seedance 2.0 是唯一在所有维度上都超过 83% 可用率的模型，motion quality 可用率高达 97.55%，满意率在 audio quality 上达到 62.05%（所有对手均低于 10%），惊艳率（5 分）在 audio quality 上是唯一非零者（6.70%）；细粒度上（Table 3）Seedance 2.0 在 30 个运动子类中拿下 29 项第一，multi-entity feature match 4.43、framing/composition 4.25、editing rhythm 4.21 都超过 4 分，Seedance 1.5 时代孱弱的 physical feedback（1.69→3.46）、natural phenomena（2.00→3.78）、intense sports motion（2.00→3.79）实现 1.5 分以上的跨越；Arena.AI 公开 Elo（Figure 2）显示 Dreamina Seedance 2.0 720p 以 1450/1449 分在 T2V/I2V 双榜登顶，分别领先 veo-3.1-audio-1080p 79 分、grok-imagine-video-720p 29 分。I2V 层面（Table 9），Seedance 2.0 六维全部第一，motion quality 3.35、video prompt following 3.46、image preservation 3.31、audio quality 3.61、audio-visual sync 3.54、audio prompt following 3.70，无对手超过 3.18 分；满意率（Table 10）motion quality 43.88% 是第二名 Kling 3.0（12.00%）的 3 倍多，audio prompt following 63.52% 是 Seedance 1.5 Pro（37.77%）的 1.7 倍、Kling 2.6（5.70%）的 11 倍；细粒度中（Table 12）compound multi-instruction 的 motion quality 达 4.00（Kling 3.0 仅 2.88），相比 1.5 Pro 的 2.13/2.25 提升近 2 分；Table 14 中 sports motion MQ 3.73、combat visual effects MQ 3.63 拉开与对手 1 分以上差距。R2V 层面（Table 24），Seedance 2.0 五维全部第一，multimodal task following 2.50、editing consistency 3.54、reference alignment 3.03、motion quality 3.24、prompt following 2.52，motion quality 领先优势最大（0.86–0.94 分），reference alignment 第二名仅 2.37；Table 25 显示 Seedance 2.0 在 22 种输入模态组合中支持 20 种，独占 visual effects / creative reference（3 种）和 continuation/extension（4 种）共 7 个任务；video editing 中 reference alignment 3.79 远超 Kling O1 的 3.03 和 Kling 3 Omni 的 2.71；video continuation 由 Seedance 2.0 独家支持，task following 2.88、reference alignment 3.18；audio 侧 Spanish AQ/AVS 4.14、English APF 4.20、Background/Ambient APF 4.00、Chinese conversation APF 4.08 等都刷新最高分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Text-to-Video 综合 6 维 (motion quality / video prompt following / aesthetics / audio-visual sync / audio quality / audio prompt following) | 1–5 主观打分均值 | 3.75 / 3.67 / 3.43 / 3.75 / 3.63 / 3.56 | Seedance 1.5: 2.39 / 3.19 / 2.59 / 2.88 / 2.91 / 2.69；Kling 3.0: 3.10 / 3.36 / 2.78 / 2.74 / 2.78 / 2.54；Sora 2 Pro: 2.69 / 2.82 / 2.81 / 2.76 / 2.65 / 2.92；Veo 3.1: 2.73 / 2.88 / 2.59 / 2.62 / 2.54 / 2.24 | 相对 Seedance 1.5 平均 +0.86，最高项 motion quality +1.36；相对 Kling 3.0 最高项 +0.65 |
| T2V Arena.AI Elo（公开人类偏好榜，720p） | Elo 分数（±SE） | 1450 (±15) | veo-3.1-audio-1080p 第二名（差距 79 分） | +79 Elo |
| I2V Arena.AI Elo | Elo 分数 | 1449 (±11) | grok-imagine-video-720p 第二名 | +29 Elo |
| I2V 6 维综合 | 1–5 均值 | 3.35 / 3.46 / 3.31 / 3.54 / 3.61 / 3.70（motion / VPF / IP / AVS / AQ / APF） | Kling 3.0: 2.80 / 2.78 / 3.18 / 2.83 / 2.89 / 2.85；Seedance 1.5 Pro: 2.53 / 2.77 / 2.92 / 2.95 / 3.07 / 3.10；Veo 3.1: 2.65 / 2.87 / 2.69 / 2.69 / 2.68 / 2.79；Wan 2.6: 2.32 / 2.74 / 2.61 / 2.18 / 2.20 / 2.55 | 无对手超过 3.18；audio prompt following 高出第二名 0.60 |
| R2V 5 维综合 | 1–3 或 1–5 | 2.50 / 3.54 / 3.03 / 3.24 / 2.52（MTF 1–3 / Edit.Consist. / Ref.Align. / Motion / Prompt Follow.） | Kling 3.0: 2.32 / 3.37 / 2.37 / 2.36 / 1.95；Kling O1: 2.30 / 2.89 / 2.32 / 2.30 / 1.95；Vidu Q2 Pro: 2.13 / 2.29 / 1.79 / 2.38 / 2.08 | motion quality 领先 0.86–0.94；reference alignment 领先 0.66–1.24 |
| R2V 多模态任务覆盖 | 支持任务数 / 总任务数 | 20 / 22 | Vidu Q2 Pro 13/22；Kling O1 10/22；Kling 3 Omni 9/22 | 独占 7 个任务（3 个特效/创意参考 + 4 个续写/扩展） |
| I2V 复合指令 motion quality | 1–5 均值 | 4.00 | Kling 3.0 2.88；Seedance 1.5 Pro 2.13 | +1.12（相对 1.5 Pro 近 +1.87） |
| T2V motion quality 可用率 / 惊艳率 | % 评分≥3 / % 评分=5 | 97.55% / 10.43% | Seedance 1.5: 46.93% / 0.00%；Kling 3.0: 82.82% / 0.61% | 可用率 +50.62pp，惊艳率从 0 到非零 |
局限与改进
作者在 Section 1 与 Section 2.4.1 中明确承认四类局限：第一，仍存在少量形变伪影和高频视觉噪声，特别是多说话人场景下的唇同步错误与边缘案例下的运动合理性不足；第二，音频侧偶尔出现失真和噪声，特别是 dual-channel audio（Seedance 2.0 4.00 vs 对手均低于 3.43）之外的窄带场景仍有失真；第三，multi-subject consistency 仍需优化，text restoration 在 Kling O1 等对手擅长的少数类别上仍落后；第四，video extension 任务上 Seedance 2.0（task following 1.93、reference alignment 3.28）显著弱于 Veo 3.1（2.78 / 3.44），且仅能扩展自身生成的视频而 Veo 3.1 可扩展任意视频。同时观察到 first-frame preservation 上 Kling 3 Omni 拿到 4.31 而 Seedance 2.0 仅 2.71，说明 Seedance 2.0 偏向生成更具动态感的视频，但首帧保真度有所妥协；中文方言在所有模型上仍普遍低于 3.0（如 Kling 3.0 也只有 1.86 分），跨语言细粒度可控性仍是开放问题。
独立分析的弱点
独立分析可观察到四个值得改进的弱点：(1) 评测本身是主观打分，1.5 分制分辨率有限，建议补充 FVD、CLIPScore、Audio-visual sync offset 等客观指标做交叉验证；(2) 论文未披露模型规模、训练数据规模、训练算力、推理延迟，无法评估单位生成质量的边际成本，且 Fast 版本与标准版之间的 trade-off 也未量化；(3) R2V 中 image & audio combined reference 双模型都低于 2.30 分，说明联合图像-音频条件建模仍是软肋，可考虑引入显式的解耦表征（主体外观、动作、声音三独立 latent）；(4) 长视频（>15 秒）能力被砍掉，而商业广告/电影特效需要分钟级叙事，建议引入 hierarchical temporal diffusion 或 memory bank 来支持更长序列。
未来方向
作者在结尾承诺三大方向：继续探索生成模型与物理世界的深度对齐，准确建模真实世界动力学，深入理解物理与语义规则；社区层面，22 种输入组合中尚未覆盖的 subject audio-visual+audio reference、video audio editing 等 2 项，以及 Kling O1 擅长的 first-video reference（Seedance 2.0 task following 2.89 vs Sora 2 的 3.00）值得补齐；可延伸的方向还包括：(a) 把 SeedVideoBench 2.0 拆出独立的开源子集供学术界复现；(b) 把当前 720p 扩展到 1080p/4K；(c) 把 R2V 中续写 + 主体参考等组合任务扩展到长视频；(d) 在保留 7 种独占任务覆盖的同时，把 video extension 的 task following 从 1.93 提升到接近 Veo 3.1 的 2.78 水平。
复现评估
Seedance 2.0 没有开源权重或训练代码，只能通过 ByteDance 的 Doubao、即梦（Jimeng）和火山引擎（Volcano Engine）三大平台调用，模型 id 为 doubao-seedance-2-0-260128，官方页 https://seed.bytedance.com/seedance2_0 提供体验链接；输入输出规格公开（4–15 秒、480p/720p、单次最多 3 视频 + 9 图像 + 3 音频），评测协议 SeedVideoBench 2.0 的维度定义和评分规则在论文中描述，但具体的评测 prompt 集、盲评专家人数、自动指标实现细节均未公开；Arena.AI Elo 是唯一可由第三方独立复现的公开基准（Figure 2），读者可在 https://lmarena.ai 自行验证；由于没有论文级别的代码与权重，复现难度极高，更接近商业产品白皮书 + 评测报告的性质，而非传统学术论文的开放复现。
论文图表