SkyReels-V3：统一多模态上下文学习的条件视频生成框架 SkyReels-V3 Technique Report
基于扩散Transformer的统一多模态视频生成框架
前置知识
Diffusion Transformer (DiT)
扩散Transformer是一种将Transformer架构与扩散模型相结合的生成模型。传统扩散模型通过逐步去噪过程从随机噪声生成目标数据，而DiT用Transformer替代了传统U-Net作为去噪网络，利用自注意力机制更好地捕捉长程依赖关系。在视频生成中，DiT能够处理时空维度的token序列，通过位置编码保持时序一致性，是当前高质量视频生成的主流架构选择。
SkyReels-V3的核心架构基于大规模扩散Transformer，理解DiT的工作原理是理解本文技术方案的基础，特别是其如何处理多模态条件输入和时空建模。
Multimodal In-Context Learning
多模态上下文学习是指模型能够根据多种模态的输入（如图像、文本、音频等）作为上下文条件，在无需额外微调的情况下完成生成任务。类似于大语言模型的in-context learning能力，但扩展到了视觉和听觉模态。模型通过将不同模态的编码表示进行对齐和融合，学习跨模态的对应关系，从而实现灵活的条件控制生成。
本文提出的统一框架正是基于多模态上下文学习范式，将参考图像、视频、音频和文本输入统一编码，这是SkyReels-V3能够在单一架构中支持三种生成范式的关键设计思想。
Video VAE (变分自编码器)
视频VAE是用于视频数据压缩和潜在空间表示的自编码器模型。它将高分辨率的视频帧编码到低维潜在空间（latent space），大大减少了后续扩散模型需要处理的数据维度，同时保留了关键的视觉和时序信息。编码过程将像素空间的视频压缩为紧凑的潜在表示，解码过程则将潜在表示还原为像素空间的视频帧。
SkyReels-V3使用视频VAE来编码参考图像和视频输入，将它们转换为统一的潜在表示后进行拼接处理，这是实现多参考图像条件注入的技术基础。
跨帧配对策略 (Cross-frame Pairing)
跨帧配对是一种用于构建参考图像-目标视频训练数据的方法。从连续视频序列中选择不同的帧作为参考图像，同时保持语义一致性但确保时间多样性。这种方法避免了简单复制粘贴带来的伪影问题，通过在时间维度上引入变化，使模型学习到更强的身份保持能力和时序一致性。
这是SkyReels-V3数据处理管线的核心策略之一，直接决定了参考图像到视频生成的质量，特别是在避免copy-paste伪影方面起到了关键作用。
音视觉同步 (Audio-Visual Synchronization)
音视觉同步是指在说话人视频生成中，确保生成的嘴唇动作、面部表情与输入音频信号精确对齐的技术。这通常通过音素级别的对齐策略实现，将语音单元与面部运动对应起来。好的音视觉同步能够产生自然逼真的说话人视频，使观众感知到语音和口型的一致性。
这是SkyReels-V3 Talking Avatar功能的核心挑战之一，论文专门设计了区域掩码和音视觉对齐策略来优化同步质量，是衡量系统实用性的关键指标。
研究动机
当前视频生成领域虽然取得了显著进展，但多模态上下文推理（multimodal contextual inference）仍然是一个未被充分探索的难题。现有系统如Veo、Sora、Seedance、Kling等商业系统以及Wanx、HunyuanVideo、CogVideoX等开源模型，虽然在各自擅长的维度上表现出色，但它们通常将不同的视频生成任务（如图像到视频、视频扩展、音频驱动生成）作为独立系统来处理。这种分离式的架构设计导致了资源浪费、能力无法共享、以及在需要多模态协同的复杂场景下表现不佳。例如，当用户需要基于多张参考图像生成保持角色一致性的视频时，现有方法往往难以同时保证身份保持、时序一致性和叙事连贯性，特别是参考图像与目标视频之间的copy-paste伪影问题严重影响了生成质量。
本文的目标是本文的目标是构建一个统一的多模态条件视频生成框架SkyReels-V3，能够在单一架构内同时支持三种核心生成范式：参考图像到视频合成（reference images-to-video）、视频到视频扩展（video-to-video extension）和音频引导的视频生成（audio-guided talking avatar）。具体而言，该系统需要实现高保真的视觉质量、精确的指令遵循能力、鲁棒的身份保持特性，以及分钟级的长视频生成能力，同时在多个关键指标上达到或接近业界领先的闭源系统水平。
与已有工作不同的是，本文的独特切入角度在于提出了统一的多模态上下文学习范式（unified multimodal in-context learning framework），将视觉参考、视频、音频和文本输入统一编码到同一框架中。与现有方法将不同任务独立建模不同，SkyReels-V3通过精心设计的多模态对齐策略和混合训练方案，实现了跨任务的知识共享和能力增强。这种设计不仅简化了系统架构，更重要的是使得不同模态的条件信号能够在统一的表示空间中进行交互，从而支持更灵活、更精细的生成控制，包括复杂的多主体场景和专业级的镜头切换模式。
核心方法
SkyReels-V3的整体技术路线建立在大规模扩散Transformer基础之上，采用多模态上下文学习范式实现统一的条件视频生成。从直觉上理解，该系统将不同类型的输入（参考图像、起始视频、音频、文本）都视为上下文条件，通过统一的编码和融合机制，引导扩散模型生成符合所有条件约束的目标视频。技术路线包括三个关键层面：首先，在数据层面构建了高质量的多模态训练对，通过专门的数据处理管线确保训练数据的质量和多样性；其次，在架构层面设计了统一的多参考条件注入机制，将视觉和文本信息进行联合编码；最后，在训练层面采用图像-视频混合训练和多分辨率联合优化策略，提升模型的泛化能力和鲁棒性。整个系统支持720p视频生成，支持多种宽高比（1:1、3:4、4:3、16:9、9:16），并能生成5到30秒的视频片段。
SkyReels-V3的核心创新在于将三种截然不同的视频生成任务统一到单一的多模态上下文学习框架中，这与现有方法的本质区别体现在以下几个方面。第一，统一的多参考条件编码策略：不同于以往为每种条件类型设计专门的编码器和融合模块，SkyReels-V3使用视频VAE将所有视觉输入（包括参考图像和视频）编码到同一潜在空间，然后直接与视频潜在表示进行拼接，支持最多4张参考图像的同时输入。第二，图像-视频混合训练策略：通过同时利用大规模图像和视频数据集进行联合训练，模型能够同时学习静态外观线索和动态运动模式，这是单一视频训练无法实现的。第三，关键帧约束的生成框架：特别是在长视频生成中，模型先建立结构上重要的关键内容，然后在关键帧之间生成平滑过渡，确保角色外观一致性和运动流畅性。第四，统一的位置编码和分层训练：用于视频扩展的统一多段位置编码方案，结合混合分层数据训练，实现了跨复杂多段视频扩展的精确运动建模和平滑过渡。
方法步骤详情
SkyReels-V3的完整方法流程可以分为三个主要模块。在参考图像到视频模块中：首先通过跨帧配对策略从高质量视频中选择参考帧，然后使用图像编辑模型提取主体区域并进行背景补全，结合语义重写构建训练对。在推理时，输入1-4张参考图像和文本提示，通过视频VAE编码参考图像得到潜在表示，与噪声视频潜在表示拼接后输入扩散Transformer进行去噪生成。在视频扩展模块中：开发了镜头切换检测器来分析长视频，识别镜头转换（cuts）及其类型（包括单镜头、切入、切出、多角度、正反打、切离6种）。采用统一的多段位置编码方案，结合混合分层数据训练，实现精确的运动建模。输入参考视频和文本提示，生成保持运动动力学、场景结构和视觉风格一致的延续片段。在说话人视频模块中：输入单张肖像图像和音频片段，模型联合分析音频信号、视觉输入和文本线索，推断适当的面部表情、头部运动和相机动力学。采用区域掩码的音视觉对齐策略，显式建模语音单元与面部运动的对应关系。通过首尾帧插入模式训练和关键帧推理范式重建，实现分钟级的长视频生成，支持720p、24fps输出。
技术新颖性
SkyReels-V3的技术新颖性体现在多个维度。在架构设计上，首次实现了单一扩散Transformer架构同时支持参考图像到视频、视频扩展和音频驱动生成三种范式，通过统一的多模态上下文学习机制打破了任务间的壁垒。在数据构建上，创新性地提出了跨帧配对结合图像编辑和语义重写的数据处理管线，有效解决了参考图像生成中的copy-paste伪影问题，这是以往方法普遍面临的痛点。在训练策略上，图像-视频混合训练与多分辨率联合优化的组合是独特的，它使模型能够从静态图像中学习外观知识、从视频中学习运动知识，并在不同空间尺度和宽高比上保持鲁棒性。在视频扩展方面，镜头切换检测器的引入使得系统能够自动识别和分类不同类型的镜头转换，支持6种专业电影转场模式，这在开源系统中是前所未有的。在长视频生成方面，关键帧约束的生成框架通过先建立结构性关键内容再生成平滑过渡的方式，有效解决了长视频中身份漂移和运动不一致的问题，支持分钟级的连续视频合成。
实验结果
论文通过广泛的定量和定性评估验证了SkyReels-V3的性能。在参考一致性、指令遵循和视觉质量三个核心维度上，SkyReels-V3在200个数据对的测试集上进行了评估，测试场景涵盖影视、电商和广告等领域，参考图像类型包括人物、动物、物体和背景场景。定量结果显示，SkyReels-V3在参考一致性上达到0.6698，超越Vidu Q2的0.5961、Kling 1.6的0.6630和PixVerse V5的0.6542；在视觉质量上达到0.8119，同样领先于Vidu Q2的0.7877、Kling 1.6的0.8034和PixVerse V5的0.7976。虽然在指令遵循指标上（27.22）略低于Kling 1.6（29.23）和PixVerse V5（29.34），但整体表现达到了业界领先水平。在视频扩展方面，系统支持720p视频生成，扩展时长可调（5-30秒），支持多种宽高比，能够处理快速运动、多主体交互和突变场景等挑战性情况。在说话人视频方面，模型在内部评估中展示了在整体视觉质量、唇形同步准确性和表现力真实感等多个维度的优越性能，支持多语言、多说话风格、唱歌声音和快速语音模式，并能实现分钟级的长视频生成。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 参考图像到视频生成 | Reference Consistency (参考一致性) | 0.6698 | PixVerse V5: 0.6542, Kling 1.6: 0.6630, Vidu Q2: 0.5961 | 相对最优基线Kling 1.6提升1.0%，相对Vidu Q2提升12.4% |
| 参考图像到视频生成 | Visual Quality (视觉质量) | 0.8119 | Kling 1.6: 0.8034, PixVerse V5: 0.7976, Vidu Q2: 0.7877 | 相对最优基线Kling 1.6提升1.1%，相对Vidu Q2提升3.1% |
| 参考图像到视频生成 | Instruction Following (指令遵循) | 27.22 | PixVerse V5: 29.34, Kling 1.6: 29.23, Vidu Q2: 27.84 | 低于最优基线PixVerse V5约7.2%，但接近Vidu Q2水平 |
局限与改进
尽管SkyReels-V3在多个维度上展现了强劲的性能，但论文和我的分析都揭示了一些局限性。首先，在指令遵循指标上（27.22），SkyReels-V3明显落后于Kling 1.6（29.23）和PixVerse V5（29.34），差距约为7%，这表明模型在精确理解和执行复杂文本指令方面仍有提升空间。其次，论文的评估主要集中在200个数据对的内部测试集上，缺乏在公开标准基准上的系统性对比，这使得结果的可比性和泛化性难以完全验证。第三，虽然论文声称支持分钟级长视频生成，但没有提供长视频质量随时间变化的详细量化分析，也没有与其他系统的长视频能力进行直接对比。第四，论文对计算资源需求、推理延迟和模型参数量等实际部署相关的关键信息披露有限，这对于评估系统的实用性和可复现性是重要的缺失。第五，音频驱动的说话人视频部分缺乏与主流方法（如SadTalker、ER-NeRF等）的定量对比，仅提到内部评估表现优越，但没有给出具体的评估指标和数值。最后，论文虽然开源了代码（GitHub链接），但训练数据的获取和处理流程描述不够详细，可能对社区复现造成一定障碍。
独立分析的弱点
从独立分析的角度，SkyReels-V3存在以下几个值得改进的弱点。在指令遵循能力方面，当前27.22的得分落后于竞品约7%，这可能源于文本编码器与视觉生成器之间的对齐不够精细，建议引入更强的文本理解模块或采用指令微调策略来提升复杂指令的解析能力。在评估体系方面，200个数据对的测试集规模偏小，且场景覆盖可能不够全面，建议构建更大规模、更多样化的公开评测基准，特别是在长视频、复杂叙事和极端条件下的评估。在音频-视觉同步方面，论文缺乏量化评估指标（如唇形同步的定量分数），建议引入LMD、LSE-D/LSE-C等标准指标进行客观评估。在模型效率方面，论文未讨论推理速度和计算成本，对于实际应用场景至关重要，建议探索模型压缩、蒸馏或加速采样等技术来降低部署门槛。在多参考图像处理方面，虽然支持最多4张参考图像，但缺乏对参考图像数量与生成质量之间关系的消融研究，用户难以了解最佳实践。
未来方向
基于SkyReels-V3的成果，未来研究可以向多个方向延伸。首先，在统一框架的扩展性方面，可以探索将更多视频生成任务（如视频编辑、视频插值、风格迁移等）纳入统一的多模态上下文学习范式，进一步验证这种统一架构的通用性和可扩展性。其次，在长视频生成方面，当前的关键帧约束方法可以与更先进的长序列建模技术（如流式生成、分层生成）相结合，支持更长、更复杂的叙事视频生成。第三，在交互式生成方面，可以设计更精细的用户控制接口，支持区域级、时序级的条件控制，使用户能够更精确地指导视频生成过程。第四，在3D和物理一致性方面，可以引入3D场景理解模块和物理模拟约束，提升生成视频的几何一致性和物理合理性。第五，在多模态融合策略上，可以探索更先进的注意力机制和跨模态对齐方法，进一步提升不同模态条件之间的协同效果。最后，在实际应用部署上，可以针对特定垂直场景（如虚拟主播、电商直播、影视后期）进行定制化优化，开发端到端的应用解决方案。
复现评估
在可复现性方面，SkyReels-V3的表现相对积极但仍有改进空间。论文在GitHub上开源了代码（https://github.com/SkyworkAI/SkyReels-V3），这为社区复现提供了基础。然而，训练数据方面存在不确定性：论文提到使用了大规模的内部数据集（massive in-house dataset），但这些数据的获取渠道、预处理流程和规模未完全公开，这可能成为复现的主要障碍。在算力需求方面，训练如此大规模的扩散Transformer模型需要大量的GPU资源，但论文未披露具体的训练硬件配置、训练时长和计算成本，使得其他研究团队难以评估复现的可行性。在模型权重方面，需要确认是否发布了预训练权重以及其许可协议。在评估方面，200个数据对的测试集如果能够公开发布，将大大促进公平对比研究。总体而言，代码开源是积极的一步，但要实现完整的学术复现，还需要更详细的数据准备指南、训练配置文档和预训练模型权重的开放。
论文图表
