SkyReels-V4：多模态视频-音频生成、修复与编辑统一模型 SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model

模型的工作流程可分为以下几个关键步骤。步骤一：多模态输入编码。文本提示、参考图像、参考视频帧和音频参考通过冻结的 MLLM 文本编码器联合处理，生成多模态语义嵌入 $c$。参考视觉输入（图像或视频帧）通过 VAE 编码后，在时间维度上拼接为条件潜变量 $Z_{cond}$，用负时间索引区分于生成目标。步骤二：视频分支通道拼接输入构造。将噪声视频潜变量 $V \in \mathbb{R}^{T \times H \times W \times C}$、条件帧潜变量 $I$（非条件帧填黑图潜变量）和二值遮罩 $M \in \mathbb{R}^{T \times H \times W \times 1}$ 沿通道维度拼接为 $Z_{input} = \text{Concat}(V, I, M)$。步骤三：双流 MMDiT 前向传播。在初始 M 层双流块中，视频/音频 token 和文本 token 通过独立参数处理后联合自注意力；后续 N 层单流块中，拼接后的 token 共享参数处理。每层包含强化文本交叉注意力（视频查询文本嵌入）和双向音频-视频交叉注意力。步骤四：流匹配目标训练。在时间步 $t$ 构造噪声潜变量 $z_t^v = t z_0^v + (1-t)\epsilon_v$ 和 $z_t^a = t z_0^a + (1-t)\epsilon_a$，模型预测速度场，损失函数为 $$\mathcal{L}_{flow} = \mathbb{E} \left[ \|v_\theta^v(t, z_t^v, z_t^a, c) - (z_0^v - \epsilon_v)\|^2 + \|v_\theta^a(t, z_t^a, z_t^v, c) - (z_0^a - \epsilon_a)\|^2 \right]$$ 步骤五：渐进式多阶段训练。从 Stage 1 的 256px 文生图（3B 图像，3 epoch）逐步扩展到 Stage 6 的多模态条件预训练（480/720/1080px），然后进入音频预训练、视频-音频联合训练和监督微调。步骤六：高效推理。基础模型同时生成低分辨率全序列和高分辨率关键帧，Refiner 模块通过 VSA（视频稀疏注意力）进行超分辨率和插帧，将注意力计算成本降低约 3 倍。

SkyReels-V4 的技术新颖性体现在多个层面。第一，它是首个在单一框架中同时统一多模态输入、视频-音频联合生成和生成/修复/编辑任务的视频基础模型，这一组合在现有系统中前所未有。第二，双流混合 MMDiT 架构中，前 M 层双流设计促进跨模态对齐，后 N 层单流设计提高参数效率，配合强化文本交叉注意力和双向音频-视频交叉注意力，形成了比现有方法（如 Ovi、BridgeDiT、JavisDiT 的交叉注意力或流匹配方案）更紧密的视听耦合。第三，通道拼接统一修复框架将异构任务统一为遮罩配置问题，避免了为每种任务设计专门模块的复杂性。第四，时间偏移 3D RoPE 通过负时间索引编码条件潜变量，无需引入任务特定的架构修改即可区分条件上下文和生成目标，并自然扩展到多个参考视觉。第五，音频 RoPE 频率缩放（$21/218$）以简洁优雅的方式解决了视频（21 帧）和音频（218 token）时间分辨率不匹配的问题。第六，联合低分辨率/高分辨率关键帧生成策略配合 VSA 稀疏注意力的 Refiner，使 1080p、32 FPS、15 秒多镜头视频的生成在计算上可行。

从独立分析的角度看，SkyReels-V4 存在以下几个值得关注的弱点。第一，图生视频（无音频）排名第 7 暴露了在纯视觉条件生成场景中的相对不足，可能是因为通道拼接修复框架在处理精细图像参考时不如专门设计的图生视频架构有效，改进方向可以是引入更强的图像特征注入机制或专门的图生视频分支。第二，音频质量维度优势有限，音频分支从头训练且主要基于语音数据预训练，对复杂声景（如环境音、多声源混合）的生成能力可能不足，可以考虑引入预训练音频基础模型（如 AudioLDM 系列）进行知识蒸馏或适配。第三，Refiner 级联架构虽然提升了质量，但增加了推理复杂度和延迟，未来可以探索端到端的单阶段高分辨率生成或更激进的稀疏注意力策略。第四，15 秒时长限制对电影级叙事场景不足，多镜头场景需要后处理拼接，未来可探索更长序列的高效注意力机制（如分块注意力或记忆增强机制）。第五，论文缺乏对失败案例的分析，特别是在复杂遮罩配置（如动态逐帧编辑遮罩）和极端多模态输入组合下的鲁棒性未被充分验证。

基于 SkyReels-V4 的成果，未来研究可以从多个方向延伸。作者在论文中暗示的方向包括：进一步提升视听同步的精确性，特别是在复杂声景和多人对话场景中的唇形同步和空间音频生成。从论文成果可延伸的方向包括：（1）将统一修复框架扩展到更多视频任务，如视频超分辨率、视频去噪、风格迁移等，进一步验证通道拼接的通用性；（2）探索更长视频生成（分钟级甚至更长），结合分块注意力或记忆增强机制突破 15 秒限制；（3）引入交互式编辑能力，支持用户在生成过程中实时调整遮罩和参考输入；（4）将 MLLM 编码器从冻结状态转为可微调，使模型能更好地理解视频特定的指令格式；（5）探索音频分支与预训练音频基础模型的集成，提升复杂声景生成能力；（6）研究更高效的推理策略，如一致性模型或蒸馏方法，减少推理步骤和延迟；（7）在更多下游任务上评估模型的泛化能力，如虚拟现实内容生成、游戏场景合成等。

从复现评估角度看，SkyReels-V4 的复现面临较大挑战。开源情况方面，论文未明确提及模型权重、代码或数据集的开源计划，这对于学术复现和社区验证构成障碍。数据方面，训练数据规模庞大（Stage 1 使用 30 亿图像，Stage 6 使用 5000 万视频），包含大量授权内部数据（电影、电视剧、短剧、网剧），这些数据无法公开获取，即使是公开数据集（LAION、WebVid-10M、Koala-36M 等）的组合也需要巨大的数据处理和清洗工作。算力方面，论文未披露训练所需的 GPU 小时数或硬件配置，但从数据规模和多阶段训练策略来看，计算需求极其庞大，非顶级研究机构难以承担。技术难度方面，双流 MMDiT 架构、MLLM 编码器集成、通道拼接机制、RoPE 频率缩放等技术细节虽然在论文中有描述，但完整的训练流程（特别是合成数据生成管线、多阶段训练调度、Refiner 训练）的实现复杂度很高。总体而言，完整复现 SkyReels-V4 需要顶级算力、大规模数据和深厚的工程经验，预计复现难度为极高。