DreamStyle: 视频风格化的统一框架 DreamStyle: A Unified Framework for Video Stylization
首个支持文本/风格图/首帧三种引导方式的统一视频风格化框架
前置知识
图像到视频(I2V)模型
Image-to-Video模型是一种基于扩散模型的生成模型，能够从单张图像或文本提示生成连续的视频帧序列。它通常在潜空间中通过VAE编码器处理输入，利用时间模块保持帧间的一致性。Wan14B-I2V是此类模型的代表，通过flow matching训练目标优化生成质量。
本文的核心框架建立在I2V模型之上，理解其架构和工作原理对于掌握DreamStyle如何扩展到视频到视频(V2V)风格化任务至关重要。
低秩适应(LoRA)
LoRA(Low-Rank Adaptation)是一种参数高效的微调技术，通过在预训练模型的权重矩阵上添加可训练的低秩分解矩阵来适配新任务。标准LoRA使用共享的下投影矩阵和上投影矩阵，本文提出的token-specific LoRA创新地为不同类型的条件token使用专属的上投影矩阵，同时共享下投影矩阵。
DreamStyle使用修改后的LoRA模块来训练，这种设计减少了不同条件token之间的混淆，是本文的技术核心之一，直接影响多任务学习的效果。
Flow Matching
Flow Matching是扩散模型的一种替代训练目标，通过学习从噪声到数据的连续变换路径。在时间步t在[0,1]上，模型预测速度场v_theta，目标是最小化预测速度与真实速度之间的L2距离。相比传统DDPM，flow matching通常收敛更快且生成质量更高。
DreamStyle的训练采用flow matching损失函数，理解这一优化目标有助于理解模型如何学习风格化映射关系。
研究动机
现有视频风格化方法存在三个关键局限性。首先是单一模态条件的限制，大多数方法仅支持文本提示或风格图像中的一种引导方式。文本提示虽然灵活但语义模糊，难以精确描述抽象风格；风格图像提供准确的视觉锚点但缺乏用户友好性和创造性，特别是对于未见过风格的图像获取困难。这导致现有方法的通用化能力受限，只能处理文本可描述或已有视觉参考的风格。其次是高质量模态对齐训练数据的稀缺性，一些方法从图像风格化数据集迁移到视频域，引入了风格一致性、时间一致性和运动动态之间不可避免的权衡。UNIC尝试通过T2V模型合成风格化视频再用ControlNet反转为真实配对数据，但其质量受限于T2V模型且无法处理涉及几何形变的风格。最后是对扩展应用的探索不足，当前研究主要关注基础风格化能力，对多风格融合和长视频风格化等高需求场景关注有限。
本文的目标是本文提出DreamStyle框架，目标是构建第一个统一支持文本引导、风格图像引导和首帧引导三种方式的视频风格化框架。通过精心设计的条件注入机制，将多样化形式的风格引导统一到单一模型中，在保留原始I2V模型架构和固有能力的同时扩展到V2V域。此外，开发系统化的数据构建流程，通过图像风格化技术和I2V模型生成高质量配对视频数据，采用自动和手动混合过滤策略确保数据质量。最终目标是使统一模型在各种视频风格化任务上达到与专业模型竞争的性能，同时支持多风格融合和长视频风格化等扩展应用。
与已有工作不同的是，本文的独特切入角度是首次在视频风格化领域提出真正的统一框架，能够在一个模型中无缝处理三种不同的引导条件，而不是为每种条件训练独立模型。这与现有方法形成鲜明对比：TokenFlow和AnyV2V依赖图像风格化技术处理关键帧并通过DDIM反传播，不能独立执行视频风格化；StyleCrafter使用CLIP提取风格特征并通过双交叉注意力注入；StyleMaster升级到DiT骨干网络但仍需要显式时间建模。本文的创新之处在于将I2V模型高效扩展到V2V风格化而不引入过多计算开销，同时通过token-specific LoRA模块解决多任务学习中的条件token混淆问题，这是视频风格化领域前所未有的技术路线。
核心方法
DreamStyle框架的整体思路基于两个核心观察：当前图像生成和编辑模型在视觉质量、结构和美学方面优于视频对应模型，以及高质量首帧对提升I2V模型生成整体视频质量至关重要。技术路线上，首先构建数据构建流程，两步生成风格化视频数据集：利用SOTA图像风格化模型风格化原始视频的首帧，然后使用I2V模型从风格化首帧生成完整风格化视频。模型架构方面，DreamStyle建立在Wan14B-I2V基础模型上，该模型在patchify层前包含额外的图像条件通道，允许通过这些通道注入原始视频条件而不是采用帧内注入。训练采用两阶段策略：在大规模CT数据集上建立基础能力，然后在高质量SFT数据集上微调提升质量上限。条件注入机制设计为四种类型：文本条件重用原始文本交叉注意力层，首帧条件将风格化首帧输入图像条件通道并将首帧的mask通道设为1.0，风格图像条件通过通道级拼接构造输入张量并使用CLIP图像特征分支注入高级语义特征，原始视频条件通过编码原始视频和风格化视频后与mask张量拼接。
DreamStyle的核心创新点有三个。第一个是统一的V2V风格化框架，通过精心设计的条件注入机制将文本提示、风格图像和风格化首帧三种风格引导形式统一到单一模型中，扩展I2V基础模型到V2V域同时保留其原始架构和固有能力。第二个是系统化的数据构建流程，专门为视频风格化任务设计，核心两步是使用图像风格化技术风格化真实视频初始帧，然后通过配备ControlNets的I2V模型从风格化首帧生成完整风格化视频序列，采用混合过滤策略确保数据质量。第三个是修改的LoRA模块，由共享下矩阵和token-specific上矩阵组成，在full attention和FFN层中，对于输入token x_in，首先使用共享下矩阵 W_down 投影，然后根据token类型 i 使用特定上矩阵 Wi_up 计算输出残差token x_out = Wi_up W_down x_in，这种设计类似手动路由的LoRA MoE，能够减少不同条件token之间的混淆。
方法步骤详情
DreamStyle的方法步骤包含数据构建、模型架构和训练三个阶段。数据构建阶段首先选择InstantStyle和Seedream 4.0作为图像风格化模型，分别擅长风格图像引导和文本引导风格化，InstantStyle进一步配备深度ControlNet和ID插件以约束结构和人脸身份一致性。然后构建两个数据集：通过InstantStyle生成的大规模CT数据集确保核心视频风格化能力和泛化性，通过Seedream 4.0生成的小规模高质量SFT数据集提升DreamStyle性能上限。为确保运动一致性，定制两个ControlNets(深度和人体姿态控制条件)用于内部I2V模型，使用相同控制条件驱动风格化和原始视频帧生成以减少不匹配。数据形式化为 D = {(x_raw, x_sty, t_ns, t_sty, s_1...K)}，其中 x_raw 和 x_sty 是原始和风格化视频，t_ns 和 t_sty 是排除和包含风格描述的文本提示，s_1...K 表示K个风格参考图像。模型架构阶段，风格图像条件的VAE编码潜变量 z_s 通过通道级拼接构造输入张量 z_st，原始视频条件通过编码后与mask张量拼接得到 z_vt。训练阶段采用flow matching优化目标，训练目标根据随机采样的风格条件分为三个损失项，分别对应文本引导、风格图像引导和首帧引导，其中 epsilon 是高斯噪声。
技术新颖性
DreamStyle的技术新颖性体现在多个层面。在架构层面，这是首个真正统一的视频风格化框架，能够在单一模型中处理三种不同的引导条件，突破了现有方法单一模态条件的限制。与需要显式时间建模偏离主流架构的StyleMaster不同，DreamStyle通过最小化修改基础模型保留了原始I2V模型的效率。在训练策略层面，提出的token-specific LoRA模块是针对多任务学习条件token混淆问题的创新解决方案，这种共享下矩阵和token-specific上矩阵的设计类似手动路由的LoRA MoE，在保持共享参数比例大的同时稳定训练。在数据构建层面，系统化的两步流程利用图像风格化和I2V模型的优势，通过混合过滤策略构建了两个不同规模和质量的数据集支持多阶段训练，克服了高质量配对视频数据的稀缺性和风格保真度与时间一致性之间的内在权衡。此外，DreamStyle在推理时支持多种引导模态，开启了多风格融合和长视频风格化等扩展应用的可能性。
实验结果
DreamStyle在三个视频风格化任务上的评估显示了其优越性能。在文本引导视频风格化任务中，DreamStyle达到最高的CLIP-T分数0.167和DINO分数0.584，表明在风格提示跟随和结构保存方面优于其他方法。与商业模型Luma(CLIP-T 0.132, DINO 0.406)、Pixverse(CLIP-T 0.155, DINO 0.451)和Runway(CLIP-T 0.154, DINO 0.504)相比，DreamStyle在两个关键指标上都有显著提升，同时用户研究中风格一致性、内容一致性和整体质量得分分别为4.14、3.95和3.95，远超竞争对手。在风格图像引导任务中，DreamStyle的CSD分数达到0.515，相比StyleMaster(T2V)的0.198有大幅提升，同时DINO分数0.526显示出良好的结构保存能力。用户研究中DreamStyle在风格一致性、内容一致性和整体质量上得分4.36、3.87和4.20，而StyleMaster(T2V)仅得分1.17、无数据和1.31。在首帧引导任务中，DreamStyle的CSD分数0.851在所有方法中最高，虽然DINO分数0.640略低于VACE(0.689)和VideoX-Fun(0.702)，但用户研究中三项得分4.37、4.12和4.24均超过VACE(2.35、4.30、2.79)和VideoX-Fun(3.19、4.22、3.42)。消融实验验证了token-specific LoRA的必要性，不使用它时CSD分数从0.515下降到0.413，DINO分数从0.526下降到0.518；仅使用CT数据时CSD 0.459、DINO 0.547，仅使用SFT数据时CSD 0.535、DINO 0.483，两者结合达到最佳平衡CSD 0.515、DINO 0.526。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本引导视频风格化 | CLIP-T分数 | 0.167 | Runway (0.154) | 8.4% |
| 文本引导视频风格化 | DINO分数 | 0.584 | Runway (0.504) | 15.9% |
| 风格图像引导视频风格化 | CSD分数 | 0.515 | StyleMaster T2V (0.198) | 160.1% |
| 首帧引导视频风格化 | CSD分数 | 0.851 | VideoX-Fun (0.766) | 11.1% |
局限与改进
作者在论文中承认了一些局限性。首先，DreamStyle目前受限于基础模型的5秒时长约束，虽然通过首帧引导可以支持长视频风格化，但仅适用于单镜头视频，多镜头视频由于基础模型和训练数据的固有限制仍无法处理。其次，在首帧引导任务中，当风格化首帧特别是涉及几何形变时与输入视频的结构存在冲突时，DreamStyle在结构保存DINO分数方面略逊于VACE和VideoX-Fun，尽管视觉结果表明它仍能保持输入视频的主要结构元素。此外，论文提到图像质量和动态程度之间存在负相关，因为高动态视频往往涉及运动模糊，从而降低该指标。从其他角度观察，DreamStyle的数据构建流程虽然系统化但依赖于外部图像风格化模型和I2V模型的质量，这些模型的局限性可能间接影响最终性能。token-specific LoRA虽然有效减少了条件token之间的混淆，但需要根据token类型手动路由，对于更复杂的多条件组合可能缺乏足够的灵活性。CT数据集仅包含每个样本一个风格参考，而SFT数据集包含1到16个风格图像，这种规模差异可能影响模型对多风格融合能力的泛化。
独立分析的弱点
DreamStyle在几个方面存在改进空间。在首帧引导任务中结构保存能力不足的问题可以通过引入更精细的结构一致性损失或改进控制条件提取方法来解决，特别是处理涉及几何形变的风格时。长视频风格化目前仅限于单镜头场景，可以开发跨镜头一致性模块或采用分层生成策略来支持多镜头视频。数据构建流程中深度和姿态ControlNet都无法完全捕获原始视频的复杂运动动态，导致风格化和原始视频之间的运动不匹配，可以引入更丰富的控制条件如光流或语义分割图。token-specific LoRA的手动路由机制在面对更复杂的多条件组合时可能不够灵活，可以探索学习式的路由策略或引入注意力机制动态分配不同token的权重。CT数据集的风格参考数量限制可能影响多风格融合能力，可以增加每个样本的风格参考数量或设计专门的多风格融合训练策略。用户研究中虽然DreamStyle整体得分较高，但在某些具体场景下内容一致性仍有提升空间，可以引入内容保持损失或改进条件注入机制以更好地平衡风格迁移和内容保存。
未来方向
作者在论文中提到的未来工作方向包括探索更多扩展应用场景，如多风格融合和长视频风格化。基于当前成果可以延伸的研究方向有：开发更复杂的多条件组合机制，支持同时使用文本、风格图像和首帧的混合引导；改进长视频风格化策略，通过渐进式生成或分段处理突破单镜头限制；探索更丰富的控制条件和运动建模方法，提升复杂动态场景的风格化效果；研究实时视频风格化应用，通过模型蒸馏或轻量化设计降低计算开销；扩展到其他视频编辑任务，如视频修复、视频超分辨率或视频风格转换；开发交互式风格化工具，允许用户实时调整风格强度和区域；研究风格的可解释性和可控性，使用户能够精确控制风格化过程；探索跨模态风格迁移，如音频到视频的风格引导。此外，数据构建流程可以进一步自动化和优化，减少对手动过滤的依赖，同时保持数据质量。token-specific LoRA机制也可以推广到其他多任务学习场景，作为条件建模的通用解决方案。
复现评估
论文提供了详细的实现细节但未明确说明开源情况。数据构建流程方面，CT数据集包含40K风格化原始视频对，SFT数据集包含5K对，视频分辨率为480P，长度最多81帧，CT数据集每个样本包含一个风格参考而SFT数据集包含1到16个风格图像。训练配置方面，三种风格条件的采样比例设为1比2比1，训练在NVIDIA GPU上进行，每GPU批大小为1，采用2步梯度累积策略使有效批大小达到16。LoRA的rank设为64，使用AdamW优化器，学习率为4乘以10的负5次方。训练分为两个阶段：CT阶段6000次迭代，SFT阶段3000次迭代。评估方面，文本引导任务使用50个测试视频，风格图像引导任务扩展到90个视频和15个风格图像，首帧引导任务复用90个视频。指标包括CSD分数、ViCLIP、DINOv2特征和VBench的五个指标。用户研究招募20名专业数据标注员，分别从文本引导、风格图像引导和首帧引导测试集中随机选择10、20和20个样本进行盲评。复现难度中等偏高，主要挑战在于构建高质量配对视频数据集需要大量计算资源和人工过滤，同时需要获取Wan14B-I2V基础模型和外部图像风格化模型。如果作者开源代码和数据，复现难度会显著降低。
论文图表