焦点引导：从视频扩散模型的语义弱层中解锁可控性

针对I2V模型中语义弱层导致的文本遵循性差问题，提出焦点引导框架通过细粒度语义指导和注意力缓存提升可控性。

前置知识

扩散模型 (Diffusion Models)

扩散模型是一类生成模型，通过逐步向数据添加噪声（前向过程）然后学习去噪（反向过程）来生成样本。在视频生成中，扩散模型通常在潜在空间操作，先使用VAE编码器将视频压缩为潜在表示，然后在潜在空间进行扩散和去噪过程。Rectified Flow是一种基于常微分方程（ODE）的扩散框架，通过线性插值路径连接数据和噪声，训练目标是最小化预测速度场与真实速度场的差异。

本文基于DiT（Diffusion Transformer）架构的I2V模型，理解扩散模型的基本原理是理解论文中条件注入、去噪过程和语义对齐问题的基础。

Image-to-Video (I2V) 生成

I2V任务是从单张参考图像和文本提示合成动态视频序列。与纯文本到视频（T2V）不同，I2V需要同时保持参考图像的高频视觉细节（如主体身份、纹理、风格）并执行文本指令描述的运动和语义变换。现有方法通常将参考帧作为视觉锚点确保主体外观保真度，同时用文本提示引导视频内容的动态演化。

本文聚焦于I2V任务中的可控性问题，特别是文本指令遵循能力不足的挑战。理解I2V的基本范式和挑战是理解论文动机的关键。

DiT (Diffusion Transformer)

DiT是将Transformer架构应用于扩散模型的架构，替代了传统的U-Net结构。在DiT中，条件信息（如文本、图像）通过注意力机制注入生成过程。CrossDiT和MMDiT是两种常见的条件注入方式：CrossDiT通过交叉注意力注入条件，MMDiT将所有条件token沿token维度拼接后进行注意力计算。

本文分析了DiT-based I2V模型中的语义弱层现象，理解DiT架构及其条件注入机制是理解条件隔离（Condition Isolation）问题的前提。

CLIP (Contrastive Language-Image Pre-training)

CLIP是OpenAI开发的视觉-语言对齐模型，通过对比学习在图像和文本之间建立共享表示空间。CLIP的视觉编码器可以提取图像的语义特征，文本编码器可以提取文本的语义特征，两者在同一空间中对齐。本文利用CLIP的视觉编码器提取参考帧的空间视觉token，并计算文本token与视觉token之间的负余弦相似度来识别关键区域。

FSG机制依赖CLIP来建立文本关键词与参考帧视觉区域之间的细粒度对应关系，CLIP的语义对齐能力是方法有效性的基础。

Moran's I 统计量

Moran's I是一种衡量空间自相关的统计量，用于评估给定层的潜在表示是否对文本特征表现出清晰且空间连贯的响应。在本文中，Moran's I用于量化视觉特征与文本特征之间的相似性图的空间自相关性。较高的Moran's I值表示该层对文本关键词有强且连贯的响应，较低的值（如从0.76降至0.19）表示语义响应崩溃，该层为语义弱层。

Moran's I是本文识别语义弱层的关键量化指标，理解其计算方法和含义是理解论文诊断方法的基础。

研究动机

当前基于DiT的I2V模型在文本指令遵循方面存在严重不足。尽管这些模型在视觉一致性和美学质量上取得了显著进步，但它们难以平衡高频视觉约束和低频文本引导。具体表现为：模型倾向于优先保持视觉条件和内部先验，而非遵循文本指令。如论文中Figure 4所示，现有方法（如CogVideoX、Open-Sora、LTX-Video等）经常无法可靠地将文本指令定位到第一帧参考图像，导致指令不遵循和幻觉（或重复）视觉元素。这种问题的根源在于DiT中间层出现了语义弱层（Semantic-Weak Layers），这些层对文本提示的响应较弱，如Figure 1和Figure 2所示，Moran's I值从0.76急剧下降到0.19，表明语义对齐崩溃。

本文的目标是本文的具体目标是：1）诊断DiT-based I2V模型中文本遵循性差的根本原因；2）提出一种轻量级、原则性的框架来解锁语义弱层的可控性；3）引入新的评估基准来填补I2V模型指令遵循能力评估的空白。最终目标是提升I2V模型的文本指令遵循能力，使其在保持视觉一致性的同时，能够更准确地执行文本描述的运动和语义变换。

与已有工作不同的是，本文的独特切入角度在于：1）首次系统性地诊断了I2V领域中的语义弱层现象，并追溯其根源为条件隔离（Condition Isolation）机制；2）不同于现有方法仅关注训练阶段的改进（如从T2V模型初始化权重、精心设计提示），本文提出了一种在推理和训练阶段均可应用的轻量级干预框架；3）现有可解释性研究分散在Transformer、ViT、U-Net等架构中，本文首次在I2V领域提供了系统性诊断，并提出了基于诊断的针对性干预方法。

核心方法

Focal Guidance框架的核心思想是：通过显式建立文本概念与参考帧视觉区域之间的细粒度对应关系，缓解条件隔离问题；同时利用语义响应层的注意力模式指导语义弱层，减少其对视觉先验的过度依赖。整体技术路线分为两步：首先，Fine-grained Semantic Guidance (FSG) 通过CLIP识别参考帧中的关键区域，作为视觉锚点注入文本和视觉特征，建立跨模态对应；其次，Attention Cache (AC) 从语义响应层聚合注意力图，转移到语义弱层，注入显式语义信号。这两个机制协同工作，重新建立跨层的连贯文本-视觉对应关系。

本文的核心创新点在于发现了条件隔离现象并提出了针对性的解决方案。与已有方法的本质区别在于：1）现有方法（如Attend-and-Excite）提供通用纠正，但未针对特定根本原因；2）本文首次识别出语义弱层，并追溯其原因为条件隔离——VAE编码的参考帧、图像编码器特征和文本嵌入以相对独立的方式注入模型，缺乏细粒度对齐；3）FSG通过视觉锚点显式耦合多模态条件，而非依赖Transformer隐式学习这些关联；4）AC机制将语义响应层的结构化注意力模式转移到语义弱层，这是一种知识迁移思想，而非简单的特征增强。

方法步骤详情

Focal Guidance框架包含以下步骤：1）关键词选择：使用CLIP视觉编码器提取参考帧的空间视觉token，计算文本token与视觉token之间的负余弦相似度，选择最大相似度超过阈值τ_sel的文本词作为关键词；2）文本-视觉锚点绑定：将关键词的文本嵌入和对应的视觉锚点投影到共享的DiT潜在空间，通过加性融合增强文本token的值向量；3）视觉锚点注入潜在特征：将视觉锚点值表示直接注入参考帧的潜在特征图中，确保关键对象在每个去噪步骤中都被保留和语义对齐；4）注意力聚合：在每个时间步，计算各层的相似性图，并通过加权求和得到注意力缓存；5）应用注意力缓存到语义弱层：对注意力缓存应用阈值处理，保留最相关区域，然后用于指导语义弱层的注意力机制。

技术新颖性

本文的技术新颖性体现在：1）首次在I2V领域系统性诊断语义弱层现象，并使用Moran's I和标准差两个互补指标量化语义响应；2）提出条件隔离的概念，解释了为什么多模态条件信号的独立注入会导致语义对齐困难；3）FSG机制通过视觉锚点建立显式的跨模态对应，这是一种预对齐策略，减少了模型学习的难度；4）AC机制实现了层间知识迁移，将语义响应层的注意力模式转移到弱层，这是一种轻量级的干预方式，无需大量重新训练；5）方法具有模型无关性，可应用于任何DiT-based I2V模型。

实验结果

实验结果表明，Focal Guidance在多个基准测试上显著提升了I2V模型的可控性。在Wan2.1-I2V（14B参数）上，FG将总分从0.6973提升至0.7250（+3.97%），其中动态属性提升9.91%（0.3512→0.3860），人体运动提升8.38%（0.6920→0.7500），人体交互提升9.02%（0.4880→0.5320）。在MMDiT-based的HunyuanVideo-I2V（13B参数）上，FG将总分从0.5185提升至0.5571（+7.44%），其中动态属性提升33.69%（0.1698→0.2270），人体运动提升33.85%（0.2600→0.3480），人体交互提升27.78%（0.1800→0.2300）。消融实验表明，FG在零样本设置下就能显著提升性能（人体运动0.7020，人体交互0.5220），与训练后数据结合效果更佳。传统I2V指标（如主体一致性、背景一致性）对FG的改进不敏感，说明现有评估方法缺乏对指令遵循能力的测量。

查看结构化数据

任务	指标	本文	基线	提升
Image-to-Video Generation (Wan2.1-I2V)	Total Score (平均5个维度)	0.7250	0.6973 (Wan2.1-I2V)	+3.97%
Image-to-Video Generation (HunyuanVideo-I2V)	Total Score (平均5个维度)	0.5571	0.5185 (HunyuanVideo-I2V)	+7.44%
Dynamic Attributes (Wan2.1-I2V)	VQA得分	0.3860	0.3512 (Wan2.1-I2V)	+9.91%
Human Motion (Wan2.1-I2V)	VQA得分	0.7500	0.6920 (Wan2.1-I2V)	+8.38%
Human Interaction (Wan2.1-I2V)	VQA得分	0.5320	0.4880 (Wan2.1-I2V)	+9.02%
Dynamic Attributes (HunyuanVideo-I2V)	VQA得分	0.2270	0.1698 (HunyuanVideo-I2V)	+33.69%
Human Motion (HunyuanVideo-I2V)	VQA得分	0.3480	0.2600 (HunyuanVideo-I2V)	+33.85%
Human Interaction (HunyuanVideo-I2V)	VQA得分	0.2300	0.1800 (HunyuanVideo-I2V)	+27.78%

局限与改进

作者承认的局限性包括：1）FSG的有效性受底层图像编码器和模型基础能力的限制，如果基础模型较弱，FSG的效果会受限；2）当前评估基准仅覆盖三个维度（动态属性、人体运动、人体交互），可能无法全面反映模型的可控性；3）实验仅在两个开源模型上验证，未在商业模型或更大规模模型上测试。我自己的观察：1）方法依赖CLIP进行关键词选择和视觉锚点提取，CLIP本身的局限性（如对细粒度空间关系的理解不足）可能影响FSG的效果；2）注意力缓存机制假设语义响应层的注意力模式是可靠的，但如果这些层本身也存在噪声，可能会传递错误信息；3）训练数据仅12K样本，可能不足以覆盖所有场景；4）阈值参数（τ_sel、τ_cache）的选择可能需要针对不同模型进行调整。

独立分析的弱点

基于独立分析，本文存在以下弱点：1）关键词选择依赖CLIP的负余弦相似度，这可能导致对同义词、上下位词等语义关系的处理不够精细，改进方向是引入更先进的文本-视觉对齐模型或知识图谱；2）视觉锚点注入采用加性融合，可能破坏原始特征的分布，可以探索更精细的融合策略（如门控机制、注意力加权）；3）注意力缓存使用简单的加权求和，未考虑不同层之间的语义差异，可以设计自适应的层间权重学习机制；4）评估基准的手动标注成本高且规模有限（86-100个样本），可以探索半自动化的评估方法；5）方法仅关注语义弱层，未考虑其他可能影响可控性的因素（如时间一致性、运动合理性）。

未来方向

作者提出的未来方向包括：探索Focal Guidance思想在更广泛模型和任务上的应用，改进评估基准的覆盖面和自动化程度。基于本文成果可延伸的方向：1）将Focal Guidance思想扩展到其他生成任务（如文本到图像、视频编辑）；2）研究条件隔离现象在其他架构（如U-Net、混合架构）中的表现；3）开发自动化的语义弱层检测和干预方法，减少人工调参；4）结合强化学习或人类反馈优化可控性指标；5）探索多模态条件（如深度图、边缘图、3D参数）的协同注入方法；6）研究可控性与生成质量之间的权衡关系，寻找帕累托最优解。

复现评估

论文提供了较为详细的复现信息：1）代码和模型：未明确说明是否开源，但提供了详细的实现细节（附录A）；2）数据：使用内部策划的12K样本数据集，使用Qwen2.5-VL-32B生成准确描述，评估基准的手动标注数据集规模为86-100个样本；3）算力：训练细节包括批量大小8，学习率1e-5（Wan2.1-I2V）和1e-4（HunyuanVideo-I2V），但未提供具体的GPU小时数或硬件要求；4）难度：方法相对轻量，主要是后训练和推理时的干预，但需要理解DiT架构和注意力机制；5）评估：提供了五个随机种子的平均结果，但未提供方差或置信区间。总体而言，复现难度中等，主要挑战在于内部数据集和评估基准的构建。

焦点引导：从视频扩散模型的语义弱层中解锁可控性 Focal Guidance: Unlocking Controllability from Semantic-Weak Layers in Video Diffusion Models