WildActor：无约束身份保持视频生成 WildActor: Unconstrained Identity-Preserving Video Generation
大规模人体数据集+非对称注意力，实现跨视角身份一致视频生成
前置知识
Diffusion Transformer (DiT)
DiT 是将 Transformer 架构引入扩散模型的生成范式，用 Transformer 替代传统 U-Net 作为去噪网络。在视频生成中，DiT 将视频编码为时空潜变量（spatio-temporal latent），通过自注意力机制建模长程依赖，已广泛应用于 Sora、Kling 等商业视频生成系统。本文方法基于内部 5B 参数的视频 DiT 模型进行微调。
本文的骨干网络（backbone）就是视频 DiT，所有技术创新（AIPA、I-RoPE）都是在 DiT 的注意力层上改造的，理解 DiT 是理解本文方法的基础。
Rectified Flow (RF)
Rectified Flow 是一种扩散模型的训练目标，定义了数据 $z_0 \sim p_{data}$ 与高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$ 之间的线性插值路径：$z_t := (1-t)z_0 + t\epsilon$，其中 $t \in [0, 1]$。该路径诱导出恒速场 $\epsilon - z_0$，模型 $v_\theta$ 需预测该速度场。相比 DDPM 等方法，RF 的直线路径使采样更高效。
本文的训练目标基于 RF，损失函数为 $\mathcal{L}_{RF} = \mathbb{E}_{t, z_0, \epsilon} [w(t) \|v_\theta(z_t, t, C_{ctx}) - (\epsilon - z_0)\|_2^2]$，理解 RF 才能理解模型如何学习生成。
LoRA (Low-Rank Adaptation)
LoRA 是一种参数高效的微调方法，通过在预训练权重矩阵 $W$ 上添加低秩分解 $\Delta W = AB$（$A \in \mathbb{R}^{d \times r}$，$B \in \mathbb{R}^{r \times k}$，$r \ll d$）来注入新能力，而不修改原始权重。本文使用 rank-128 的 LoRA，仅在参考令牌（reference tokens）的 QKV 和输出投影层引入 0.29B 可训练参数。
本文提出的 Reference-only LoRA 是 AIPA 的核心组件之一，只对参考令牌施加 LoRA 而保持视频令牌的骨干权重冻结，这是实现身份信息解耦的关键设计。
RoPE (Rotary Position Embedding)
RoPE 通过旋转矩阵将位置信息编码到注意力机制的 Query 和 Key 向量中，使得注意力分数自然地反映令牌间的相对位置关系。标准 3D RoPE 将视频令牌编码为三维时空坐标 $(t, h, w)$。本文提出的 I-RoPE 对此进行扩展，为身份参考令牌分配独立的时空偏移量，实现与视频令牌的位置分离。
I-RoPE 是本文的另一核心创新，通过显式的位置区分防止身份参考令牌与视频令牌在注意力空间中混淆，是保证运动质量和结构连贯性的关键。
ArcFace
ArcFace 是一种人脸识别损失函数及对应的面部特征提取器，通过在角度空间中添加附加角间距来增强类间可分性。本文使用 ArcFace 嵌入的余弦相似度来量化生成视频中面部身份一致性，是比较不同方法面部保真度的标准指标。
Face Identity 是本文的核心评估指标之一，使用 ArcFace 嵌入计算生成帧与真实参考图之间的余弦相似度，直接衡量面部身份保持效果。
研究动机
在专业影视制作中，演员的物理外观一致性是视觉叙事的基石，要求在不同镜头、视角和动作下保持严格的身份不变性。然而，当前的视频生成方法在复制这一不变身份时面临两大核心缺陷。第一，现有方法过度以面部为中心或依赖朴素注入方式。例如，使用人脸识别编码器的方法（如 He et al., 2024; Wei et al., 2025）倾向于过度强调判别性面部线索（如发际线），而忽略身体整体，导致浮头效应——面部被保留但身体产生幻觉。相反，通过朴素拼接整个参考图像的方法（如 VACE）则诱导姿态锁定，生成器将参考姿态视为正交视角，导致角色运动受限和复制粘贴伪影。第二，缺乏大规模数据集支持视角不变的人体表示学习。现有尝试如 Virtually Being（Xu et al., 2025）依赖昂贵的摄影棚采集，限制了其在真实场景中的可扩展性。已有数据集如 CelebV-HQ 专注于面部动态但缺乏身体运动，HumanVid 主要支持姿态驱动生成但身份标注有限。
本文的目标是本文旨在构建一个能够实现任意视角条件下人体视频生成的统一框架，具体目标包括：（1）创建大规模人体视频数据集 Actor-18M，包含 160 万高质量视频和 1800 万对应人体图像，提供跨视角、跨环境、跨动作的多样化身份参考；（2）设计一种新的注意力机制，在保持骨干网络生成能力的同时注入多视角身份信息，避免姿态锁定和身份漂移；（3）建立标准化的评估基准 Actor-Bench，在 75 个主体上系统评估身份保持、语义对齐等多维度表现，覆盖规范三视图、任意视角和真实场景三种条件设置。
与已有工作不同的是，本文的独特切入角度体现在三个层面。首先，在数据层面，不同于依赖昂贵摄影棚采集（如 Virtually Being）或通用类别数据集（如 OpenS2V-Nexus），本文专门针对人体构建大规模野外数据集，并通过三个子集（视角增强 A、属性增强 B、规范三视图 C）显式解决视角不平衡问题，将身体侧面视角占比从原始的 36.3% 提升至 70.5%。其次，在模型设计层面，提出非对称信息流——参考令牌向视频令牌提供身份线索但自身不受视频噪声污染——这与现有方法的双向注意力或朴素拼接形成本质区别。第三，在训练策略层面，通过 Viewpoint-Adaptive Monte Carlo Sampling 机制，动态抑制冗余视角采样，鼓励互补视角覆盖，这是以往工作中未被探索的方向。
核心方法
WILDACTOR 的整体思路可以分为三个层次理解。直觉上，当人类演员在不同镜头中保持身份一致时，我们观察的是身体结构、面部特征和服装细节在视角变化下的连贯性。WILDACTOR 模拟这一过程：给定一组多视角的面部和身体参考图像，以及文本描述，模型需要生成与文本对齐且身份保持一致的视频。技术路线分为三步：首先，构建 Actor-18M 数据集，通过视频裁剪和生成增强获取多样化的身份参考；其次，在视频 DiT 骨干网络上引入 Asymmetric Identity-Preserving Attention（AIPA）机制，通过 Reference-only LoRA 和非对称注意力流将身份信息注入生成过程；最后，采用 Viewpoint-Adaptive Monte Carlo Sampling 策略在训练时动态选择互补视角的参考图像。整体架构如论文 Figure 3 所示，文本通过 Text Encoder 编码，面部和身体参考图像通过 3D VAE Encoder 编码后与视频令牌共享注意力空间，但通过 I-RoPE 进行位置解耦。
本文的核心创新在于 Asymmetric Identity-Preserving Attention（AIPA）机制，其本质区别在于打破了现有方法的双向注意力范式。传统方法在注意力层中让视频令牌和参考令牌双向交互，导致两个问题：（1）身份泄漏（identity leakage）——静态外观线索主导运动生成，产生姿态锁定；（2）骨干表示退化——参考特征污染视频特征空间。AIPA 通过两个关键组件解决这些问题。第一，Reference-only LoRA：只对参考令牌施加可学习的 LoRA 参数 $\Delta W_{ref}^{Q,K,V}$，参考令牌的投影计算为 $q_c, k_c, v_c = (W_{Q,K,V} + \Delta W_{ref}^{Q,K,V})c$，而视频令牌始终使用冻结的骨干权重 $W_{Q,K,V}$。第二，非对称注意力流：注意力分两阶段计算——首先，参考令牌独立执行自注意力以聚合多视角信息为统一身份表示 $C_{ref}$，视频令牌同时执行标准自注意力建模时间动态；其次，视频令牌作为 Query 同时关注视频和参考令牌，但参考令牌不会反向关注视频令牌，即 $Q = z_t, K = [z_t; C_{ref}], V = [z_t; C_{ref}]$。这种单向信息流确保身份信息被注入生成过程，但参考令牌保持隔离不受噪声视频特征干扰。
方法步骤详情
WILDACTOR 的完整方法包含以下步骤。步骤一：数据构建（Actor-18M）。从内部高质量源和 OpenS2V 收集视频，通过粗粒度过滤（稀疏帧面部相似度）和细粒度过滤（密集点追踪 + CLIP 相似度验证）得到 160 万单人视频。然后构建三个子集：Actor-18M-A 通过多角度图像编辑模型为每个主体生成六个视角的面部和身体图像，使用 MLLM 验证身份一致性；Actor-18M-B 定义属性池（200 种环境、8 种表情、10 种光照、30 种动作），通过 MLLM 生成编辑指令并用图像编辑模型合成多样化参考；Actor-18M-C 从视频中筛选三视角可见的主体，使用 Nano-Banana 生成规范角色表。步骤二：模型构建。基于内部 5B 视频 DiT 模型，使用 rank-128 LoRA 微调 QKV 和输出投影层（0.29B 参数）。引入 I-RoPE 为视频令牌分配标准时空坐标 $(t, h, w)$，为面部令牌分配时间偏移 $T + \Delta_f$（$\Delta_f = 4$），为身体令牌分配 $T + \Delta_b$（$\Delta_b = 128$），空间坐标从 $(H_{max}, W_{max})$ 开始。步骤三：训练。混合 T2V、I2V 和 VC 任务训练，使用 AdamW 优化器，学习率 $1 \times 10^{-4}$，16 块 NVIDIA H100 GPU 训练 80K 步（前 70K 步 256p，后 10K 步 480p）。每段视频 93 帧，随机采样 0-5 张面部和身体参考，从 A、B、C 子集按 5:2:1 比例取样。步骤四：Viewpoint-Adaptive Monte Carlo Sampling。给定候选集 $S$，每张图像赋初始权重；采样参考 $x^*$ 后，抑制角度邻域 $|\theta_{x^*} - \theta_{x_j}| < \delta$（$\delta = \pi/6$）内的候选，更新权重 $w_j \leftarrow w_j \cdot \gamma$（$\gamma = 0.5$），鼓励互补视角覆盖。
技术新颖性
WILDACTOR 的技术新颖性体现在四个方面。第一，Reference-only LoRA 是一个全新的参数高效微调策略，不同于传统 LoRA 在所有令牌上施加或对整个骨干施加，本文将 LoRA 限定在参考令牌上，实现了注入新能力而不污染骨干表示的目标，这是一种轻量但有效的身份注入范式。第二，AIPA 的非对称注意力流与现有双向注意力方法形成鲜明对比，通过严格的信息流方向控制解决了身份泄漏和表示退化的矛盾。第三，I-RoPE 在标准 3D RoPE 基础上引入身份令牌的位置分离机制，通过时间偏移和空间偏移的双重设计，在共享注意力空间中显式区分动态视频内容和静态身份参考，这在时空注意力机制设计中是首创。第四，Viewpoint-Adaptive Monte Carlo Sampling 将视角选择建模为动态加权采样问题，通过角度邻域抑制实现互补视角覆盖，相比随机采样在侧面和背面视角的 Body Consistency 上提升了约 10 个百分点（0.865 到 0.952）。
实验结果
本文在 Actor-Bench 上进行了全面的定量和定性评估，核心发现如下。在 Sequential Narrative 设置下，WILDACTOR 的 T2V-I2V（w/ Ref）方案达到 Face Identity 0.548、Body Consistency 0.925、VLM-Level 语义对齐 0.893，显著优于无参考的 T2V-I2V 方案（Face Identity 0.320，Body Consistency 0.450）和 Qwen-Image-Edit + I2V 方案（Face Identity 0.521，Body Consistency 0.720）。这表明身份参考的持续注入对长视频生成至关重要。在 Contextual Generalization 设置下，WILDACTOR 以 5B 参数量达到 Body Consistency 0.952、VLM-Level 0.920，超越 14B 参数的 VACE（Body Consistency 0.582）和 Stand-In（Body Consistency 0.416），甚至超越商业模型 Kling 1.6（0.885）和 Vidu Q2（0.905）。特别值得注意的是，Vidu Q2 在 Face Identity 上取得 0.565 的最高分，但作者指出这可能是由于激进的外观复制策略偏向面部相似度而牺牲结构灵活性。消融实验表明，Viewpoint-Adaptive Sampling 使 Body Consistency 从 Random Sampling 的 0.865 提升至 0.952，在背面视角上从 0.785 提升至 0.937；AIPA 的引入使 VLM-Level 语义对齐从 Full-Attn 的 0.610 提升至 0.920；I-RoPE 的移除导致 Body Consistency 从 0.952 骤降至 0.825，证明位置分离机制的关键作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Sequential Narrative - 长视频身份保持 | Face Identity (ArcFace cosine similarity) | 0.548 | Qwen-Image-Edit + I2V: 0.521; T2V-I2V (w/o Ref): 0.320 | 相比 Qwen-Image-Edit + I2V 提升 5.2%，相比无参考基线提升 71.3% |
| Sequential Narrative - 身体一致性 | Body Consistency (Gemini-3-Pro VLM) | 0.925 | Qwen-Image-Edit + I2V: 0.720; T2V-I2V (w/o Ref): 0.450 | 相比 Qwen-Image-Edit + I2V 提升 28.5%，相比无参考基线提升 105.6% |
| Contextual Generalization - 全身一致性 | Body Consistency (Gemini-3-Pro VLM) | 0.952 | Vidu Q2: 0.905; Kling 1.6: 0.885; VACE: 0.582; Stand-In: 0.416 | 相比最强商业模型 Vidu Q2 提升 5.2%，相比最强开源模型 VACE 提升 63.6% |
| Contextual Generalization - 语义对齐 | VLM-Level Semantic Alignment (Gemini-3-Pro) | 0.920 | Vidu Q2: 0.880; Kling 1.6: 0.867; VACE: 0.667; Stand-In: 0.600 | 相比最强商业模型 Vidu Q2 提升 4.5%，相比最强开源模型 VACE 提升 37.9% |
| 消融 - 视角自适应采样策略 | Body Consistency (Average across views) | Viewpoint-Adaptive: 0.952 | Random Sampling: 0.865; Raw-Crop: 0.802 | Viewpoint-Adaptive 相比 Random Sampling 提升 10.1%，背面视角从 0.785 提升至 0.937 |
| 消融 - AIPA 机制效果 | VLM-Level Semantic Alignment | AIPA + I-RoPE: 0.920 | Full-Attn + I-RoPE: 0.610 | AIPA 使语义对齐提升 50.8%，证明非对称注意力对指令遵循的关键作用 |
局限与改进
尽管 WILDACTOR 取得了显著进展，但仍存在以下局限性。首先，该方法依赖内部 5B DiT 基础模型和内部高质量视频数据源，这些资源的不可获取性可能限制外部研究者的复现和扩展。其次，Actor-18M 数据集的构建涉及复杂的多阶段过滤和生成流水线（包括多角度图像编辑、MLLM 验证、密集点追踪等），计算成本较高，数据集的完整公开可能面临挑战。第三，评估基准 Actor-Bench 仅包含 75 个主体，样本量相对有限，且评估指标高度依赖 Gemini-3-Pro 作为 VLM 评判者，存在评估偏见风险。第四，模型在极端动作（如剧烈旋转、快速位移）和复杂遮挡场景下的表现尚未充分验证，论文中的定性示例主要展示中等难度场景。第五，本文专注于人体身份保持，未探索动物、物体等其他主体类别的泛化能力，与通用 Subject-to-Video 方法相比适用范围较窄。第六，93 帧的固定视频长度限制了实际应用中的灵活性，更长视频的生成质量有待验证。
独立分析的弱点
本文存在以下可改进的弱点。第一，AIPA 的两阶段注意力计算增加了计算开销，参考令牌的独立自注意力和后续的非对称融合是串行进行的，未来可探索更高效的并行注意力实现或稀疏注意力方案来降低延迟。第二，Viewpoint-Adaptive Monte Carlo Sampling 的超参数（角度邻域 $\delta = \pi/6$、衰减因子 $\gamma = 0.5$）是固定的经验值，缺乏自适应调整机制，可根据训练进度或视角分布的实时统计动态调整这些参数。第三，面部和身体参考是分别独立处理的，缺乏面部-身体的一致性约束，可能出现面部属于一个视角而身体属于另一个视角的不协调情况，可引入跨区域一致性损失。第四，数据集子集 A、B、C 按固定比例 5:2:1 采样，未根据训练阶段或模型能力自适应调整，课程学习策略可能进一步提升效果。第五，评估指标中 ArcFace 对视角变化敏感，虽然论文采用了视角匹配策略，但更鲁棒的视角不变身份度量仍有待开发。
未来方向
基于本文成果，未来研究可从以下方向延伸。第一，将 WILDACTOR 框架扩展到多人场景，处理多人交互时的身份保持和区分问题，这对影视级应用至关重要。第二，引入 3D 人体模型（如 SMPL）作为结构先验，将几何约束融入身份注入过程，可能进一步提升大视角变化下的一致性。第三，探索更长视频的生成（分钟级甚至更长），结合自回归策略和全局身份记忆机制。第四，将 Actor-18M 数据集和 WILDACTOR 方法应用于虚拟试衣、数字人直播、游戏 NPC 动画等下游任务。第五，研究少样本或零样本身份保持——仅提供 1-2 张参考图像即可实现任意视角生成，降低数据需求。第六，结合音频驱动实现说话人视频生成中的身份保持，扩展到视听多模态场景。第七，探索身份保持与风格迁移的平衡，允许用户在保持身份的同时指定艺术风格。
复现评估
从复现角度看，本文面临一定的挑战。正面因素包括：论文提供了详细的超参数设置（rank-128 LoRA、学习率 $1 \times 10^{-4}$、80K 训练步、$\delta = \pi/6$、$\gamma = 0.5$）和训练细节（16 块 H100 GPU、93 帧视频、256p 到 480p 两阶段训练），消融实验全面验证了各组件的贡献。然而，主要障碍在于：（1）骨干模型为内部 5B DiT 模型，架构类似 LongCat-Video 但非公开；（2）训练数据源包含内部高质量视频，Actor-18M 的完整构建流水线依赖多个专有模型（Qwen-Image-Edit、Qwen3-VL-32B、Nano-Banana）；（3）评估基准 Actor-Bench 的 75 个主体及人工验证的规范三视图可能不公开。对于资源充足的研究者，可尝试在开源视频 DiT 模型（如 Open-Sora、Wan）上复现 AIPA 和 I-RoPE 的核心设计，但完整复现训练流水线和数据集需要大量算力和专有资源。
论文图表