LiveAnimate：实时稳定的长时间流式人体动画 LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time

完整流程如下。训练 Stage 1：把视频切成每块 $B_f$ 个 latent 帧的时间块，块 $b$ 去噪时通过块因果注意力读取 Ref Sink、真实干净历史 $z_{\text{GT}_{<b}}$ 和当前块，即 $\text{Attn}(Q_b, K, V) = \text{softmax}\left(\frac{Q_b [K_{\text{ref}}; K_{<b}]^T}{\sqrt{d}}\right)[V_{\text{ref}}; V_{<b}]$；在 60k 视频（40k 非说话视频 + 20k 人体运动视频）上以 LoRA rank 128、学习率 $5\times10^{-5}$ 训练 10k 步。训练 Stage 2：Pass 1 学生无梯度生成完整轨迹 $(\bar{z}_1,\ldots,\bar{z}_N) = \text{Rollout}_\theta(\epsilon_{1:N}, C)$，每块 3 步；Pass 2 逐块重放，仅当前块 $z_T^\theta = G_\theta(\epsilon_T; \text{sg}(KV(\bar{z}_{<T})), C_T)$ 带梯度，在拼接轨迹 $\tilde{z}^{(T)} = [\text{sg}(\bar{z}_1),\ldots,z_T^\theta,\ldots,\text{sg}(\bar{z}_N)]$ 上计算 $\mathcal{L}_T = \mathcal{L}_{\text{DMD}}(\tilde{z}^{(T)}; C)$，回传后释放激活图，滑动 $T$ 从 1 到 $N$；以 $1\times10^{-5}$ 学习率继续训练 20k 步，峰值显存控制在单台 8×80GB 节点内。推理：姿态流以块为单位流入；用 ViTPose 提取 133 个全身关键点，三帧拼成 $3\times62\times3=558$ 维 ℓ2 归一化指纹 $\phi_b$；生成前检索 $r(b) = \arg\max \phi_b^T \phi_i$（排除已在窗口中的 $b-1$），把对应 KV 复制进 Dynamic Sink；当前块 3 步去噪后执行 Clean KV Update $KV_{\text{cache}} \leftarrow KV_{\text{cache}} \cup \text{Forward}(\hat{z}^0_b, t{=}0, C)$ 写入滚动窗口；历史 KV 均缓存 RoPE 旋转前的 raw key，注意力时在当前缓存位置重新旋转（RoPE follow）。基础设施层用 Ulysses all-to-all 序列并行切分注意力头、torch.compile 以 max-autotune 模式预编译三个分辨率桶。

技术新颖性体现在四个层面。第一，块级自强制重放（BS-DMD）：直接对 N 块自强制 rollout 反向传播需要保留整条轨迹的激活图，本文的 two-pass 方案——第一遍无梯度 rollout、第二遍逐块带梯度重放并把 DMD 损失施加在完整学生诱导轨迹上——让 14B 模型的自强制蒸馏在单节点可行，这是对 Self Forcing 在计算图层面的工程化重构。第二，姿态感知的缓存保留：现有长视频方法（Rolling Sink 等）按时间规则管理缓存，本文首次以姿态语义为索引决定召回哪段历史，针对 articulated motion 的姿势复现特性定制，且 558 维全身指纹（含置信度通道与失败帧零填充）加 ℓ2 归一化让检索退化为一次余弦相似度最大化的点积，几乎零开销（占块时间 0.542%）。第三，多样性驱动的库更新：不是简单替换最旧条目，而是以最小化库内平均相似度为目标穷举替换，写入求覆盖、读取求相关，两个目标解耦。第四，位置一致 KV 复用：历史块写入 Dynamic Sink 时通过缓存 raw key + 按当前布局重旋转的方式与其原始时间戳解耦，同一记忆库条目可在任意时刻无位置错配地复用。

弱点一：姿态跟随精度无量化。全部指标（ASE/IQA/DINO-S/FID/V-MAE）都刻意避开像素对齐，理由是像素对齐会惩罚合理的运动，但这导致无法回答"动作跟得准不准"这一动画系统的第一性问题。改进方向：补充基于 ViTPose 重检测关键点的姿态跟随误差（如 MPJPE 或 OKS），或在驱动姿态与生成人体上做时序对齐后的骨架距离评估。弱点二：实时门槛过高。19.63 FPS 依赖 2×H100 且只算 DiT 循环，约 0.611 秒/块的块级延迟意味着用户动作到画面响应有近半秒滞后。改进方向：把 Clean KV Update（占 24.39% 时间）与前一块解码重叠、探索 W4A8 量化或更激进的蒸馏步数、用缓存复用减少 Ref Sink 与 Static Sink 的重复计算，将单卡吞吐推向可用区间。弱点三：记忆库策略脆弱。$M=5$、前 20 块后冻结的设计假设姿态分布可在流开头被代表性采样，一旦人物中途换装、光照渐变或出现训练时未见构型，检索将系统性失配。改进方向：允许带衰减权重的持续写入、按指纹距离门控触发库刷新、或用轻量外观 LoRA 增量编码新状态。弱点四：分辨率与场景泛化。480×480 加三桶固定宽高比难以服务竖屏直播和高清需求。改进方向：在 Stage 2 中引入分辨率条件化或流式超分后处理；多人与大相机运动则需要把 Ref Sink 扩展为多实例并引入相机位姿作为额外条件流。弱点五：姿态检测单点依赖。指纹依赖 ViTPose 检测质量，检测失败整帧零填充，遮挡密集场景下检索会退化。改进方向：融合时序平滑的指纹或在检测缺失时退回 Static Sink + 窗口的保守缓存。

作者提出的方向：更高分辨率的流式生成（当前 480×480、3 步）；多人场景动画（需把单实例 Ref/Static Sink 推广为按人物分组的缓存组织）；相机动态场景（把相机位姿纳入条件并解决背景与人物运动的耦合）。基于本文成果可延伸的方向：第一，把 PR-Sink 的姿态检索缓存推广为通用的"语义寻址 KV 缓存"框架，用于任何带结构化条件的自回归视频生成（如文本-条件流、音频驱动说话人），记忆库的多样性目标函数可按条件模态替换；第二，交互式控制——当前姿态流是预先给定的，结合实时姿态重定向可做观众驱动或强化学习策略驱动的交互化身，块级延迟是关键约束；第三，音频与全身动画的联合流（说话+手势），需要把 558 维指纹扩展为多模态联合索引；第四，将 Clean KV Update 的 24.39% 开销通过蒸馏掉额外前向（如直接从 3 步 latent 估计干净 KV）消除；第五，训练-推理在更长时间尺度上的对齐实验：训练 rollout 只有 N 块，推理是无限的，研究记忆库状态分布随流长的漂移是否需要在线适应；第六，公开基准建设——论文的 3 分钟姿态复现基准本身是对社区的贡献，可扩展为带姿态跟随指标的标准化长视频动画评测集。

复现评估：中等偏高难度。论文给出项目页（liveanimate.github.io）但正文未附代码发布承诺，截至成文未见开源仓库，这是最大不确定项。基座 Wan2.2-Animate-14B 是公开模型，ViTPose、UniPC、Q-Align 指标、X-Dance 数据均有公开实现，训练配方也交代得相当完整：两阶段共 30k 步（Stage 1 10k 步 lr $5\times10^{-5}$，Stage 2 20k 步 lr $1\times10^{-5}$）、LoRA rank 128、60k 训练视频（40k 非说话 + 20k 人体运动，引用了可获取的数据源）、三个分辨率桶、块大小 3 个 latent 帧对应 12 帧 RGB、记忆库 $M=5$ 且前 20 块写入。算力需求是主要门槛：训练需要 8×H100（Stage 2 声称单台 8×80GB 节点可行），推理需要 2×H100 80GB；不过 LoRA 化的训练使总更新参数量不大，降配到 A100 集群加长训练时间应可行，推理端在更小显卡上靠量化也有机会逼近。基准构造（24 对，其中 12 个由 X-Dance 姿态循环扩展）描述清晰可复刻。综合判断：若官方开源权重与推理代码，第三方在单节点 H100 环境复现推理结果难度中等；从头复现训练则需 8 卡 H100 级资源与较深系统工程能力（Ulysses 并行 + torch.compile 三桶预编译 + two-pass 重放），属于高门槛复现。