EverAnimate：通过潜在流恢复实现分钟级人体动画生成 EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

方法的完整流程包含记忆构建、记忆与控制注入、恢复流匹配训练、渐进式训练和推理五个步骤。记忆构建从上下文块提取两种记忆：运动记忆 M_mot 保存最后 r 个潜在切片，用于桥接相邻块；身份记忆 M_id 对 K 个采样帧应用空间增广 T_id 后编码，用于多视角身份锚定。记忆与控制注入分两步：首先构建上下文 token M_ctx，将运动记忆、身份记忆和零填充拼接以匹配时间长度；然后将姿态注入目标潜在，最后拼接为 DiT 输入 H_t。恢复流匹配训练定义扰动操作，生成扰动视频和扰动潜在，然后用重调度系数计算恢复目标，其中包含标准 FM 速度和恢复项。渐进式训练分两个阶段：记忆适配阶段使用标准 FM 损失训练模型适应记忆条件；抗漂移适配阶段使用恢复 FM 损失训练模型获得长时序稳定性。推理时用户可提供 m 个参考帧，如果少于 K 则从初始块随机采样补全身份记忆。第一块的运动记忆为零填充，后续块直接传播前一块的最后 r 个潜在切片作为运动记忆，无需解码-编码。

本文的技术新颖性体现在多个层面。首先是输出导向的漂移纠正策略，与现有的输入导向方法形成对比。现有方法通过扰动条件图像来模拟训练时的误差累积，但这破坏了传递条件的时间一致性。本文保持传播的运动潜在不变，只对块内状态应用恢复项，纠正轨迹的同时保持跨块连续性。其次是多视角身份记忆设计，通过随机采样和空间增广防止上下文偏置，这与单帧 attention sink 形成鲜明对比。实验显示直接使用记忆会产生空间上下文偏置，而应用轻微身份保持的空间增广能有效缓解。第三是有界时间权重的恢复项设计，使用高斯重调度在中间区域增强恢复监督，在两端衰减以避免过度约束干净端点。第四是完全的潜在空间延续，推理时直接重用视频潜在引导下一块生成，彻底避免了重复 VAE 往返的累积误差。最后是轻量级后训练框架，仅通过 LoRA 微调就能实现显著提升，这与其他需要大量训练资源的长视频生成方法不同。

从独立分析的角度看，本文存在以下具体弱点可以改进：一是身份记忆的静态性，当前设计中身份记忆在初始块构建后保持固定，这在长时序生成中可能成为限制，特别是当角色外观发生细微变化（如光照、阴影）时，静态记忆可能导致不适应。改进方向可以是动态更新身份记忆，定期从新生成的块中选择高质量帧补充或替换记忆。二是单一恢复策略，RFM 主要通过速度调整实现恢复，但在极端漂移情况下可能不够。可以结合其他恢复机制，如显式重采样或基于能量的纠正。三是空间增广的局限性，当前使用随机平移和重缩放防止上下文偏置，但这些增广可能不足以处理所有类型的空间关联。可以探索更丰富的增广策略，如旋转、颜色抖动等。四是缺乏自适应调节，当前的重调度系数和增广强度是固定的，不能根据生成质量动态调整。可以设计基于质量反馈的自适应机制，在检测到漂移时增强恢复力度。五是评估指标有限，虽然使用了多种指标，但缺乏对身份一致性的直接评估（如人脸识别相似度）和用户主观研究。可以添加更全面的评估体系。六是泛化性未充分验证，只在特定数据集上训练和测试，在不同风格、不同人物类型上的泛化能力未知。建议进行跨数据集测试。七是计算效率未详细分析，虽然避免了图像空间编码-解码，但潜在空间传播和恢复计算可能引入新的开销，需要定量分析实际推理速度。八是与其他方法的对比不够全面，虽然与几个最先进方法比较，但未包括一些最新的长视频生成工作，这些可能提供更有意义的基准。

作者在论文中提出了一些未来方向，包括探索动态身份记忆策略和跨领域泛化能力。基于本文成果，可以延伸多个研究方向：一是动态记忆管理，研究如何根据生成质量自适应地更新身份记忆，在保持身份一致性的同时适应光照、视角等环境变化。二是联合训练策略，当前方法是基于 Wan-2.2-Animate 的后训练，可以探索从头训练时如何将 PLP 和 RFM 集成到基础模型中，可能获得更好的性能。三是多模态扩展，将方法扩展到音频驱动、文本驱动的长时序动画生成，探索不同控制模态下的长时序稳定性。四是交互式控制，研究如何让用户在生成过程中干预身份记忆或恢复强度，实现更灵活的控制。五是层次化记忆，设计多层次的记忆系统，包括短期运动记忆、中期身份记忆和长期风格记忆，分别处理不同时间尺度的连续性。六是扩散模型集成，探索将恢复机制与扩散模型结合，而不仅限于流匹配框架。七是理论分析，深入分析潜在空间中的漂移机理和恢复机制的理论保证，为方法提供更坚实的理论基础。八是实时应用，优化推理效率使其能够支持实时或近实时的长时序动画生成。九是跨领域适配，将方法迁移到其他需要长时序生成的领域，如机器人运动规划、游戏角色动画、虚拟主播等。十是无参考生成，研究如何在无参考图像的情况下实现长时序一致性，这对于完全自主的视频生成系统具有重要意义。十一是评估基准建设，建立标准化的长时序视频生成评估基准，包括多样化的数据集、指标和协议，促进领域发展。十二是开源生态，开源代码、模型和训练数据，让社区能够复现、扩展和应用本文方法。

论文提供了较为详细的实现细节，包括训练设置、超参数选择和数据集信息，这有助于复现。具体来说，方法基于 Wan-2.2-Animate 构建，LoRA 秩和缩放因子都设置为 128，训练分为两个阶段共 5000 次迭代使用 8 GPU。然而，论文未明确声明代码开源，这是复现性的一个重要缺失点。数据集方面，使用了 Champ、UBC、Seedance 视频和自收集的 2k YouTube 分钟级视频，这些数据集的获取方式和版权状况需要澄清。算力需求方面，8 GPU 5000 次迭代对于大多数研究者来说是可以接受的，但论文未说明 GPU 型号和训练时长，这对估算成本很重要。复现难度中等偏高，需要具备视频生成、流匹配和 LoRA 微调的技术背景，同时需要准备或获取相应的训练数据。论文的消融研究和详细的超参数设置有助于理解和调整方法，但缺乏完整的代码实现和预训练模型权重增加了复现门槛。建议作者开源代码和模型权重，并提供详细的使用文档和示例，这将显著提升方法的可复现性和影响力。此外，提供推理脚本和可视化工具也会帮助社区快速应用和验证方法。