FlowAct-R1：迈向实时交互式人形视频生成 FlowAct-R1: Towards Interactive Humanoid Video Generation
基于MMDiT的实时流式人形视频生成框架，25fps低延迟交互，支持任意时长
前置知识
MMDiT (Multimodal Diffusion Transformer)
MMDiT是一种多模态扩散Transformer架构，是Seedance模型的核心骨干网络。与传统单模态扩散模型不同，MMDiT原生支持跨模态对齐能力，能够将文本、视觉和音频等多模态表示在同一Transformer架构中进行融合处理。其设计特点是参数精简、基于镜头的时间切片和基于窗口的空间注意力机制，这些特性为其提供了实时交互所需的计算速度基础。在FlowAct-R1中，MMDiT负责将VAE压缩的视频潜在token、Whisper编码的音频token和文本语义token进行信息提取与交换。
理解MMDiT是理解FlowAct-R1整体架构的基础，它决定了模型如何处理多模态输入并实现高效的视频生成。
扩散强制 (Diffusion Forcing)
扩散强制是一种训练扩散模型进行序列生成的技术范式。与传统的全局去噪不同，扩散强制将视频序列分块(chunk)处理，每个块独立进行去噪操作。在FlowAct-R1中，采用分块扩散强制策略(chunkwise diffusion forcing)，将视频流组织为3个chunk×每个chunk 3个latent的结构，支持并行梯度更新。这种策略使得模型能够实现流式推理，每0.5秒墙钟时间输出0.5秒视频，从而支持任意时长的连续视频生成。
扩散强制是FlowAct-R1实现流式和无限长度视频生成的核心技术，直接决定了模型的实时交互能力。
自强制 (Self-Forcing)
自强制是一种解决扩散模型在训练和推理阶段误差累积问题的技术。在训练过程中，模型需要处理来自自身生成的有噪声记忆，而非仅使用干净的ground truth数据。FlowAct-R1设计了一种自强制变体：在训练时，使用中间训练好的模型对ground truth视频latent进行噪声注入和去噪，得到生成-GT-latent。然后以一定概率选择这些生成-GT-latent替代GT-latent来采样记忆组件，模拟推理阶段的记忆误差。这种对齐训练和推理阶段累积误差的策略有效缓解了长视频生成中的误差传播问题。
自强制技术是保证长时序交互视频质量一致性的关键，解决了流式生成中最核心的误差累积挑战。
蒸馏 (Distillation)
蒸馏是一种模型压缩技术，将大模型的知识迁移到小模型以加速推理。FlowAct-R1采用多阶段蒸馏流水线：首先消除分类器无关引导(CFG)的开销，通过注入辅助CFG嵌入层将不同引导尺度的输出蒸馏到统一模型；然后进行朴素步蒸馏，将原始去噪步数划分为三段，每段内的微步蒸馏为单步；最后应用少步分数蒸馏DMD。整个流水线将采样成本从原始NFE逐步压缩到仅需3次函数评估(3 NFEs)，实现8倍加速，同时保持竞争力的合成质量。
蒸馏是FlowAct-R1实现实时25fps推理的关键技术，直接决定了交互式应用的可行性。
NFE (Number of Function Evaluations)
NFE即函数评估次数，是衡量扩散模型推理效率的核心指标，表示生成一个样本需要调用神经网络的次数。在扩散模型中，每个去噪步骤通常需要一次前向传播（函数评估）。传统扩散模型可能需要20-50次NFE，而FlowAct-R1通过多阶段蒸馏将NFE压缩到仅3次（chunk-size=3, micro-step=1, 无CFG），这使得模型能够在保持生成质量的同时实现实时推理。较低的NFE意味着更快的推理速度和更低的计算成本。
NFE直接关联推理速度，FlowAct-R1的3 NFE设计是其达到25fps实时性能的技术基础。
TTFF (Time-to-First-Frame)
TTFF即首帧时间，指从接收输入信号到生成第一帧视频画面的延迟时间，是衡量交互式视频生成系统响应性的关键指标。在实时交互场景中，低TTFF意味着用户可以更快地看到系统响应，从而获得更自然的对话体验。FlowAct-R1实现了约1.5秒的TTFF，这意味着用户在说话后约1.5秒就能看到虚拟人物开始做出相应反应，这对于直播、虚拟陪伴和视频会议等应用场景至关重要。
TTFF是评估交互式系统用户体验的核心指标，1.5秒的低延迟使FlowAct-R1在实际应用中具有显著优势。
研究动机
当前交互式人形视频生成面临三个核心矛盾：第一，高保真合成与实时交互需求之间的权衡。基于扩散的生成模型如Omnihuman-1.5和KlingAvatar 2.0能够生成高质量视频，但计算开销巨大，推理速度缓慢，Omnihuman-1.5仅支持最长30秒视频且无法实时流式生成，KlingAvatar 2.0虽支持5分钟长视频但存在运动重复问题且缺乏流式能力。第二，长时序视频的质量一致性挑战。多轮交互天然涉及长时间跨度，在连续生成过程中容易出现视觉质量下降和时间一致性破坏。第三，行为自然度的局限。现有实时方法如LiveAvatar基于Wan2.2-S2V-14B实现实时流式，但仍面临运动重复问题，降低了自然性；INFP和ARIG虽支持实时流式，但主要限于肖像风格裁剪，缺乏全身控制能力。
本文的目标是本文的核心目标是构建一个专门针对实时交互式人形视频生成的框架FlowAct-R1，具体实现：流式任意时长视频生成能力，确保低延迟和响应性交互；实时推理性能，目标为480p分辨率下25fps的稳定帧率，TTFF控制在约1.5秒；全身精细控制能力，包括唇形同步、面部表情、身体手势和物体交互；跨多样化角色风格的泛化能力，仅需单张参考图像即可实现高保真合成；行为生动性和感知真实感，在说话、倾听、思考和空闲等多种行为状态间实现自然过渡。
与已有工作不同的是，FlowAct-R1的独特切入角度在于同时解决了流式生成、实时性能和高保真行为表达这三个看似矛盾的需求。与现有方法相比，FlowAct-R1是首个在单一框架内同时实现：流式任意时长生成（解决Omnihuman-1.5的30秒限制和KlingAvatar 2.0的非流式问题）、实时25fps推理（解决传统扩散模型的慢速推理问题）、全身精细控制和行为生动性（解决INFP等方法的肖像限制和LiveAvatar的运动重复问题）。这种全面性使得FlowAct-R1在Table 1的对比中成为唯一在所有维度（Stream、Real-Time、Full-body Control、Generalization、Vividness）都打勾的方法。
核心方法
FlowAct-R1的方法整体思路可以分为'骨干适配-多模态融合-加速优化-流式推理'四个层次。首先，基于Seedance的MMDiT骨干网络，通过分块扩散强制策略将其适配为流式兼容的变体，核心是设计了一个固定大小的流缓冲区，包含参考latent、长期记忆队列、短期记忆latent和去噪流四个组件。其次，采用IP-Adapter风格的音频分支，通过Whisper将16kHz音频转换为每秒25个特征，实现音频与精细运动的关联。然后，通过多阶段蒸馏流水线将去噪过程压缩到仅3次NFE，并结合FP8量化、帧级混合并行、算子融合和异步流水线等系统级优化。最后，在推理阶段引入记忆精炼策略和MLLM引导的动作规划，确保长视频的时间一致性和行为自然性。
FlowAct-R1的核心创新点在于其'结构化记忆库+分块扩散强制+自强制变体'的三位一体设计。与现有方法的本质区别体现在：第一，结构化记忆库设计将流缓冲区细分为四个功能明确的组件——参考latent锚定身份一致性、长期记忆队列（最大容量3）保持远距离动作依赖、短期记忆latent强制局部运动平滑、去噪流（3 chunks × 3 latents）支持并行梯度更新。这种分层设计比单一记忆机制更精细地控制了不同时间尺度的信息流。第二，自强制变体通过在训练时以概率选择生成-GT-latent替代GT-latent来模拟推理误差，比传统Self-Forcing更贴合FlowAct-R1的流式生成轨迹。第三，假因果注意力机制确保去噪流对参考和记忆有完全可见性，而参考和记忆不关注去噪流，这种非对称设计既减少计算开销又保证生成过程的稳定性。
方法步骤详情
FlowAct-R1的方法分为训练和推理两个阶段。训练阶段包含三步课程学习：第一步自回归适应，将通用MMDiT转换为流式兼容变体，采用帧内提示段训练学习局部依赖和跨提示段训练建模不同文本提示间的平滑过渡，同时通过加权损失保留原生I2V能力；第二步联合音频-运动微调，集成语音模块，使用复合数据集（通用视频样本+对话视频）进行密集标注的细粒度流式控制训练；第三步蒸馏，先消除CFG开销（注入辅助CFG嵌入层），再进行朴素步蒸馏将原始NFE分为三段，每段微步蒸馏为单步，最后应用DMD少步分数蒸馏，学生和假模型均从上一阶段检查点初始化。推理阶段采用固定大小流缓冲区，包含参考latent、长期记忆队列、短期记忆latent和去噪流，每0.5秒墙钟时间输出0.5秒视频（一个chunk），支持3-NFE推理周期。同时引入记忆精炼策略，定期对短期记忆帧进行噪声注入和去噪修复，使用参考和长期记忆副本作为稳定引导约束。最后集成MLLM进行动作规划，定期将最新音频段和参考图像输入MLLM预测后续合理动作。
技术新颖性
FlowAct-R1的技术新颖性体现在多个层面。架构层面，首次将MMDiT骨干适配为流式交互生成，设计了四组件结构化记忆库，比现有流式方法的记忆机制更精细和高效。训练层面，设计了假因果注意力机制，去噪流对参考和记忆有完全可见性但反向不可见，这种非对称设计既减少计算开销又保证完全去噪信息的稳定性；创新的自强制变体通过中间模型生成-GT-latent来模拟推理误差，比原始Self-Forcing更适合流式场景。加速层面，针对FlowAct-R1架构和训练-推理范式设计的多阶段蒸馏流水线是定制化的，DMD被修改为分块训练视频并显式模拟流式生成的渐进展开行为。系统层面，帧级混合并行策略替代token级序列并行，显著减少all-to-all通信开销；算子融合将频繁操作合并为单内核；DiT去噪和VAE解码的异步流水线实现并发执行。这些创新共同使得FlowAct-R1成为首个在单一框架内同时实现流式、实时、全身控制和行为生动性的方法。
实验结果
FlowAct-R1的实验结果验证了其在多个维度的卓越表现。在实时性能方面，模型在NVIDIA A100平台上实现了稳定的25fps@480p视频生成，TTFF仅约1.5秒，这意味着每0.5秒墙钟时间输出0.5秒视频，支持无限时长的连续流式生成。在行为质量方面，通过20名参与者参与的用户研究，采用GSB（good-same-bad）指标评估，FlowAct-R1在运动自然度、唇形同步准确性、帧结构稳定性和运动丰富度四个关键指标上均优于三个SOTA基线：KlingAvatar 2.0（支持5分钟但非流式、运动重复）、LiveAvatar（基于Wan2.2-S2V-14B实现实时流式但运动重复）、Omnihuman-1.5（网络结构相似但仅支持30秒、无实时流式）。用户研究结果显示，FlowAct-R1在所有对比中获得更高比例的用户偏好投票（图3中橙色部分）。在泛化能力方面，模型从单张参考图像即可实现跨多样化角色风格的高保真合成，保留了基础模型的强泛化能力。在控制粒度方面，支持通过音频和文本进行全身精细控制，包括唇形同步、面部表情、身体手势和物体交互，实现在说话、倾听、思考和空闲等多样行为状态间的自然过渡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 交互式人形视频生成 | 用户偏好(GSB指标-运动自然度) | FlowAct-R1（最高偏好比例） | KlingAvatar 2.0 | 用户显著更偏好FlowAct-R1的运动自然度 |
| 交互式人形视频生成 | 用户偏好(GSB指标-唇形同步准确性) | FlowAct-R1（最高偏好比例） | LiveAvatar | 用户显著更偏好FlowAct-R1的唇形同步质量 |
| 实时推理性能 | 帧率(fps) | 25fps@480p | Omnihuman-1.5（非实时） | 实现实时流式生成，而基线无法实时 |
| 首帧延迟 | TTFF(秒) | ~1.5秒 | LiveAvatar | 低延迟响应，适合交互场景 |
| 推理加速 | NFE(函数评估次数) | 3 NFEs | 原始扩散模型（20-50 NFEs） | 8倍加速 |
局限与改进
FlowAct-R1存在以下几个方面的局限性。首先，实验评估主要依赖用户研究（20名参与者）的主观评分，缺乏客观的自动化指标（如FID、FVD、LMD等）的全面对比，这使得结果的可复现性和跨研究比较存在困难。其次，模型在NVIDIA A100平台上达到25fps@480p的实时性能，但对于更高分辨率（如720p、1080p）或更低成本硬件（如消费级GPU）的适用性未被探讨，限制了其在更广泛场景中的部署。第三，虽然论文声称支持任意时长生成，但未提供超过特定时长的定量质量评估，长视频中记忆精炼策略的效果边界不明确。第四，伦理风险方面，论文承认存在被滥用来制造欺骗性或有害内容的潜在风险，虽然提出了访问控制政策，但缺乏具体的技术防护措施描述。第五，所有演示图像均使用AI工具生成，未涉及真实人类图像的使用，这可能限制了在真实场景中的泛化性验证。最后，论文未提供与更多传统方法（如基于NeRF或3D Gaussian Splatting的方法）的对比，使得技术定位的全面性存疑。
独立分析的弱点
FlowAct-R1的独立弱点分析如下。第一，评估方法单一：用户研究仅20名参与者，且GSB指标相对粗糙，建议补充客观指标（FID、FVD、LMD、FVD等）和更大规模（>100人）的用户研究，并增加消融实验验证各组件的贡献。第二，分辨率和硬件限制：仅在480p@A100上验证实时性，建议探索更高分辨率的可行性，以及在消费级GPU（如RTX 4090）上的优化方案。第三，记忆精炼策略的理论分析不足：虽然经验性地发现短期记忆对误差累积影响最大，但缺乏对记忆容量、精炼频率和长期一致性的理论分析，建议补充信息论或控制论视角的分析。第四，MLLM动作规划的可解释性：MLLM预测的动作先验如何引导MMDiT生成的过程缺乏可视化和可解释性分析，建议增加动作规划的可视化案例。第五，泛化性验证不足：虽然声称支持多样化角色风格，但未量化不同风格间的质量差异，建议补充跨风格的定量评估。
未来方向
基于FlowAct-R1的成果，未来研究方向可从以下几个维度延伸。第一，分辨率和质量提升：探索在保持实时性能的前提下支持720p甚至1080p生成，可能通过更高效的注意力机制（如线性注意力）或分层生成策略实现。第二，交互模态扩展：当前主要支持音频和文本条件，可扩展到手势、眼神接触、触觉反馈等更多交互模态，实现更自然的多模态人机交互。第三，多人场景支持：当前框架针对单人设计，未来可扩展到多人对话场景，支持多个人形agent的协同生成和交互。第四，个性化和风格迁移：利用少量用户数据进行个性化微调，使生成的人形agent更好地匹配特定用户的审美偏好或品牌风格。第五，端到端优化：将MLLM动作规划与视频生成模型进行更紧密的端到端联合训练，可能进一步提升行为自然性和上下文一致性。第六，边缘部署：针对移动设备或嵌入式系统进行模型压缩和优化，使实时交互式人形生成技术能够广泛应用于消费电子产品。
复现评估
FlowAct-R1的复现评估如下。开源情况方面，论文提供了项目主页（https://grisoon.github.io/FlowAct-R1/），但未明确说明代码和模型权重是否开源，这给复现带来不确定性。数据方面，论文使用通用视频样本和对话视频的复合数据集，但未提供数据集的具体来源、规模和获取方式，数据预处理的细节（密集标注方法）也较为模糊。算力方面，模型在NVIDIA A100上训练和推理，多阶段蒸馏流水线（CFG消除、步蒸馏、DMD）需要大量计算资源，复现成本较高。技术细节方面，论文提供了架构图和训练流程描述，但某些关键超参数（如学习率、batch size、蒸馏温度）和实现细节（如记忆精炼的具体间隔、MLLM的选择和配置）未完全公开。总体而言，中等偏高的复现难度，主要障碍在于数据获取、算力需求和部分实现细节的缺失。
论文图表
图1展示了FlowAct-R1的整体框架示意图，呈现了一个能够进行实时、响应式和高保真人形视频生成的系统。图中展示了虚拟人物与用户进行自然交互的场景，体现了模型在唇形同步、面部表情和身体动作方面的精细控制能力。
Figure 1是论文的开篇图，直观展示了FlowAct-R1的核心能力——实时交互式人形视频生成，帮助读者快速理解论文的研究目标和应用场景。