LPM 1.0：基于视频的角色表演模型 LPM 1.0: Video-based Character Performance Model
17B视频生成模型实时驱动全双工对话虚拟角色
前置知识
Diffusion Transformer (DiT)
一种把 Transformer 用作扩散模型骨干网络的架构。它在 patchified 的视频/图像潜空间上做自注意力，融合 AdaLN（自适应层归一化）做时间步条件注入，相比 UNet 在长序列、跨模态场景下扩展性更好。LPM 直接以 Wan2.1-I2V（16B DiT）为基座。
本文 17B Base LPM 和蒸馏后的 Online LPM 都建立在 DiT 之上，理解 block 结构对读懂后面的交叉注意力注入至关重要。
Flow Matching (流匹配)
一种用连续归一化流思路训练的生成式目标，相比 DDPM 把噪声到数据的转移建模为常微分方程（ODE）轨迹，训练更稳定、采样步数更少。Base LPM 的多阶段训练和 DMD 蒸馏都基于该目标实现。
后文的 ODE-based 初始化阶段和 DMD 梯度推导都依赖 flow matching 的轨迹假设，看懂公式 $L_{reg}=\|G_{backbone}(\hat{x}_t^i,t)-x_0^i\|_2^2$ 需要先有流匹配概念。
Classifier-Free Guidance (CFG)
把条件生成与无条件生成的预测做线性插值以增强条件遵循度的技术。在本文中既用于文本也用于音频条件。文中指出 CFG 让教师轨迹更锐、容错更窄，是导致在线自回归滚出漂移的元凶之一。
理解为什么需要 backbone 在 noisy-history 而 refiner 在 clean-history 下工作，是抓住 Online LPM 设计的钥匙。
DPO (Direct Preference Optimization)
一种把 RLHF 的奖励建模隐式集成到 SFT 损失中的偏好对齐方法，只需成对偏好数据即可离线训练。本文用它来修复说话时的手部伪影和倾听时的静态帧问题。
LPM 在后训练阶段显式调用 DPO 解决生成质量的'感知维度'问题，是论文方法新颖性之一。
SMPL / GVHMR 多视角估计
SMPL 是参数化的人体 3D Mesh 模型，GVHMR 是其世界坐标系下的运动恢复方法，可估计人脸朝向。本文明利用相对相机-人体朝向夹角 $\theta$ 把帧分成前/侧/后/反 4 类用于多视角参考图采样。
多视角参考图管线是 LPM 解决身份漂移的核心数据基础，不理解这个就抓不住 multi-view body reference 的设计。
研究动机
在交互式虚拟人、直播 NPC、对话代理这些场景下，传统 3D 流程需要建模、绑定、动画、渲染多人协作线性扩展，成本高且难以泛化到任意新角色；近年基于视频的扩散生成模型在视觉保真度上取得突破，但仍存在作者命名的'表演三难困境'：表达力（Expressive quality）、实时推理（Real-time inference）、长时身份稳定（Long-horizon stability）三者难以同时满足。例如在对话这种最综合的表演场景里，角色要同时说话、倾听、反应并保持身份，但现有方法大多只支持 speech-driven 单向驱动，缺少对'倾听者'一侧的建模；多模态可控性差，文本、说话音、倾听音不能联合注入；单张参考图让模型必须'幻想'牙齿、侧脸、衣服背面等不可见细节，5–10 分钟级别就会产生身份漂移；且这些方法基本都基于小规模或单一域数据集，缺乏人本视频基础模型的预训练红利。
本文的目标是构建一个端到端的视频生成式表演系统 LPM 1.0，在 720P 高保真与 480P 实时两种设定下，都能让单一虚拟角色在全双工对话中同时进行说话、倾听、反应并保持身份稳定长达 10 分钟级乃至更长。具体包括：构建万小时级的高质量人本视频数据集、训练 17B 参数的多模态条件 DiT（Base LPM），以及通过自回归蒸馏得到可实时流式部署的 Online LPM。同时发布首个面向交互式角色表演的 LPM-Bench。
与已有工作不同的是，已有工作的失败不是单一架构问题，而是数据-条件-推理三层的系统性失衡。本文把对话（同时说话与倾听）作为最具综合性的表演场景显式建模，强调'system-level co-design'：在数据层用三状态（speak/listen/idle）帧级标注产出成对说话-倾听音频；在条件层提出 interleaved speak/listen 交叉注意力 + 多粒度身份参考图（全局+多视角+表情）；在推理层把离线双向 DiT 蒸馏成 backbone-refiner 结构的因果流式生成器。这一'先解决表演三难再谈架构'的视角与 Kling-Avatar、OmniHuman、LiveAvatar 等以单向驱动 + 单图参考为主的方案形成根本区别。
核心方法
LPM 1.0 走的是'数据 + 条件 + 蒸馏'全栈协同路线，可以类比为'写剧本（数据）→ 给演员下指令（多模态条件）→ 让演员能实时登台（在线蒸馏）'。技术上分三块：（1）数据管线把原始视频经过单镜头切分、五大类质量过滤、对话检测、ASR 句子级切片、audio-video 理解标注和身份感知参考图构建，压缩到 11.52% 的高质量可训练集（Speaker 23M clips、Conversation & Listen 5M、Idle 3M）；（2）Base LPM 在 Wan2.1-I2V 16B DiT 上加 3B 音频 cross-attention，奇偶层分别注入 speak/listen 音频，在超过 1.7T 多模态 token 上训练并通过 DPO 修复手部伪影与倾听静态帧；（3）Online LPM 把 17B Base 蒸馏为 2 步 backbone + 1 步 refiner 的因果生成器，配合预 RoPE 的 KV cache 与 sink token 维持 24 fps 流式输出。
最核心的创新是把'表演三难'拆成两个独立但互补的子问题：'轨迹稳定'与'细节重建'。Base LPM 是 17B 双向 DiT，依靠 interleaved 音频注入（偶数层接说话音、奇数层接倾听音）让两个亚网络自然分化——speak 数据有高频唇动和节律性肢体，listen 数据是低频的姿态和表情变化——同时把 1–8 张表情参考与 1–4 张多视角参考作为 image token 通过自注意力 + 分段 RoPE 与视频潜空间拼接，做'零参数'的多参考条件。Online LPM 则更进一步，引入 DMD 框架下的 sequential relaxation：backbone 在 noisy-history KV cache 下用 2 步生成稳定潜空间轨迹，refiner 在 clean-history KV cache 下用 1 步恢复高保真细节，二者职责分离才能在 1-NFE、单 GPU 0.35 秒/块的约束下兼顾长时身份稳定。
方法步骤详情
整个 pipeline 分四步。数据层：原始视频经场景切分得 56.82% 单镜头；经多级过滤剩 26.11%；对话检测得 11.52% 可训练片段；用 LR-ASD 微调三状态帧级标注（Domain1 89.75% 准确）与 Qwen3-Omni 微调语义校验（F1 78.37）配合 GVHMR 切 4 类视角。Base LPM：在 16B DiT 上加 3B 音频 cross-attention，奇偶层分别注入说话与倾听音频；把全局、1–8 表情、1–4 视角参考以分段 RoPE 拼入 self-attention；经四阶段训练支持分钟级生成。Online LPM 蒸馏：先 ODE 初始化 backbone；再 off-policy DMD；再 on-policy DMD；最后训 1 步 refiner。推理：Base LPM 用 125 帧分块支持约 10 分钟离线；Online LPM 用 5 块上下文做 chunk-wise causal attention，三阶段 Generator→Refiner→VAE 流水并行，1-NFE 单 GPU 0.35s/块达 24 fps。
技术新颖性
与 Kling-Avatar-2、OmniHuman-1.5、LiveAvatar、SoulX 相比，LPM 1.0 的新颖性集中在四处。第一，把'倾听'从数据侧提到与'说话'同等地位，构造带 3 状态帧级标签的对话数据集，且 listen clip 的 caption 严格限制为 time-invariant 属性，让模型直接从音频映射到反应。第二，interleaved speak/listen 交叉注意力让一个 17B 模型同时承担两种节奏截然不同的子任务，省 50% 音频 cross-attention 参数并让相邻层自然特化。第三，多粒度身份参考（1–8 表情 + 1–4 视角）通过 image token 拼入 self-attention + 分段 RoPE 区分，零参数实现多参考条件。第四，把 online few-step 蒸馏视作'极端稀疏目标下的自回归轨迹击中问题'，提出 backbone (noisy-history) + refiner (clean-history) 的 sequential relaxation 与 4 阶段 DMD 课程。
实验结果
在新建 LPM-Bench（1000 用例：Speaking 400、Listening 200、Conversation 200、Diverse Motion 100、Character Generalization 100）做 GSB 偏好 + Likert 绝对打分。Base LPM 720P vs Kling-Avatar-2：Overall 64.3% 偏好（11.3% same），身份一致 58.5%、文本可控 55.7% 优势最大；vs OmniHuman-1.5：Overall 42.5% 偏好。Online LPM 480P vs LiveAvatar：Overall 82.5% 偏好（5.5% same），运动 98.1%、音视同步 84.1% 极强；vs SoulX：Overall 64.1% 偏好，文本可控 68.2%。绝对评分：Listen 4.51（音视同步 5.00 满分）；Speak 3.91（文本可控 3.70 双峰）；Conversation 3.70，78% 失败在多段动作。Online LPM 1-NFE 单 GPU 0.35s/块 24 fps
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 对话角色表演（720P，Overall） | 人类成对偏好（GSB） | Base LPM 64.3% 偏好 | Kling-Avatar-2：24.4% 偏好（11.3% same） | +39.9pp 偏好（同分辨率同输入） |
| 对话角色表演（720P，Overall） | 人类成对偏好（GSB） | Base LPM 42.5% 偏好 | OmniHuman-1.5：27.5% 偏好（30.1% same） | +15.0pp 偏好 |
| 对话角色表演（480P，Overall） | 人类成对偏好（GSB） | Online LPM 82.5% 偏好 | LiveAvatar：12.5% 偏好（5.5% same） | +70.0pp 偏好 |
| 对话角色表演（480P，Overall） | 人类成对偏好（GSB） | Online LPM 64.1% 偏好 | SoulX：15.2% 偏好（20.7% same） | +48.9pp 偏好 |
| 倾听子集（480P） | Likert 1-5 综合分 | Online LPM 与 Base LPM 在 Listen 上 Same 64-88% | Base LPM 480P 蒸馏前 | 除运动动态外基本无差距 |
| 倾听子集 | 音视同步 Likert | Base LPM 5.00（满分） | 内部子集均值 | 倾听场景强项 |
| 对话语义校验 | 六分类 F1 | Qwen3-Omni 微调 78.37 | Gemini 2.5 Pro 70.47 | +7.90 绝对 / +11.2% 相对 |
| 帧级 speak/listen 分类 | 帧级准确率 | Domain1 89.75%、Domain2 87.63% | 原 LR-ASD 未做 idle 区分 | 新增 listen/idle 区分能力 |
局限与改进
作者在 §7 与 §8 明确指出三类限制。其一，目前系统是单角色、面向相机的，缺乏多智能体协调、动态环境与强 3D/世界一致性，对群体轮流发言、地址跟踪、gaze allocation 等社会级信号没有建模。其二，模型在长会话下没有 discourse-level 记忆与人设持续机制，10 分钟以上的多人多轮对话会出现'全或无'式动作执行失败（Conversation Likert 综合 3.70，78% 文本可控失败集中在多段动作）。其三，作者承认 Conversation 场景下音视同步从 Listen 的 5.00 跌到 3.34、手部伪影随时间累积，长时密集说话-倾听切换仍是未解决问题；且 listen clip 严重偏中性（情绪/表情超 70% 集中在中性，愤怒/恐惧/痛苦各低于 3%），极端情绪反应覆盖有限。系统层面 17B+17B 双模型显存要求高，权重与代码未开源，第三方难以直接复现。
独立分析的弱点
独立审视后我认为 LPM 1.0 还有五点可改进。第一，interleaved 奇偶层把说话音与倾听音彻底解耦，忽略了'边说边听'（打断/barge-in）这一真实对话常见状态，作者自承 Listen 4.50 强而 Conversation 3.70 弱正因切换频繁被破坏；改进方向是允许同一层用路由器在两路音频间软切换。第二，DPO 偏好数据只覆盖说话与倾听两类核心任务，缺少 Conversation 切换、singing、bilingual articulation 的细粒度偏好评测；建议扩到 6 类偏好对 + per-turn reward。第三，Online LPM 在 Listen 运动动态从 40% 跌到 12%，证明其时间正则化压垮了微反应；可在 backbone 引入 per-chunk 能量门控。第四，1 张全局 + 1–4 视角 + 1–8 表情最多 13 张图，多参考 token 拼接对长视频显存压力大；可用 1–2 个压缩 identity latent token 代替。第五，sink token 固定 3 块，对 1 小时级 singing 仍可能不够。
未来方向
作者在 §7 给出三个延展方向：时间轴上需要 discourse 记忆与人设一致性；社会轴上要做多方交互、地址跟踪、gaze allocation 与群体轮流发言；物理轴上要把角色行为锚定在场景几何、物体和接触上。基于此，读者可延展出几条具体方向：（1）把 LPM 与端到端 audio2audio 模块（GPT-4o、Doubao 等）深度耦合，让 barge-in、轮换与视觉同步在同一框架内学习；（2）将 SMPL/GVHMR 估计的姿态从数据预处理阶段搬到训练时条件，引入 3D 几何先验以解决'大幅转身时身份漂移'；（3）借鉴 LLM 路线，把 DPO 升级为过程奖励（per-chunk PRM）以处理分钟级偏好归因；（4）把 Online LPM 的 chunk-wise causal attention 与 StreamingLLM 的 attention sink 进一步结合，做 1 小时级直播验证。
复现评估
复现难度整体偏高。模型权重与代码未开源，仅公开项目页 large-performance-model.github.io；论文未给出训练 GPU 数与总卡时，根据 17B DiT、1.7T tokens 多模态预训练、2NFE+1NFE 因果蒸馏，粗略推算需 256–1024 块 H100/A100 训练数周。数据管线强依赖人工标注：20K clip 帧级标注、15K 语义校验、470K 听者 clip 情绪重平衡、EmotiEffLib 8 类表情人工复核，需专门数据团队。评估侧 LPM-Bench 1000 用例、22 表情 + 78 情绪 + 5000+ 运动描述符、22 维度 GSB + Likert 标注对独立研究者几乎不可复刻。可借鉴工程经验：TorchTitan + HSDP/Ulysses 并行、SAC + 异步 CPU offload、varlen FlashAttention-2/3、FlexAttention + torch.compile 编 causal 块稀疏 mask、pre-RoPE KV cache + sink token 缓存。
论文图表
顶部三张首帧 + 表情/视角参考图示意身份规范；中部用 1s 到 60000s 五个时间标尺展示同一角色在秒级到万秒级不同时长下均能保持身份与音视同步；下方强调 Online LPM 的流式实时生成能力。
把'表演三难'（表达力、实时推理、长时身份稳定）浓缩到一张图，是论文 Teaser 也是理解动机和总览最快的方式。
Domain1 准确率 89.75%、Domain2 87.63%；Domain2 出现明显 speak→listen 漏召回（listen recall 81.05%），证实高声学变化场景下听者易被误标为说话者，正是后续语义校验要抑制的系统性错误。
为数据管线中听者数据稀缺问题提供量化证据。