← 返回 2026-02-03

让虚拟形象交互：面向可控说话虚拟形象的文本驱动人-物交互生成 Making Avatars Interact: Towards Text-Driven Human-Object Interaction for Controllable Talking Avatars

Youliang Zhang, Zhengguang Zhou, Zhentao Yu, Ziyao Huang, Teng Hu, Sen Liang, Guozhen Zhang, Ziqiao Peng, Shunkai Li, Yi Chen, Zixiang Zhou, Yuan Zhou, Qinglin Lu, Xiu Li 📅 2026-02-02 👍 15 2026-07-13 08:35

DiT 人-物交互扩散模型虚拟形象视频生成

arXiv HuggingFace PDF

双流DiT框架解耦感知规划与视频合成，实现文本驱动的人-物交互

前置知识

Diffusion Transformer (DiT)

DiT是将Transformer架构与扩散模型结合的生成模型，用Transformer块替代传统扩散模型中的U-Net作为去噪网络。DiT利用自注意力机制处理长程依赖，特别适合视频生成任务。在本文中，PIM和AIM两个模块都基于wan2.2-5B这一预训练DiT模型初始化，共享相似的网络架构，这为后续的层间特征注入提供了结构基础。

理解DiT是理解本文双流架构的前提，论文的核心创新正是建立在PIM和AIM的同构DiT架构之上

Flow Matching

Flow Matching是一种生成模型训练范式，通过学习从噪声分布到数据分布的向量场来生成样本。与传统扩散模型预测噪声不同，Flow Matching直接预测速度场 $v_t$，训练目标为损失函数 $L_{FM}$，其中 $z_0$ 是干净潜变量，$z_t$ 是时间步 $t$ 的加噪版本，$c$ 是所有条件信息。本文统一采用Flow Matching训练PIM和AIM。

Flow Matching是本文统一的训练范式，理解其数学形式才能理解PIM的感知训练和AIM的视频生成

Grounded Human-Object Interaction (GHOI)

GHOI是本文提出的任务定义，要求虚拟形象在特定环境中执行文本描述的人-物交互。与传统HOI视频生成不同，GHOI有四个关键特性：(1)环境感知，在参考图像提供的场景中执行合理动作；(2)与初始帧一致，不生成新场景；(3)文本驱动，不需要显式姿态或物体轨迹；(4)无需额外物体条件，基于文本操作场景中的物体。

这是论文定义的核心任务，理解其四个特性才能理解方法设计的动机

Rotary Position Embeddings (RoPE)

RoPE是一种位置编码方法，通过旋转矩阵将位置信息注入注意力机制。本文对参考图像的RoPE进行了定制修改：对于参考图像的patch，原始3D位置索引被重新映射，将参考图像置于虚拟时间步-1，使其能条件化整个序列生成而不破坏视频帧的时间完整性。

定制RoPE是实现参考图像有效引导的关键技术细节

VAE潜空间编码

变分自编码器(VAE)用于将高维视觉输入（视频、运动、参考图像）压缩到低维潜空间。在潜空间中进行扩散/去噪操作可以大幅降低计算成本。本文使用预训练VAE编码所有视觉输入，运动表示约束短边为256像素以保留结构信息同时降低开销，视频短边为704像素。

理解潜空间操作才能理解论文中分辨率差异处理和M2V对齐器的设计

研究动机

当前数字人视频生成领域存在一个关键瓶颈：虽然已有方法能生成全身说话虚拟形象，但无法执行复杂的人-物交互。具体来说，音频驱动方法（如Hunyuan-Avatar、OmniHuman-1等）通过从声学特征到像素空间的直接映射工作，缺乏对物体和环境的显式建模，因此难以控制复杂的人-物交互。姿态驱动方法（如UniAnimate-DiT）虽然提供显式控制，但需要预定义的骨骼序列作为输入，这些序列不仅难以获取，还常常与参考图像的特定上下文不匹配。主体一致性方法（如Phantom、HuMo）擅长保持主体身份，但缺乏接地交互机制，它们设计用于从文本合成新视频，而非在交互环境中执行上下文命令。以Wan-S2V为例，其手部质量(HQ)仅为0.336，物体质量(OQ)仅为0.063，动态度(DD)仅为0.095，说明现有方法主要关注面部动态，只能生成简单、低动态的动作，几乎避免了交互行为。

本文的目标是本文的具体目标是提出一个能够生成接地人-物交互(GHOI)视频的框架，使说话虚拟形象能够根据文本指令在参考图像提供的环境中与物体进行真实交互。具体目标包括：(1)实现环境感知，感知参考图像中的空间布局和语义内容；(2)解决控制-质量困境，在保持高视觉质量的同时实现精确的文本对齐控制；(3)统一多模态输入，接受文本、音频和运动的任意组合作为输入；(4)建立评估基准，为GHOI视频生成提供严格的评估体系。最终目标是让虚拟形象能够执行如拿起桌上的苹果并展示给我、双手抬起触摸眼镜然后摘下眼镜等复杂交互指令。

与已有工作不同的是，本文的独特切入角度是将感知规划与视频合成显式解耦。现有方法要么直接从音频映射到像素（缺乏规划），要么依赖用户提供的姿态序列（规划负担转移给用户），要么生成全新场景（不保持环境）。本文认为GHOI的核心挑战在于两个方面：(1)场景-动作接地——需要模型理解空间布局并接地文本命令；(2)控制-质量困境——在保持视觉质量和实现精确控制之间的权衡。为此，论文提出双流DiT框架，将任务分解为感知规划（PIM负责）和视频渲染（AIM负责）两个子问题，通过并行协同生成运动和视频，而不是传统的级联流水线。这种解耦设计使得每个模块专注于其擅长的任务：PIM作为规划大脑处理高层结构，AIM作为渲染引擎合成高保真视频。

核心方法

本文提出InteractAvatar，一个双流扩散Transformer(DiT)框架，用于生成说话虚拟形象的接地人-物交互视频。整体思路是将复杂的GHOI任务分解为两个子问题：感知规划和视频渲染，分别由感知与交互模块(PIM)和音频交互感知生成模块(AIM)处理。PIM作为规划大脑，专注于从参考图像解析环境上下文并生成场景感知、文本对齐的运动序列（包含人体骨骼关键点和物体边界框轨迹）。AIM作为渲染引擎，负责合成具有精确音频唇同步的高保真视频。关键设计是PIM和AIM的并行协同生成，而不是传统的顺序流水线。AIM在生成过程中通过运动到视频(M2V)对齐器持续获得PIM的结构运动信息，M2V采用逐层残差注入机制，确保生成的视频始终遵循PIM的演化结构运动。两个模块都在统一的Flow Matching范式下训练，预训练VAE编码所有视觉输入到潜空间，T5编码器嵌入文本命令。

本文的核心创新是显式解耦感知规划与视频合成，并通过同构架构实现并行协同生成。与已有方法的本质区别在于：(1)不同于音频驱动方法直接映射到像素，本文引入PIM显式建模物体和环境；(2)不同于姿态驱动方法将规划负担转移给用户，本文的PIM自动从文本生成运动计划；(3)不同于主体一致性方法生成新场景，本文保持参考图像的环境。技术上，PIM和AIM共享相似的DiT网络结构，这使得它们的特征表示具有内在对齐性，可以实现有效的信息融合。M2V对齐器利用这种同构性，通过层间残差注入将PIM的运动特征注入AIM：对于PIM的第l层，计算残差并上采样后通过零初始化线性层注入AIM的对应层。零初始化确保训练早期稳定性，让模型逐步学习运动的引导。

方法步骤详情

方法分为以下几个关键步骤：(1)特征提取：参考图像和运动通过VAE编码到潜空间，文本通过T5编码，音频通过Wav2Vec提取帧级特征，利用上下文窗口捕捉语音的协同发音和时间动态。(2)PIM运动生成：参考图像在时间上前置到运动序列第一帧，通过定制RoPE映射使其条件化整个序列。PIM接收文本嵌入与任务嵌入的拼接作为条件，生成包含人体骨骼关键点和物体边界框轨迹的运动序列。(3)M2V特征注入：将PIM每层的特征残差通过双线性插值上采样匹配视频特征空间维度，经零初始化线性层投影后注入AIM对应层。(4)AIM视频生成：AIM接收音频特征通过交叉注意力注入，并通过空间面部掩码集中音频影响到面部区域，合成具有精确唇同步的高保真视频。(5)三阶段训练：PIM预训练（检测+续写+混合生成任务，30000步）、AIM预训练（先音频后运动，5000步）、端到端联合微调（4000步，30%音频+15%运动+60%联合生成）。

技术新颖性

本文的技术新颖性体现在多个层面：(1)任务定义创新——首次形式化定义GHOI任务，明确四个关键特性（环境感知、初始帧一致、文本驱动、无需额外物体条件），区别于传统HOI和说话虚拟形象任务。(2)架构创新——双流DiT解耦设计，PIM和AIM同构但职责分明，通过M2V对齐器实现并行协同生成而非级联流水线，有效缓解控制-质量困境。(3)训练策略创新——环境感知训练课程，将检测任务（单帧运动生成）和续写任务（从给定首帧运动生成序列）融合在统一Flow Matching框架下，无需异构损失函数。感知即生成策略将视频长度概率性设为1，使模型执行类检测目标。(4)运动表示创新——使用RGB空间的骨骼姿态和物体框渲染作为运动表示，而非2D坐标，利用视频生成先验改善文本到运动的准确性和泛化性。(5)多模态训练顺序发现——揭示音频（弱、局部、异质模态）应先于运动（强、全局、同质模态）训练，防止音频信号被抑制。

**Figure 2**: Overview of our dual-stream InteractAvatar framework and multimodal conditioned training strategy.

**Figure 4**: Visualization of the PIM effect.

实验结果

本文在自建的GroundedInter基准和50个真实场景上进行了全面实验。在GroundedInter基准上，本文方法（TA2V音频驱动模式）在交互指标上显著领先：VLM-QA达到27.32（对比Wan-S2V的24.65），手部质量HQ达到0.931（对比0.336，提升约180%），物体质量OQ达到0.133（对比0.063，提升约111%），像素级交互PI达到0.803（对比0.619），动态度DD达到0.765（对比0.095）。在TAM2V（音频+运动驱动）模式下，VLM-QA达28.47，HQ达0.957，OQ达0.141，PI达0.832。在T2MV（纯文本驱动）模式下，VLM-QA达29.05，HQ达0.975，OQ达0.150，PI达0.852。消融实验证明：(1)环境感知训练中，检测数据对建立环境感知能力至关重要，定制RoPE优于直接前置；(2)PIM的联合训练显著优于级联方式，层间残差注入优于简单层加法；(3)运动表示方面，RGB表示优于2D坐标表示；(4)训练顺序方面，先音频后运动的策略在音频指标上显著优于同时训练或先运动后音频。用户研究（20名参与者，50个生成样本）显示，本文方法在交互质量上获得95%偏好（对比Fantasy），文本对齐获得93%偏好。真实场景评估（50个案例）同样验证了方法的有效性，VLM-QA达28.49，HQ达0.910。

**Table 1**: Quantitative comparison results on GroundedInter.

**Table 2**: Effect of Environmental Perception Training.

**Table 3**: Ablation of PIM and the Multimodal Training Strategy.

**Table 4**: Motion Representation Ablation.

**Figure 3**: Qualitative comparison with SOTA methods.

查看结构化数据

任务	指标	本文	基线	提升
音频驱动GHOI生成	VLM-QA	27.32	24.65 (Wan-S2V)	+10.8%
音频驱动GHOI生成	Hand Quality (HQ)	0.931	0.336 (Wan-S2V)	+177%
音频驱动GHOI生成	Object Quality (OQ)	0.133	0.063 (Wan-S2V)	+111%
音频驱动GHOI生成	Pixel-Level Interaction (PI)	0.803	0.619 (Wan-S2V)	+29.7%
音频驱动GHOI生成	Dynamic Degree (DD)	0.765	0.095 (Wan-S2V)	+705%
音频+运动驱动GHOI	VLM-QA	28.47	24.65 (UniAnimate-DiT)	+15.5%
音频+运动驱动GHOI	OQ	0.141	0.082 (UniAnimate-DiT)	+72%
纯文本驱动GHOI	VLM-QA	29.05	24.12 (HuMo)	+20.4%
纯文本驱动GHOI	PI	0.852	0.491 (HuMo)	+73.5%

局限与改进

本文存在以下局限性：(1)单人场景限制——当前框架只能处理单人场景，无法生成多人参与的人-物交互，这限制了其在社交场景、协作任务等实际应用中的适用性。(2)环境保持的权衡——虽然方法在保持参考图像环境方面优于HuMo等主体一致性方法，但在某些复杂场景下仍可能出现物体变形或背景不一致的问题，特别是在长时间序列生成时。(3)评估基准的局限——GroundedInter基准虽然包含600个测试案例和100种常见物体，但物体类型和交互模式仍有局限，可能无法覆盖所有真实世界场景。VLM-QA评估依赖VLM打分，存在评估偏差。(4)计算资源需求——基于wan2.2-5B的双流架构需要大量计算资源，PIM训练30000步、AIM训练5000步、联合微调4000步，对普通研究者来说复现成本较高。(5)运动表示的分辨率限制——运动短边约束为256像素，虽然降低了计算开销，但可能丢失细粒度的物体形状信息。(6)音频唇同步的局限——虽然方法在唇同步指标上表现良好（Syncconf达6.04），但在复杂交互动作期间，音频与动作的协调性仍有提升空间。

独立分析的弱点

基于对论文的深入分析，我识别出以下独立弱点：(1)多人场景缺失——当前架构假设单人场景，PIM仅生成单人骨骼序列，无法建模多人交互的社会动态。改进方向：扩展PIM支持多人骨骼序列生成，引入人物关系建模模块，可参考HunyuanVideo-Avatar的多角色对话生成思路。(2)物体变形问题——级联模式下物体容易出现异常变形（如图4所示），即使联合训练也无法完全避免。改进方向：引入物体形状先验约束，或在损失函数中增加物体轮廓一致性项。(3)运动表示粒度不足——当前骨骼关键点+边界框的运动表示无法捕捉手指精细动作和物体形变。改进方向：引入手部网格（如MANO模型）和物体6DoF姿态作为更精细的运动表示。(4)训练顺序的刚性——发现音频应先于运动训练，但这一顺序依赖于经验，缺乏理论解释。改进方向：探索自适应课程学习策略，根据模型学习状态动态调整训练顺序。(5)缺少长时序生成能力——论文实验中视频长度为3-10秒，对于复杂交互可能不够。改进方向：引入时序一致性约束和长时记忆机制。

未来方向

基于本文成果，未来研究可向以下方向延伸：(1)多人GHOI——扩展框架支持多人交互场景，如对话中的手势交流、协作搬运物体等，需要建模人物间的时空关系。(2)多物体复杂交互——当前方法处理1-3个物体，未来可探索更复杂的场景，如厨房烹饪、实验室操作等涉及多个物体序列交互的场景。(3)动态环境适应——当前方法假设静态环境，未来可扩展到动态环境，如行走中的人-物交互、车辆内部交互等。(4)触觉和力反馈——引入物理模拟，使交互不仅在视觉上合理，在物理上也真实，如物体的重量、材质对动作的影响。(5)实时交互系统——将框架优化为实时系统，应用于虚拟主播、在线教育、远程协作等场景。(6)个性化虚拟形象——结合主体一致性技术，实现用户自定义虚拟形象的GHOI能力。(7)跨语言和跨文化交互——扩展文本理解能力，支持不同语言描述的交互指令，适应不同文化背景的交互习惯。

复现评估

本文的复现评估如下：(1)开源情况——论文提供了项目主页(interactavatar.github.io)，但未明确说明代码是否开源。基于wan2.2-5B预训练模型的使用降低了复现门槛。(2)数据需求——需要骨骼序列和物体轨迹标注数据，GroundedInter基准由jimeng4.0生成图像并配以CosyVoice合成音频，提供了600个测试案例。但训练数据的具体规模和来源未详细说明。(3)算力需求——PIM训练30000步、AIM训练5000步、联合微调4000步，基于5B参数模型，需要多GPU训练环境，对普通实验室有一定门槛。(4)依赖组件——依赖多个预训练组件（VAE、T5、Wav2Vec、DW-Pose、DINO、SAM），增加了复现的复杂性。(5)评估复现——GroundedInter基准的评估依赖VLM打分（InternVL3.5），VLM-QA指标的可复现性取决于VLM版本。总体而言，论文提供了足够的技术细节支撑理解，但完整的复现需要中等以上规模的计算资源和多个预训练模型的支持。

论文图表

**Figure 1**: Input text, audio, and reference image, our method can generate human videos that can talk, act, and interact with objects.
展示了多个GHOI生成示例，每组包含参考图像、文本指令和生成结果。示例包括：双手抬起触摸眼镜然后摘下、弯腰将包放在地上、先握拳再比和平手势、拿起桌上的苹果、拿起杯子喝水、将篮球举过头顶、将苹果降到胸前展示等。图中区分了Grounded Human-Object Interaction和Human Talk两种生成模式。

这张图直观展示了论文的核心能力——文本驱动的接地人-物交互生成，让读者快速理解任务定义和方法效果

Figure 5: User Study Results.

展示了用户研究结果，对比本文方法与Wan-S2V、HY-Avatar、HuMo、Fantasy四个基线方法。评估维度包括：交互质量（本文获得95%、92%、84%、95%偏好）、文本对齐（87%、85%、81%、93%）、视频质量（61%、63%、58%、75%）、身份保持（52%、66%、81%、65%）、音频同步（54%、51%、72%、66%）。

用户研究提供了人类主观评估，补充了定量指标的不足，验证了方法在实际感知层面的优势