OmniShow:统一多模态条件的人-物交互视频生成框架 OmniShow: Unifying Multimodal Conditions for Human-Object Interaction Video Generation

方法可拆解为五大模块化步骤。第一,**输入预处理**: 文本由Waver 1.0自带text encoder编码为embedding $e\in\mathbb{R}^{N\times D}$;姿态序列被渲染为RGB视频后由Wan 2.1 VAE编码为 $p\in\mathbb{R}^{N\times D}$;参考图像同样由VAE编码为 $r\in\mathbb{R}^{N'\times D}$;音频由Wav2Vec 2.0多层级特征合并,再线性插值到视频fps,然后用窗口大小 $w=5$ 沿时间聚合邻居,步长 $s=4$ 与VAE时间压缩对齐,flatten后得到dense 2D音频特征 $a\in\mathbb{R}^{N_a\times H}$。第二,**Unified Channel-wise Conditioning**: 在带噪视频tokens $x_t\in\mathbb{R}^{N\times D}$ 之外新增pseudo-frame tokens $x'\in\mathbb{R}^{N'\times D}$(共 $N+N'$ 个token),按统一方式拼接: $x_\text{in}=\text{Concat}([x'\\|x_t],[r\|p],[m'\|m])$,其中 $m,m'$ 为二值mask;为让pseudo-frame有信息指导, $x'$ 初始化为同一timestep $t$ 加噪的参考图token,施加Flow Matching重建损失 $\mathcal{L}_\text{FM-ref}$,损失权重为1。第三,**Gated Local-Context Attention**: 音频特征 $a$ 经shared audio projector后与视频tokens做masked cross-attention,公式为 $\text{Attn}(Q,K,V,M)=\text{softmax}(QK^\top/\sqrt{d_k}+\log M)V$,其中 $M$ 是限制Q只能attend对应w个音频token的二值矩阵;输出再经element-wise乘以门控向量 $g\in\mathbb{R}^H$(初始化 $1e^{-5}$): $h_o=h_i + F_\text{Attn}(h_i,a)\odot g$;audio tokens做zero-pad与pseudo-frame tokens对齐,避免参考图帧受音频影响。基于 $g$ 范数经验,仅在dual-stream块插入此模块。第四,**Decoupled-Then-Joint Training**: 阶段I(R2V/A2V解耦训练)——R2V训练剔除音频模块以保持与基模型架构一致,使用大规模R2V数据; A2V训练遵循常用范式把首帧作为额外条件;阶段II(模型融合)——按 $0.6 \cdot \theta_\text{A2V}+0.4 \cdot \theta_\text{R2V}$ 线性插值,继承A2V的音频模块;阶段III(联合训练)——先在完整RA2V数据集训练,再在高质RA2V子集做aesthetic tuning,最后只在最末阶段引入姿态,防止过强姿态监督过拟合。第五,**推理**: 输入文本+参考图+音频+姿态(姿态可选),按上述方式拼注入,Flow Matching从 $t=1$ 采样到 $t=0$ 得到去噪latent,再由VAE Decoder解码为视频帧,可生成最长10秒(评测中统一为5秒720p竖屏)。

技术新颖性体现在四个层面。第一,Unified Channel-wise Conditioning在保持原生DiT输入结构方面有本质创新——通过pseudo-frame tokens把"参考图保持"降维为与I2V同构的注入问题,这是其他方法(如HuMo用额外adapter、Phantom用subject-specific token)未尝试的极简路线,Table 2a显示本方法FaceSim=0.707比token-concat基线0.601高17.6%。第二,Gated Local-Context Attention用masked attention实现帧级时间对齐在HOIVG中属首次,Table 2b显示去除attention map constraints后Sync-C从9.023暴跌到2.201(-75.6%),证明细粒度对齐的极端重要性;而gating范数图(Figure 5)提供了一种"用可解释指标指导架构设计"的新思路——传统cross-attention注入位置选择依赖经验,本文则用g的范数均值定量指导。第三,Decoupled-Then-Joint Training最反直觉的贡献是"模型融合涌现新能力"——RA2V能力在融合模型上"零样本涌现"(Figure 4),无需直接训练,这是对"多模态能力能否由子能力融合而来"这一基础问题的肯定回答,Table 2c显示本方法AES=0.474优于Single-Stage RA2V训练的0.453、Multi-Stage R2V→RA2V的0.473。第四,HOIVG-Bench构建流程本身具有方法论创新——用Nano Banana生成"脱敏但风格保留"的人像与商品图(合规)、DWPose提取姿态、GPT-4o生成语音脚本、ElevenLabs合成匹配音色音频,五维度评估框架(文本对齐/参考一致性/姿态精度/音视同步/视频质量)在该领域属首创。

独立分析发现以下几点可在未来工作中改进。第一,**GLCA的注意力窗口固定**:w=5、stride=4的Audio Context Packing是手工设定的超参,不同fps/不同语速下最优w可能不同;当音频节奏突变(如静音/重音切换)时固定窗口可能引入对齐误差,改进方向是引入动态窗口或学习式对齐偏移。第二,**Pseudo-frame tokens的重建损失为Flow Matching而非像素级L2**:虽与扩散动力学一致,但在参考图细节(尤其是文字、纹理、logo等)保持上不如像素级监督直接,改进方向是混合FM + L1/L2损失加权,或对参考图关键区域附加perceptual loss。第三,**模型融合权重0.6/0.4是经验选择**:基于"音频同步对权重更敏感"的观察,但这一原则未做系统消融(例如0.5/0.5、0.7/0.3、0.8/0.2的对比),改进方向是在多个下游指标(NexusScore、Sync-C、AES)上做Pareto搜索确定最优比例。第四,**姿态仅在末阶段引入**虽防止过拟合,但也意味着姿态能力的训练数据量与质量受限,改进方向是构建专门的高质姿态标注数据(类似HunyuanVideo-HOMA的稀疏姿态+轨迹点)做"姿态预训练→联合微调"的两阶段细化。第五,**基准人类评测样本量偏小**:30-33人评估20样本虽具统计意义但置信区间宽,且评测者可能偏好视觉质量而非客观多模态对齐,改进方向是扩大评测者数量与样本量,并按专业度分组统计。第六,**模型规模12.3B仍偏大**:对工业部署来说,2.5% GLCA增量加12B基座让端侧实时推理困难,改进方向是探索Q-Former式压缩、token pruning、蒸馏到1-3B小模型,在保留四模态协同能力的同时降低算力门槛。

作者已提出三个明确方向:(1) **强化学习后训练**——结合人类偏好奖励与物理一致性奖励对模型做RLHF/RLAIF,缓解极端场景伪影并提升物理合理性;(2) **扩展数据与模型规模**——扩充训练数据量与参数量,推动模型在复杂场景的泛化能力上限;(3) **丰富输入模态与能力**——支持相机轨迹、参考视频等新输入,并探索"agent式分钟级视频合成"与"流式交互式生成"。基于成果还可延伸: (a) 把UCC推广到视频编辑、视频补全、视频超分等其他可控视频生成任务,验证"pseudo-frame + reconstruction loss"的通用性;(b) 把Decoupled-Then-Joint Training从R2V/A2V扩展到R3V/RGB2V/Depth2V等更多子任务,系统研究"模型融合涌现新能力"的边界条件与理论解释;(c) 把HOIVG-Bench推广为HOI-VG领域的标准化评测基准,加入更长视频(10s/30s)、多人交互、复杂物体等更细粒度维度,推动社区形成统一评测标准;(d) 探索HOIVG与具身智能(Embodied AI)的结合,把人-物交互视频生成作为机器人策略学习的想象模块,验证生成内容对决策的真实价值。

复现评估整体处于"中等难度"。**开源情况**: 项目页https://correr-zhou.github.io/OmniShow提供了demo与论文,但未在论文中明确承诺代码/模型权重开源,根据其构建在Waver 1.0(也未完全开源)之上的事实推断,完整OmniShow模型权重与训练代码的开源概率偏低;HOIVG-Bench数据生成管线(Nano Banana + DWPose + GPT-4o + ElevenLabs)虽描述清楚但涉及商业API成本。**训练数据**: 论文提到使用了大规模人类中心视频池(in-house)与多个sub-task数据集(R2V/A2V/RA2V/RAP2V),未公开具体数据规模与下载链接,复现需自建数据管线。**算力需求**: 论文报告训练在128块80GB GPU的集群上进行,使用FSDP+Ulysses sequence parallelism与BF16混合精度,这一规模远超普通实验室能力(单次完整训练需百万级GPU小时);消融实验在8-32 GPU上做,但完整RA2V联合训练仍需集群规模。**实现细节**: 论文公开了关键超参——AdamW学习率 $3\times 10^{-5}$、weight decay 0.01、两阶段分辨率(480p/720p)、FSDP+Ulysses并行策略、模型融合权重(0.6 A2V/0.4 R2V)、窗口 $w=5$/步长 $s=4$、gating初始化 $1e^{-5}$,以及各模块插入位置(dual-stream only);这些信息对部分复现已足够,但完整的训练recipe(数据采样率、curriculum、batch size、warmup schedule)未详尽披露。**复现难度**: 对有DiT+Flow Matching训练经验且具备128 GPU资源的团队为"中等",对普通研究者为"高";若仅做推理复现(假设权重开源)则难度大幅下降,可在单卡A100/H100上做5秒720p生成。