CoInteract：基于空间结构协同生成的物理一致人-物交互视频合成 CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation

流程含数据预处理、双流训练与MoE路由。**数据**：Qwen-Edit解耦人物/产品参考，Validate过滤不匹配三元组；SAM3分割物体mask，SAM3D-body恢复mesh与mask融合为去纹理HOI流；同步获取人脸/手部bbox。**双流token化**：RGB与HOI经patch embedding送入共享DiT；3D RoPE分配(h,w,t)使两流沿宽度拼接（w∈[0,W]与w∈[-W,0]），运动帧分配负时间、参考图分配远场t=30,31作锚点。**两阶段训练**：Stage 1双向自注意力5K次迭代让两流耦合；Stage 2不对称mask使RGB查仅关注自身、HOI查关注两流——推理时RGB独立，但HOI损失通过梯度回传修改共享DiT。**MoE**：FFN替换为Shared/Head/Hand/Base四专家（Shared复用原FFN）；路由由softmax在stop-gradient后计算，bbox标签施加CE损失；总目标为RGB+HOI流匹配损失加路由CE（λ_h=η=1）。推理丢弃HOI分支，CFG=5、40步、480p，零开销。

技术新颖性体现在三层。第一，HOI结构流的构造方式新颖——它不是简单的深度图或光流，而是人体mesh投影+物体mask的融合silhouette，专为编码接触几何设计，迫使模型从结构而非纹理中学习交互。第二，不对称共注意力是'训练-推理解耦'的优雅方案：承认多流训练的必要性，但通过mask使RGB流在推理时独立，规避了以往双流方法必须保留辅助流的代价。第三，Human-Aware MoE考虑了与扩散训练的兼容性——通过stop-gradient、Shared专家和轻量FFN三个组件，将路由对DiT表示学习的干扰降到最低（仅1.04×推理开销）。三点组合使CoInteract在VLM-QA上达到0.72（第二名InteractAvatar仅0.62），而推理成本几乎不变。

**弱点1：核心组件存在张力**。移除HOI流后HQ反而上升（0.724→0.706），说明HOI流对手部像素保真有微小负面影响，可能因HOI结构流'争夺'DiT表征容量。改进方向：Stage 2后冻结HOI流的输入投影层、只让反向梯度生效，避免参数竞争。 **弱点2：MoE专家边界过于刚性**。当前为硬分配（CE+one-hot），bbox重叠或错位时专家选择不稳定，且检测误差会传导为训练噪声。可引入软路由（Gumbel-Softmax）或自适应bbox padding提升鲁棒性。 **弱点3：HOI结构流构造依赖外部几何**。SAM3D-body在遮挡、罕见姿态下估计的mesh本身有误差，会作为带噪先验注入训练。可探索端到端隐式几何学习，让HOI流以可学习隐变量存在，既保留结构监督又避免几何误差传播。 **弱点4：评估缺乏细粒度分类**。50 clip评测集太小，未按产品类型或接触类型（抓握/指向/展示）分类报告结果，研究者无法定位模型在哪种HOI场景存在系统性失败。

作者在结论中暗示未来方向：可扩展到更复杂交互场景（多人-多物、长时序任务规划），以及探索HOI结构先验在机器人操作数据生成中的应用。 基于本文成果可延伸：（1）**几何先验统一**——HOI流目前只用mesh+mask，可加入接触图（contact graph）、抓取类型（power grasp vs precision grasp）等高层语义先验，使物理约束更精细；（2）**MoE专家扩展**——引入'Object Expert'专门处理产品相关token，提升DINOobj（目前0.624并非最优）；（3）**高分辨率与长视频**——扩展到1080p甚至2K，探索HOI流的窗口级共享以支持分钟级视频；（4）**联合音频-结构建模**——HOI流目前用固定文本提示，可融入音频驱动的结构变化（语气强调时手势幅度），将Speech2Gesture融入HOI合成；（5）**闭环评估与物理仿真**——将生成视频接入Isaac Sim等仿真器判断手-物接触真实性，作为可微训练信号。

**开源情况**：论文提供项目主页（https://xinxiaozhe12345.github.io/CoInteract_Project/2026），但未明确声明代码与模型发布计划。 **数据可获得性**：训练数据为作者自建40小时产品展示/直播视频，未公开数据集名称或下载链接；因涉及人像与产品，隐私版权可能限制数据开源。评测集50个clip同样未公开，复现VLM-QA等指标存在障碍。 **算力需求**：基于WanS2V（14B参数视频DiT）初始化，5K+2K=7K次迭代双流训练，至少需数十张A100/H100 GPU运行数天；推理时单次生成需约16-24GB显存。 **复现难度**：高。依赖WanS2V、SAM3、SAM3D-body、Qwen-Edit、DWPose、ArcFace、DINOv2、MUSIQ、VBench等多个外部模型的精确版本；3D RoPE坐标分配、双流token化、不对称mask代码细节需严格对齐；MoE的stop-gradient、Shared专家复用原FFN等细节缺失会显著影响指标。建议复现前先联系作者获取代码与权重。