OneHOI:统一人-物交互生成与编辑的扩散Transformer框架

首个把HOI生成与编辑统一在单一DiT中的框架,首次实现多交互编辑。

前置知识

人-物交互(HOI)

Human-Object Interaction 指图像中人类与物体之间的交互关系,通常以三元组 ⟨person, action, object⟩ 表示,例如 ⟨人, 喂, 猫⟩。HOI 研究关注的不只是图像中出现了什么,更关注主体(人)与客体(物体)之间如何发生联系——姿势、接触点、空间关系都属于 HOI 的范畴。这一概念是动作识别、人体姿态估计、可控图像生成等任务的核心抽象。

本论文的所有方法都围绕 HOI 三元组展开,若不熟悉其结构化表示,就无法理解文中对'动词中介结构'、'角色混淆'等核心问题的讨论。

Diffusion Transformer (DiT)

DiT 是用 Transformer 取代 UNet 作为扩散模型主干的架构,在 2023 年由 Peebles & Xie 提出。其核心思想是把噪声潜变量切成 patch 序列,通过多层自注意力进行去噪,并采用 AdaLN-Zero 等条件注入方式。DiT 比 UNet 拥有更好的可扩展性和全局推理能力,是当前 SD3、Flux.1、Qwen-Image 等主流文生图模型的事实标准。

OneHOI 建立在 Flux.1 Kontext(一种 MM-DiT 变体)之上,所有针对交互结构的设计都需要嵌入 DiT 的注意力机制中才能生效。

LoRA微调

Low-Rank Adaptation 通过在原始线性层旁边注入低秩矩阵(A∈R^{d×r},B∈R^{r×d},r≪d),在不修改主权重的情况下实现参数高效微调。本文中冻结 12B 基础模型,只用 rank=64 的 LoRA 适配交互结构学习,总可训练参数量约 0.3B(2.5%)。

理解了 LoRA 才能看懂文中为何能在大模型上做联合训练而算力成本仍可控(论文仅用 2 张 RTX 6000 ADA)。

旋转位置编码(RoPE)

Rotary Position Embedding 通过对 query/key 应用基于位置索引的旋转矩阵来编码相对位置,在 LLM 和现代 DiT 中广泛使用。RoPE 的核心是不同位置索引产生不同角度的旋转,从而让注意力分数自然反映位置距离关系。

本文提出的 HOI RoPE 是对标准 RoPE 的关键改造:为每个交互实例分配独立的'位置槽位'从而避免多 HOI 之间的特征串扰,这是理解 R-DiT 的关键。

Flow Matching(流匹配)

Flow Matching 是一类生成式建模目标,与 DDPM 相比,它用常微分方程(ODE)把噪声沿直线轨迹变换到数据分布,训练目标更简单、采样更稳定。Flux.1 Kontext 的训练即采用 flow-matching 目标。

文中提到用 flow-matching 联合训练生成与编辑,理解该目标才能把握'单一条件去噪过程'的数学含义。

研究动机

现有 HOI 研究分裂为两个互不通用的流派:布局条件生成方法(InteractDiffusion 等)只能从结构化三元组和 layout 合成场景,无法处理诸如'混合条件'(HOI 三元组+纯物体实体)或'任意形状 mask'的灵活输入;文本引导的编辑方法(HOIEdit、InteractEdit 等)虽然能通过自然语言修改交互,但无法可靠地解耦并重组姿势与物理接触(例如把 'hold' 改成 'ride skateboard' 时常常只是换词不换姿势),且无法扩展到多于一个交互的场景,缺乏精确的空间控制,本质上是依赖隐式先验而非显式结构建模。论文用 IEBench 基准上的具体数据说明了问题——比如 HOIEdit 的 HOI Editability 仅 0.240、MasaCtrl 仅 0.260,远低于理想水平;而 InteractDiffusion 在生成任务上虽然 Spatial 达到 0.5768,但其 ImageReward 仅为 -0.3194,图像质量仍明显不足。

本文的目标是论文的核心目标是回答一个简单但根本的问题:'HOI 生成与编辑能否在单一框架内统一?'。具体目标包括:(1) 训练一个既能做生成又能做编辑的统一扩散模型,支持 layout-guided、layout-free、任意 mask、混合条件等多种控制模态;(2) 在单一模型中实现对单交互乃至多交互(2-3 个 HOI)的同时编辑,这是此前任何方法都无法做到的;(3) 联合训练产生协同效应——让生成阶段学到的'交互语义'(姿势、接触点、动词-物体几何)迁移到编辑任务中,提升物理合理性和身份保持;(4) 在 IEBench、HOI 生成基准及新提出的 MultiHOIEdit 上取得 SOTA。

与已有工作不同的是，本文的独特切入角度是'显式交互结构建模':与依赖隐式先验或仅做空间定位的现有方法不同,OneHOI 显式地把 HOI 三元组当作一类特殊 token 注入 DiT 的注意力流,并通过 (a) Action Grounding 提供动词特有的语义+空间锚点、(b) HOI Encoder 注入角色与实例身份、(c) Structured HOI Attention 强制'动词中介'的拓扑结构、(d) HOI RoPE 为不同实例分配独立位置,形成'统一语法'让模型推理的是'关系'而非仅仅'区域'。另一个关键切入是'联合训练+模态丢弃'策略——通过在训练中以 25%/25%/30% 概率丢弃 layout/HOI/文本,让单一模型能优雅地降级到任意可用子模态,这与以前任务专属训练的做法形成鲜明对比。

核心方法

OneHOI 的整体思路是:把 HOI 生成与编辑都视为同一个'条件去噪过程'的两个视图——给定全局文本 prompt P、若干结构化交互 {⟨s,o,a⟩_n} 或独立物体 {⟨o⟩_n}、可选的 layout B,模型都通过一次统一的去噪生成目标图像。技术上,以 Flux.1 Kontext(MM-DiT)为主干,冻结原始权重并附加 LoRA(rank=64, 约 344M 参数),额外训练一个 17M 参数的 HOI Encoder,并在注意力机制中嵌入三类定制模块:Action Grounding(AG)用 subject∪object 区域作为动词 token 的空间锚;HOI Encoder 通过 MLP 把 [角色嵌入;实例索引嵌入;box Fourier 嵌入]融合进 HOI token;Structured HOI Attention 用三段式掩码强制'主体↔动词↔客体'的 verb-mediated 拓扑,同时把每个角色 token 限制到对应空间区域;HOI RoPE 为每个交互实例分配独立的位置槽 z_HOI(n)=(0, T+n, T+n),使其在 RoPE 空间中互不干扰。训练时用 35K SA-1B(object-only)+37K HICO-DET(HOI)+新构建的 44K HOI-Edit-44K(配对编辑)三类数据交替 batch,配合 modality-dropout(p_layout=0.25, p_hoi=0.25, p_txt=0.30)实现任务无关的鲁棒性。

OneHOI 的核心创新在于把'HOI 关系'显式地嵌入到 DiT 的注意力计算中,这是与已有方法最本质的区别。InteractDiffusion 仅使用 layout 作为空间条件,根本不区分主体/动词/客体的语义角色,导致其无法生成正确的'holding/petting'等组合动作;HOIEdit、InteractEdit 等编辑方法则把空间布局和动作语义混在文本中,缺少结构化绑定,出现'换词不换姿势'的现象。OneHOI 通过三个关键设计解决了这些问题:(1) 用'Union 区域'(R_s ∪ R_o)替代 InteractDiffusion 的'Between band'作为动词锚点,经验证更贴合 DiT 实际注意力分布(Fig. 4);(2) 用 attention mask 强制 subject→action→object 的 verb-mediated 路径,阻断直接 subject↔object 链接,从而把关系推理的负担落在动词 token 上;(3) 用 HOI RoPE 在位置编码层面给不同实例'分房间',从根本上防止多 HOI 场景下的特征串扰。三者协同,把 DiT 从'布局条件生成器'升级为'关系推理器'。

方法步骤详情

方法步骤可拆为五步。第一步是输入编码:用 T5 把全局 prompt P 编码为 P_tokens,HOI 三元组 {⟨s,o,a⟩_n} 编码为 H={S_n,A_n,O_n},layout B 编码为 box embeddings e_box(·)。第二步是 HOI Encoder 加工(公式 1-2):对每个角色 token x^r_n 做 LN→与 [e_role(r); e_inst(n); e_box(b^r_n)] 拼接→MLP 投影→以 tanh(λ) 门控残差得到增强 token h̃^r_n,从而为每个 token 注入'角色+实例+空间'三重身份。第三步是 Action Grounding 区域构造:对每对 (s_n, o_n) 算其 box/rasterised 区域 R_s_n、R_o_n,令 R_a_n = R_s_n ∪ R_o_n 作为动词的 union 锚点。第四步是 Structured HOI Attention:在 DiT 的 QKV 注意力上叠加三段掩码 M(公式 3-4)——(a) HOI↔HOI 拓扑掩码:允许 S_n↔A_n、O_n↔A_n,阻断 S_n↔O_n 和所有 n≠m 的跨实例链接;(b) HOI↔image grounding 掩码 M_HI:把 S_n、O_n、A_n 限制到 R_s_n、R_o_n、R_a_n;(c) 保留标准 prompt↔image 和 image↔image 通路。第五步是 HOI RoPE 应用(公式 5):对所有 HOI token 令 z_HOI(n)=(0, T+n, T+n),T=max(H,W),与图像 3D RoPE 形成正交槽位,从位置编码上分离实例。训练阶段,生成任务用 HICO-DET 真实图像作为先验锚点,编辑任务用 HOI-Edit-44K 配对样本,模态丢弃确保单一模型能应对任意输入组合;推理时,生成直接采样噪声,编辑则把源图像 VAE 编码为 latent 与噪声拼接(分别用 RoPE 索引 (1,x,y) 和 (0,x,y) 区分),CFG=3.5,采样 28 步。

技术新颖性

技术新颖性体现在三个层面。第一,关系感知的 DiT 改造(R-DiT):与 InteractDiffusion 的隐式空间条件相比,R-DiT 显式定义了 verb-mediated 拓扑和 union 动作区域,是首个将 HOI 三元组作为'结构化 token' 注入 DiT 注意力流的方案;其 HOI RoPE 改造标准 3D RoPE 的设计,在位置编码层面解决了多实例干扰问题,具有较好的通用性。第二,联合训练+模态丢弃的统一范式:不同于 HOIEdit、InteractEdit 等只做编辑、InteractDiffusion 等只做生成的'任务专一'路线,OneHOI 用 flow-matching 在三类数据(HOI 生成、object-only、编辑配对)上交替训练并加 modality dropout,使得单一模型在七种输入组合(纯文本/部分 layout/混合条件/多 HOI 等)下都鲁棒——这一'任务无关统一'思路在 HOI 领域是首次。第三,数据与基准贡献:HOI-Edit-44K(44K 高质量配对样本,经 PViC 检测+ DINOv2 身份过滤,90% 拒收率)和 MultiHOIEdit(200 个 2-3 交互编辑任务)填补了领域关键数据空白。

**Figure 2**: Unified HOI generation and editing.

**Figure 3**: (a) An overview of OneHOI pipeline. (b) Original RoPE. (c) HOI RoPE.

**Figure 4**: Action-token→image attention heatmaps from the baseline.

实验结果

在 IEBench(layout-free 编辑)上,OneHOI 取得 Editability-Identity 0.638、HOI Editability 0.596、PickScore 21.26、HPS 0.2805、ImageReward 0.4713,五项指标全部 SOTA,相对最强基线 InteractEdit(EI 0.573,HOI 0.514)分别提升 10.0% 和 16.0%,ImageReward 提升 189%(从 0.163 到 0.4713),且唯一在统计意义上超越闭源 Nano Banana(EI 0.623,HOI 0.530)。在布局引导单 HOI 编辑(IEBench+合成 layout)上,OneHOI 取得 EI 0.638、HOI Editability 0.570、Spatial 0.822,相对 InteractEdit+InteractDiffusion 联合基线(EI 0.559、Spatial 0.749)全面领先,证明布局条件能带来更精确的空间控制。在布局引导多 HOI 编辑(新基准 MultiHOIEdit)上,目前无任何基线能完成该任务,OneHOI 仍取得 EI 0.435、HOI Editability 0.329、Spatial 0.675,验证了多交互编辑的可行性。在 HOI 生成(2000 HICO-DET 测试)上,Spatial 0.6104、HOI Acc 0.4528 略超 InteractDiffusion(0.5768、0.4505),PickScore 21.41(+0.7%)、HPS 0.2617(+4.8%)、ImageReward 0.5224(+33.2%)在感知质量上大幅领先,说明统一训练并未拖累生成,反而由于编辑阶段的细节学习而受益。消融实验(表 4)显示,从基线 Eligen 开始逐步加入 AG(HOI Acc 0.3061→0.4138)、Encoder(→0.4254)、Attention(→0.4504)、HRoPE(→0.4528)对生成 HOI Accuracy 贡献最大,HRoPE 单独带来 IR 从 0.4861 提升到 0.5224,显著改善感知质量;在多 HOI 编辑上,HRoPE 把 EI 从 0.433 提升到 0.435、IR 从 0.1944 提升到 0.2046,是关键的最后一块拼图。表 5 进一步证明统一训练相比任务专一训练在生成上 HOI Accuracy 提升 26.4%(0.177→0.224)、在多 HOI 编辑上 HOI Editability 提升 21.1%(0.287→0.329),验证'协同效应'。人类偏好研究(N=450,26 人)显示,相对 QwenImageEdit,OneHOI 在物理合理性上获 58.2% 偏好(仅 8.2% 反向),整体质量胜或平 72.0%;相对 InteractEdit 在身份保持上获 74.8% 偏好。

**Table 1**: Quantitative comparison for layout-free HOI editing on IEBench benchmark.

**Table 2**: Quantitative results for layout-guided HOI editing.

**Table 3**: Quantitative comparison for HOI generation task.

**Table 4**: Ablation study on core components.

**Figure 6**: Qualitative comparison for layout-free HOI editing.

**Figure 7**: Qualitative comparison for HOI generation.

**Figure 8**: Layout-guided editing examples.

**Figure 9**: Versatile control in HOI generation.

**Figure 10**: Progressively adding components improves the interaction's plausibility.

**Figure 12**: Results of the Human Preference Study.

查看结构化数据

任务	指标	本文	基线	提升
Layout-free HOI Editing (IEBench)	Editability-Identity	0.638	0.573 (InteractEdit)	+10.0%
Layout-free HOI Editing (IEBench)	HOI Editability	0.596	0.514 (InteractEdit)	+16.0%
Layout-free HOI Editing (IEBench)	ImageReward	0.4713	0.1630 (InteractEdit)	+189%
Layout-guided Single-HOI Editing	Spatial Score	0.822	0.749 (InteractEdit+InteractDiffusion)	+9.7%
Layout-guided Single-HOI Editing	HOI Editability	0.570	0.520 (InteractEdit+InteractDiffusion)	+9.6%
Layout-guided Multi-HOI Editing (MultiHOIEdit)	Spatial Score	0.675	N/A (first baseline)	First-ever reported
Layout-guided Multi-HOI Editing (MultiHOIEdit)	Editability-Identity	0.435	N/A (first baseline)	First-ever reported
HOI Generation (HICO-DET test)	Spatial Score	0.6104	0.5768 (InteractDiffusion)	+5.8%
HOI Generation (HICO-DET test)	HOI Accuracy	0.4528	0.4505 (InteractDiffusion)	+0.5%
HOI Generation (HICO-DET test)	ImageReward	0.5224	0.3921 (Eligen)	+33.2%

局限与改进

作者明确承认的局限包括:(1) MultiHOIEdit 基准合成极其困难,8942 张 Flux.1 生成图像中仅 200 张通过 PViC 验证(2.2% 成功率),说明多 HOI 场景在当前文生图模型下仍非常稀疏;(2) HOI-Edit-44K 中约 90% 的候选对被 PViC+DINOv2 双重过滤剔除,反映高质量配对编辑数据的获取本身是高门槛任务;(3) 在没有 layout 输入的纯文本编辑模式下,Spatial Score 不可计算,模型对'位置'缺乏显式控制,容易出现姿势与原图不一致的偏移;(4) 多 HOI 编辑的绝对指标(EI 0.435、HOI 0.329)显著低于单 HOI 编辑(EI 0.638、HOI 0.570),说明随着交互数量增加,任务难度呈非线性上升。作者并未直接讨论但可观察到的局限包括:(5) 评估严重依赖 PViC 作为 HOI 检测器,若 PViC 对罕见动词的检测能力有限,会低估模型真实能力;(6) HOI-Edit-44K 中 79 类物体、92 类动作的分布存在长尾(Fig. 16-17),主流动作如 hold 占 30.9%,而 50% 以上动作占比不足 1%,可能限制稀有动作的编辑质量;(7) 模型没有引入 3D 物理或接触点显式建模,'ride skateboard' 等需要物理支撑的姿势仍可能出现漂浮等不自然姿态;(8) 整体方法基于 12B 基础模型+LoRA,推理时 28 步采样+CFG=3.5,延迟和显存对实时应用仍偏高。

独立分析的弱点

独立分析可识别出若干可在后续工作中改进的弱点。第一,空间控制对 layout 高度依赖:在没有 layout 的纯文本编辑场景下,模型只能依靠隐式布局先验,无法精确指定对象位置,改进方向是引入 weak layout prior 或基于局部注意力的位置引导;第二,动词空间区域使用简单的 subject∪object Union,对远程交互(verb 在两者之间不重叠)如 'watching TV' 可能过大,改进方向是引入动词-物体的统计先验或基于语义的细粒度区域划分;第三,HOI RoPE 用 (0, T+n, T+n) 硬编码实例位置,当 n 很大时槽位会远离图像网格,理论上可能造成注意力偏移,改进方向是学习连续的位置偏移而非硬编码;第四,多 HOI 编辑的成功率(0.435 EI)远低于单 HOI(0.638 EI),说明实例数量从 1 升到 2-3 时错误累积明显,改进方向是引入显式的实例级对比损失或 cycle-consistency 训练;第五,对长尾动作(占比 <1% 的 50+ 类)的处理能力缺乏专门验证,改进方向是用反事实数据增强或重加权;第六,模型对源图像的'强保真'与编辑幅度之间仍有 trade-off(IEBench 中 EI 0.638 仍未达 0.7),改进方向是引入显式的解耦损失或 latent-level 的可控融合。

未来方向

作者提出的未来方向包括:(1) 把 OneHOI 扩展到视频 HOI 生成与编辑,利用时序一致性约束保持交互动态连续;(2) 与 3D 物理仿真结合,引入接触点、支撑面等显式物理约束以提升物理合理性;(3) 探索在更小模型(如 1-3B)上蒸馏 OneHOI 的关系建模能力,降低推理成本。基于成果可延伸的方向有:(4) 把 verb-mediated 拓扑和 HOI RoPE 推广到多智能体交互(人-人-物)、场景图(scene graph)生成等更复杂关系建模任务;(5) 配合 LLM 进行链式推理,实现 'hold cup → pour water → drink' 的多步编辑;(6) 把 HOI-Edit-44K 中的 372 类三元组分布(图 15-17)作为可计算的'交互知识图谱',用于机器人操作、视频理解等下游应用;(7) 探索 OneHOI 与 RLHF/DPO 等人类反馈对齐方法结合,进一步提升物理合理性和艺术性。

复现评估

复现评估总体良好。代码、权重、HOI-Edit-44K 数据集和 MultiHOIEdit 基准均承诺公开(项目页 jiuntian.github.io/OneHOI),与论文一同发布的还有基准的源图、目标 prompt、合成 layout 等完整配置。模型基于开源的 Flux.1 Kontext+Eligen+Flux.1 Dev(均为公开权重),仅 2 张 NVIDIA RTX 6000 ADA(48GB)即可完成 10K 步训练,采用 bf16 精度、AdamW 8-bit 优化器、LoRA rank=64,学习率 1e-4,这些超参都在论文中明示。多分辨率 bucket(1024²、768×1360 等)、CFG=3.5、采样步数 28 等推理参数也已文档化。主要复现难度在于:(1) HOI-Edit-44K 的 44K 配对样本虽然公开,但其中半数来自 Flux.1 合成图像,要完整复现需要 Flux.1 API 或本地部署;(2) 评估流水线依赖 PViC、GroundingDINO、SAM、DINOv2 四个检测/特征模型,需要分别部署;(3) 闭源基线 Nano Banana 通过 Gemini API 访问,无 seed 控制,无法严格复现其单次推理结果——论文已对此做了说明;(4) HICO-DET 训练集 37K 图像需要自行下载注册。综合看,具备 Flux.1 部署能力的研究组可在数周内复现主要结果。

OneHOI:统一人-物交互生成与编辑的扩散Transformer框架 OneHOI: Unifying Human-Object Interaction Generation and Editing