← 返回 2026-01-06

DiffProxy：基于扩散生成密集代理的多视角人体网格恢复 DiffProxy: Multi-View Human Mesh Recovery via Diffusion-Generated Dense Proxies

Renke Wang, Zhenyu Zhang, Ying Tai, Jian Yang 📅 2026-01-05 👍 5 2026-07-13 08:35

人体网格恢复多视角几何密集对应扩散模型计算机视觉

用扩散模型生成密集像素-表面对应，实现高精度多视角人体网格恢复

前置知识

SMPL-X人体模型

SMPL-X是一个参数化3D人体网格模型，通过形状参数$\beta \in \mathbb{R}^{10}$、姿态参数$\theta$、面部表情$\psi$和全局平移$T \in \mathbb{R}^3$来描述人体。模型由顶点组成，每个顶点携带预定义纹理映射上的2D UV坐标$u \in [0,1]^2$，通过身体部位进行分区。理解这个模型对于读懂本文至关重要，因为本文的密集代理就是建立在SMPL-X的像素到表面对应关系之上的。

本文的目标是恢复SMPL-X参数，所有代理生成和拟合过程都围绕这个参数空间展开

扩散模型（Diffusion Model）

扩散模型是一类生成模型，通过逐步向数据添加噪声直至变成纯高斯噪声，然后学习逆向去噪过程来生成新样本。Stable Diffusion 2.1采用潜在空间扩散架构，先用VAE将图像编码到潜在空间，然后在潜在空间中用UNet进行去噪，最后用VAE解码器重建图像。扩散模型的独特之处在于其随机性：相同输入可以通过多次采样产生略有不同的输出，这可以用于估计不确定性。

本文的核心创新是重新利用预训练的Stable Diffusion 2.1作为密集对应预测器，并利用其随机性实现测试时缩放和不确定性估计

密集像素到表面对应（Dense Pixel-to-Surface Correspondence）

这是指建立2D图像中每个像素到3D人体模型表面的映射关系。对于每个视点$v$，本文定义SMPL-X代理为$P_v = (P_v^{seg}, P_v^{uv})$，其中$P_v^{seg}$是分割分量（给每个语义身体部位分配唯一RGB颜色），$P_v^{uv}$是UV坐标分量（前两个通道存储UV坐标，第三个通道设为1）。与稀疏关键点相比，密集对应提供了每视图的约束：每个前景像素都携带语义部位标签和SMPL-X表面的UV坐标。

密集代理是本文的核心中间表示，通过提供比稀疏关键点多得多的约束，实现了高精度的拟合

重投影损失（Reprojection Loss）

给定从多视图生成的密集代理$\{P_v\}$，对每个视图$v$的前景像素$x \in fg(v)$，通过其代理标签和UV坐标将其映射到SMPL-X表面的3D点，然后计算投影的表面点与原始像素之间的L2重投影误差$d(x)$。最终的损失函数是$\mathcal{L}_{reproj} = \sum_{v} \sum_{x \in fg(v)} W_v(x) d(x)^2$，其中$W_v$是每像素可靠性权重图。这个损失直接优化了图像-网格对齐质量。

这是本文的拟合目标，与传统的稀疏关键点重投影损失相比，密集重投影损失提供了覆盖整个可见身体表面的均匀约束

极线约束注意力（Epipolar-Constrained Attention）

这是一种用于跨视图交互的注意力机制，在扩散模型的UNet中强制执行多视图几何一致性。具体而言，对于两个视图$v_1$和$v_2$，通过Plücker射线嵌入来约束注意力计算，使得注意力权重集中在满足极线几何约束的像素上。SPAD[22]首次引入了这个概念，本文将其应用于人体密集对应预测，确保不同视图中生成的代理在几何上是一致的。

这是本文实现多视图一致性的关键技术，使得生成的密集代理在几何上约束人体网格的恢复

研究动机

现有的人体网格恢复方法面临着明显的困境。端到端方法（如SMPLest-X、HeatFormer）将几何、对应和遮挡推理压缩到单一的回归目标中，产生难以定位的纠缠错误，经常导致图像-网格错位。虽然速度快，但对于电影制作、运动捕捉标注、生物力学分析等对精度要求优先的应用场景，这些方法不够精确。基于拟合的方法（如SMPLify、EasyMoCap）通过最小化从检测到的2D线索导出的目标来优化身体模型参数，但依赖稀疏关键点：单个错误检测或遮挡的关节就可能主导优化并产生完全错误的姿态。DensePose等密集对应方法虽然概念上吸引人，但受限于两个瓶颈：DensePose-COCO训练集依赖约5万张图像的手动标注，固有的标签噪声会传播到学习模型中；这些工作中使用的CNN检测器缺乏大规模视觉先验，在分布外场景下泛化能力差。

本文的目标是本文旨在通过重新审视密集代理路线来解决这些历史瓶颈，实现高精度的多视角人体网格恢复。具体目标包括：构建具有像素完美SMPL-X标注的大规模合成多视角数据集以消除标签噪声；重新利用预训练的扩散模型作为多条件代理生成器，实现仅从合成训练即可进行准确且可泛化的代理估计；引入手部精细化，将放大的手部裁剪作为额外视图以实现细粒度手部恢复；实现测试时缩放，聚合多次随机预测以估计每像素不确定性，从而实现鲁棒拟合。

与已有工作不同的是，本文的独特切入角度在于认识到密集代理路线的历史瓶颈反映了当时可用训练数据和模型的局限性，而非密集代理方法的固有缺陷。如果能生成足够准确的密集对应，拟合问题将显著简化，因为密集的像素到表面映射提供比稀疏关键点多得多的约束，并且在可见身体表面上覆盖均匀。本文通过利用预训练扩散模型可以重新用作强大的密集预测器并继承丰富视觉先验进行跨域泛化的最新进展，以及大尺度合成数据可以接近或匹配真实数据性能的范式，重新审视了密集代理路线。这与近期在参数空间、网格空间或视频空间探索扩散先验的HMR工作形成对比，本文将扩散用于生成密集对应作为精确拟合的中间表示。

核心方法

DiffProxy框架的整体思路分为两个主要阶段：密集代理生成和人体网格恢复。在直觉上，作者认为精确的中间表示是高质量拟合的关键，而预训练的扩散模型具有强大的视觉先验，可以重新用于密集对应预测。技术路线上，作者首先构建大规模合成多视角数据集（105K样本，844K图像）并带有像素完美的SMPL-X标注。然后基于Stable Diffusion 2.1训练一个多条件代理生成器，从多视角图像预测密集像素到表面对应。生成器接收三个条件信号：文本提示控制输出模态、T2I-Adapter特征强制像素级对齐、DINOv2 token提供姿态和外观先验。对于多模态和多视图一致性，模型引入跨模态注意力和极线注意力。在网格恢复阶段，作者通过最小化统一的重投影目标来拟合SMPL-X参数，其中手部精细化通过放大手部区域作为额外视图来改善手指细节，测试时缩放通过聚合多次随机预测来估计每像素不确定性以实现鲁棒拟合。

本文的核心创新在于将预训练的扩散模型重新用作多条件密集对应预测器，并结合了两个关键设计：手部精细化和测试时缩放。与DensePose等传统方法相比，本文有三个本质区别：在105K多视角样本（总计844K图像）上带有像素完美标注的合成训练，消除了标签噪声；基于扩散的生成具有强大的视觉先验，实现了鲁棒泛化；通过极线注意力实现多视图一致性。手部精细化解决了手部在全身图像中占据像素太少（<1%）的问题，采用两遍策略：首先推断初始身体代理，然后使用分割分量定位手部区域并创建放大裁剪，在第二遍中将手部裁剪作为额外视图，并切换到手部特定的文本提示将每只手细分为12个部位，利用跨视图注意力产生精细化的手部代理。测试时缩放利用扩散模型的随机性：通过为每个视图绘制$K$个随机样本$\{P_{k,v}\}_{k=1}^K$并测量它们的不一致，获得每像素不确定性估计，从而在优化时对不可靠预测进行降权。

方法步骤详情

方法分为完整三个步骤。步骤一：合成数据准备。作者从两个来源构建数据集：由AMASS运动序列驱动的67,650个BEDLAM受试者，以及由MPI-3DHP和MoYo姿态驱动的37,837个SynBody受试者，总计105,487个唯一SMPL-X受试者。渲染管道整合了来自Amazon Berkeley Objects的7,953个对象网格的真实遮挡、来自Hair20K的多样化发型、来自Poly Haven的863个HDR环境贴图作为照明和背景，以及基于物理的服装模拟。对于每个受试者，采样8个相机并渲染1024×1024 RGB图像及相应的SMPL-X代理，产生105,487个多视角样本（总共843,896张图像）。步骤二：人体代理生成。代理生成器$G_\phi$基于Stable Diffusion 2.1，接收多视角图像$\{I_v\}_{v=1}^N$（$N \geq 1$）和透视相机参数$\{C_v\} = \{(K_v, R_v, t_v)\}$，预测SMPL-X代理$P_v = (P_v^{seg}, P_v^{uv}) \in \mathbb{R}^{256 \times 256 \times 3}$。三个条件信号驱动生成：文本提示$c_{text}$、T2I-Adapter特征$c_{T2I} = E_{T2I}(I_v)$、DINOv2 token$c_{DINO} = E_{DINO}(I_v)$。模型使用标准扩散目标训练：$\mathcal{L}_{diff} = \mathbb{E}_{\epsilon, t, \mathbf{z}_0} [\|\epsilon - \epsilon_\theta(\mathbf{z}_t, t, \mathbf{c})\|_2^2]$，其中$\mathbf{z}_t = \sqrt{\bar{\alpha}_t}\mathbf{z}_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$。训练时每样本固定预算$N=4$个视图，其中2-4个是全身视图，剩余槽位填充来自同一相机视点的手部区域裁剪。步骤三：人体网格恢复。给定所有视图的代理$\{P_v\}$，计算所有前景像素上的重投影损失。对于每个像素$x \in fg(v)$，通过其代理标签和UV坐标将其映射到SMPL-X表面的3D点，计算投影表面点与原始像素之间的L2重投影误差$d(x)$，损失为$\mathcal{L}_{reproj} = \sum_{v} \mathcal{L}_{reproj}^v = \sum_{v} \sum_{x \in fg(v)} W_v(x) d(x)^2$。优化使用Adam进行分阶段学习率调度：首先求解全局放置，然后是身体姿态和形状，最后是手部关节。

技术新颖性

本文的技术新颖性体现在多个方面。首先，将预训练扩散模型重新用作密集对应预测器是一个新颖的方向，与近期将扩散用于参数空间、网格空间或视频空间的HMR工作形成对比。其次，手部精细化技术通过利用扩散模型的跨视图注意力，在不修改网络架构的情况下实现了手指保真度的提升，这是一个巧妙的设计。第三，测试时缩放充分利用了扩散模型的随机性来估计每像素不确定性，并通过计算每视图权重图$W_v(x) = (1-U_v^{uv}(x))(1-U_v^{seg}(x))$来调节拟合，这是一个创新性的鲁棒性提升策略。第四，大规模合成数据集的构建结合了数据多样性和多视图几何监督，实现了在无需真实训练数据的情况下跨所有基准的强性能。第五，极线约束注意力在扩散模型中的应用强制执行多视图几何一致性，这是一个在人体密集对应预测中首次引入的技术。最后，本文展示了仅从合成训练就能实现零样本泛化到五个不同的真实世界基准，这一结果对于计算机视觉领域具有重要的启示意义。

**Fig. 2**: Method overview. The proxy generator first produces initial body proxies; the segmentation component P_v^seg,init is then used to crop and enlarge hand regions for a second pass (hand refinement). Test-time scaling then draws K stochastic samples for both body and hand proxies, aggregates them, and derives per-pixel uncertainty weight maps W_v. Finally, SMPL-X parameters are recovered by minimizing an uncertainty-weighted reprojection objective L_reproj.

**Fig. 3**: Synthetic training data samples. Our dataset covers diverse poses, realistic occlusions, varied lighting, and clothing simulation, all with pixel-perfect SMPL-X proxy annotations (segmentation and UV).

**Fig. 4**: Diffusion-based proxy generator architecture. Our model is built on Stable Diffusion 2.1 with a frozen UNet backbone, equipped with three conditioning signals (c_text, c_T2I, c_DINO) and four trainable attention modules (A_text, A_img, A_cm, A_epi) for multi-view consistent proxy generation.

实验结果

本文在五个真实世界数据集上进行了全面评估：3DHP（工作室捕捉）、BEHAVE（人-物体交互）、RICH（户外场景）、MoYo（挑战性姿态）和4D-DRESS（宽松服装），并在4D-DRESS上使用随机裁剪（4D-DRESS partial）评估对部分观测的鲁棒性。定量结果显示，本文方法在所有六个评估设置中都达到了最先进性能。在RICH数据集上，最佳端到端方法的MPVPE是81.1 mm（SMPLest-X），而EasyMoCap达到60.3 mm，本文完整模型达到35.1 mm，证实了构建准确的中间表示并对它们进行拟合比直接回归更有效。即使在相同4视图输入下，本文的基础模型（w/o HR, TTS）也在大多数指标上超过了所有端到端方法。跨数据集泛化方面，现有的多视图方法受限于稀缺的真实多视图数据，往往只在训练领域表现优异：HeatFormer在训练的3DHP上达到竞争性MPVPE（53.3），但在MoYo上下降到123.6，在4D-DRESS partial上下降到327.0，甚至落后于单视图方法。本文的大规模合成数据集（105K多视角样本）结合了数据多样性和多视图几何监督，实现了跨所有基准的强性能而无需真实训练数据。密集代理与稀疏关键点的对比方面，EasyMoCap也是基于拟合的但依赖稀疏关键点。密集代理的优势体现在两个方面：精度上，本文的代理将每个前景像素映射到特定表面点，约束整个网格表面而不仅是关节位置；鲁棒性上，EasyMoCap在关键点检测可靠时表现良好（3DHP、BEHAVE），但在复杂光照（RICH）、极端姿态和宽松服装（4D-DRESS）下退化。差距在部分视图时更明显：EasyMoCap的MPVPE从4D-DRESS到4D-DRESS partial增加238%（35.3→119.4），而本文只增加68%（25.6→43.1），因为可见表面上的密集约束使拟合对部分遮挡具有鲁棒性。

**Table 1**: Quantitative comparison on five real-world datasets. *indicates the method was trained on that specific dataset. For single-view methods, the best single-camera result is reported. Three configurations: 'w/o HR, TTS' (4 full-body views only), 'w/o TTS' (+ hand refinement), 'Ours' (full model). Best / second best.

**Table 2**: Ablation study on BEHAVE. Top: removing individual network modules. Bottom: inference without ground-truth cameras.

**Table 3**: Comparison with DensePose [13] and its fine-tuned variant on MoYo.

**Fig. 5**: Qualitative comparison across three scenarios: 3DHP (rows 1-2), RICH (rows 3-4), and 4D-DRESS partial (rows 5-6). Red boxes highlight notable misalignment.

**Fig. 6**: Qualitative comparison of hand refinement. Hand refinement improves fitting quality and produces accurate finger details.

**Fig. 7**: Test-time scaling with uncertainty weighting improves robustness by down-weighting unreliable predictions and recovering correct poses from erroneous proxy outputs (left). Increasing K consistently improves reconstruction quality (right).

**Fig. 8**: Our method benefits from increasing view counts, with performance improving progressively from 2-view to 8-view configurations.

**Fig. 9**: Comparison with DensePose [13] and its fine-tuned variants (DP-FT). Fine-tuning improves standard poses (left) but provides limited benefit on challenging ones (right). DiffProxy produces accurate proxies in both cases.

查看结构化数据

任务	指标	本文	基线	提升
3DHP数据集人体网格恢复	PA-MPJPE (mm)	32.8	HeatFormer: 29.2*	HeatFormer在该数据集上训练，本文在零样本设置下达到接近性能
RICH数据集人体网格恢复	MPVPE (mm)	35.1	SMPLest-X: 81.1, EasyMoCap: 60.3	相比最佳端到端方法提升56.7%，相比稀疏关键点方法提升41.8%
BEHAVE数据集人体网格恢复	MPVPE (mm)	31.3	EasyMoCap: 40.4, HeatFormer: 47.7	相比稀疏关键点方法提升22.5%，相比最佳端到端方法提升34.4%
MoYo数据集人体网格恢复	MPVPE (mm)	35.2	SMPLest-X: 62.1, EasyMoCap: 51.6, HeatFormer: 123.6	相比训练过的HeatFormer提升71.5%，展示了卓越的跨域泛化能力
4D-DRESS数据集人体网格恢复	MPVPE (mm)	23.3	EasyMoCap: 35.3, SMPLest-X: 52.1	相比稀疏关键点方法提升34.0%，相比最佳端到端方法提升55.3%
4D-DRESS partial（部分观测）	MPVPE (mm)	41.3	EasyMoCap: 119.4, HeatFormer: 175.2	相比稀疏关键点方法提升65.4%，相比最佳端到端方法提升76.4%，展示了对遮挡的鲁棒性

局限与改进

作者承认了几个局限性。首先是拟合局部最优：2D重投影目标可能收敛到局部最优，其中关节配置在图像平面中看起来正确但在3D中是反转的。其次是推理速度：没有手部精细化或测试时缩放，方法每个受试者需要约53秒（3秒代理生成+50秒拟合），与EasyMoCap（约40秒）相当同时已经实现了更优越的精度和鲁棒性。手部精细化和测试时缩放提供了额外增益但增加了额外成本。第三是多视图要求：方法需要多个视图才能获得可靠结果，因为单视图性能受深度模糊影响。第四是单主体：扩展到多主体场景通过合并每实例分割是直接的，主要挑战是跨视图身份关联。我自己的观察是，合成到真实的转移虽然成功，但合成数据的多样性和真实世界的复杂性之间仍可能存在差距，特别是在极端光照、非常规姿态和复杂纹理方面。此外，手部精细化虽然提高了手部精度，但增加了推理时间和复杂度。测试时缩放虽然提供了鲁棒性，但需要$K$倍的额外计算开销。最后，方法依赖于相机校准信息，虽然在BEHAVE上测试了无真实相机的变体并实现了竞争性性能，但仍有适度性能下降。

独立分析的弱点

本文存在几个可以改进的弱点。首先，拟合局部最优问题：2D重投影目标可能收敛到关节配置在图像平面正确但在3D中反转的局部最优，这在BEHAVE上的失败案例中展示。改进方向可以包括合并互补的3D约束，例如跨视图三角化对应，以帮助解决此类深度模糊。其次，推理速度较慢：没有手部精细化或测试时缩放，方法每个受试者需要约53秒（3秒代理生成+50秒拟合），对于实时应用来说太慢。改进方向包括用端到端预测初始化，以及通过一致性模型或扩散蒸馏加速代理生成。第三，对相机校准的依赖：虽然作者测试了无真实相机的变体并实现了竞争性性能，但仍需要预测相机参数并在拟合中联合优化，这增加了复杂性和可能的误差。改进方向可以包括开发更鲁棒的无相机方法或将相机预测完全集成到端到端框架中。第四，手部精细化增加了推理时间：两遍策略需要额外的代理生成，且手部裁剪需要额外的相机参数调整。改进方向可以包括在单遍中同时处理全身和手部，或者开发更高效的手部处理策略。第五，测试时缩放的额外计算开销：需要$K$倍的额外代理生成，而$K=3$是默认值。改进方向可以包括自适应采样策略或更高效的不确定性估计方法。

未来方向

作者提出的未来工作方向包括加速拟合通过用端到端预测初始化，以及通过一致性模型或扩散蒸馏加速代理生成。基于本文成果，可以延伸的研究方向包括：扩展到多人体场景，主要挑战是跨视图身份关联；改进单视图性能，可能通过结合更强的3D先验或约束；开发更高效的代理生成方法，可能通过模型蒸馏或量化；探索其他应用领域，如动画、虚拟试衣或医疗分析；研究合成数据生成的进一步改进，可能通过更好的物理模拟或更多样化的场景；探索与交互式编辑的结合，允许用户调整重建结果；研究实时变体，可能通过优化推理流水线或使用更轻量级的模型架构；探索与其他模态的融合，如深度传感器或惯性测量单元（IMU）；研究在极端条件下的鲁棒性，如完全遮挡或非常规姿态。

复现评估

本文提供了项目页面https://wrk226.github.io/DiffProxy.html，但根据描述，代码和数据集的开放情况不明确。合成数据集的构建涉及多个来源（BEDLAM、SynBody、AMASS、MPI-3DHP、MoYo、Amazon Berkeley Objects、Hair20K、Poly Haven），这些数据集的许可和可用性可能各不相同。训练硬件需求较高：使用4×RTX 5090 GPU进行训练，约36小时完成代理生成器训练，100K迭代约4小时完成VAE解码器微调。推理硬件需求相对较低：单个RTX 5090可以完成推理，默认配置下需要约18秒（3秒初始代理生成+15秒完整代理生成），网格拟合需要额外约50-60秒。复现难度中等偏上，主要挑战包括：合成数据集的构建和渲染、扩散模型的训练和调优、以及多视角数据的准备。作者提供了详细的实现细节，包括训练参数、学习率、批大小等，这有助于复现。然而，缺乏明确的代码和数据集开放声明可能限制完全复现的能力。此外，RTX 5090 GPU是高端硬件，对于一些研究实验室来说可能不容易获得。

论文图表

**Fig. 1**: Existing human mesh recovery methods face distinct challenges. (A) End-to-end methods (SMPLest-X, HeatFormer) produce imprecise image-mesh alignment; (B) keypoint-based fitting (EasyMoCap) is sparse and unstable under challenging conditions; (C) prior dense correspondence predictors (DensePose) produce noisy and incomplete surface mappings. We introduce DiffProxy, which uses a diffusion model trained on synthetic data to predict accurate dense pixel-to-surface proxies, then fits SMPL-X against them via a unified reprojection objective, achieving precise alignment across diverse real-world scenarios.
这张图通过三组视觉对比展示了现有人体网格恢复方法面临的不同挑战。图A比较了输入图像与SMPLest-X、HeatFormer、DiffProxy的结果，突出显示了端到端方法的不精确图像-网格对齐问题。图B比较了输入图像与EasyMoCap基于关键点和网格的拟合结果，展示了稀疏关键点在挑战条件下（如复杂背景、遮挡）的不稳定性。图C比较了输入图像与DensePose和DiffProxy的结果（包括UV和Mesh版本），展示了先前的密集对应预测器产生噪声和不完整的表面映射。DiffProxy在所有场景中都展示了更精确的对齐。

这张图对理解论文至关重要，因为它清晰地展示了现有方法的具体问题，以及DiffProxy相对于这些问题的优势。通过视觉对比，读者可以直观地理解为什么需要密集代理以及扩散模型如何解决这些问题。

Fig. 10: A typical failure case on BEHAVE. The proxy predicts correct dense correspondences, but mesh fitting converges to a local optimum with inverted joint orientations—the pose appears correct in 2D but is flipped in depth.

这张图展示了BEHAVE上的典型失败案例。代理预测正确的密集对应，但网格拟合收敛到具有反转关节方向的局部最优——姿态在2D中看起来正确但在3D中翻转了。输入图像显示一个人与物体交互，代理（分割和UV）看起来正确，但重建的网格在深度方向上翻转了。

这张图对理解论文很重要，因为它展示了本文方法的主要局限性之一——拟合局部最优问题。读者可以理解为什么需要额外的3D约束来解决此类深度模糊。