← 返回 2026-03-18

基于人-物交互学习的激光雷达点云3D人体姿态估计 Learning Human-Object Interaction for 3D Human Pose Estimation from LiDAR Point Clouds

Daniel Sungho Jung, Dohee Cho, Kyoung Mu Lee 📅 2026-03-17 👍 1 2026-07-13 08:36
3D人体姿态估计 人-物交互 对比学习 激光雷达感知 自动驾驶
arXiv HuggingFace PDF

通过对比学习和自适应池化解决LiDAR姿态估计中的空间模糊和类别不平衡问题

前置知识

LiDAR点云

激光雷达通过发射激光脉冲并测量返回时间来获取三维空间的点集合，每个点包含$(x,y,z)$坐标及反射强度等信息。LiDAR传感器以径向扫描方式工作，点密度随距离衰减，远处可能每个身体部位只有几个点。相比RGB图像，LiDAR提供精确几何信息但缺乏丰富的语义信息，难以区分视觉上相似的区域。

本文输入是LiDAR点云，理解其特性（低语义、径向扫描、距离衰减）对理解论文中的空间模糊问题和类别不平衡问题至关重要。

SMPL人体模型

SMPL（Skinned Multi-Person Linear）是一种参数化人体模型，通过姿态参数$\theta$和形状参数$\beta$生成三维人体网格。模型包含24个身体部位定义，通过皮肤混合权重实现骨架驱动网格变形。论文使用SMPL生成合成LiDAR数据，并从中提取24个身体关节作为关键点监督信号。

论文基于SMPL在5个HOI数据集上预训练，SMPL的身体部位分割和关节定义是HOICL对比学习和CPPool操作的基础。

Point Transformer V3 (PTv3)

基于Transformer的层次化点云编码器-解码器架构。首先通过空间填充曲线（如Z-order或Hilbert曲线）$\phi$对无序点集排序得到$\widetilde{\mathbf{P}} = \text{Serialize}(\mathbf{P};\phi)$，然后通过L个编码器阶段逐步下采样，每阶段包含Grid Pooling、序列化和Transformer块。解码器通过存储的映射$\mathcal{M}^{(i)}$反向传播特征并恢复分辨率。

HOIL架构基于PTv3，核心创新是将Grid Pooling中的max pooling替换为CPPool，并在解码器特征上应用HOICL对比学习。

监督对比学习

利用标签信息构造正负样本对的对比学习方法。对于锚点$z_n$，正样本对$(n,m)$被拉近，负样本对$(n,l)$被推开。损失函数为$\mathcal{L}_{\text{SupCon}} = -\frac{1}{|P(n)|}\sum_{p\in P(n)}\log\frac{\exp(z_n\cdot z_p/\tau)}{\sum_{a\in A(n)}\exp(z_n\cdot z_a/\tau)}$，其中$P(n)$是正样本集合，$A(n)$是除锚点外所有样本，$\tau$是温度参数。

HOICL的核心就是SupCon的变体，在交互区域（FIR和接触点）上应用对比学习来区分人和物体点。

研究动机

现有LiDAR 3D人体姿态估计方法在复杂人-物交互场景下存在两个核心问题。首先是空间模糊性问题：由于LiDAR点云缺乏丰富的语义信息，在人和物体紧密接触的区域（如手握伞柄、脚踩踏板、人倚靠墙壁），即使人眼也难以精确区分哪些点属于人体、哪些点属于物体。论文通过实验证明，在Waymo数据集上，SOTA方法DAPT的分割精度与姿态误差存在显著负相关（相关系数R=-0.59），说明区分能力的缺失直接导致姿态估计错误。其次是类别不平衡问题：频繁交互的身体部位（FIR，即手和脚）由于尺寸小，LiDAR点数远少于其他身体部位。在论文展示的统计图中，即使在对数尺度上，手和脚的点数也明显低于躯干等部位。例如在Waymo数据集上，手腕误差比非FIR中误差最高的肘关节高出32.96%，在InterCap数据集上，脚踝误差比肘关节高出38.46%。

本文的目标是本文的目标是构建一个能够有效学习人-物交互先验的框架，从而在LiDAR点云上实现鲁棒的3D人体姿态估计。具体而言，希望通过大规模预训练学习多样化的HOI场景，使模型能够：1）在交互区域准确区分人体点和物体点，解决空间模糊问题；2）平衡不同身体部位的表示能力，确保手、脚等稀疏但重要的部位不被忽略；3）在真实世界LiDAR数据集上取得超越现有SOTA方法的性能。

与已有工作不同的是，现有方法（如DAPT、LPFormer）主要关注从SMPL合成数据学习身体姿态先验，再在真实LiDAR数据上微调，但未显式建模人-物交互。这些方法将交互区域中的点和非交互区域同等对待，导致在骑行、撑伞、倚墙等场景下表现不佳。本文的独特切入角度是将预训练范围从身体姿态先验扩展到人-物交互先验，通过5个独立的HOI数据集（BEHAVE、CHAIRS、HODome、OMOMO、InterCap）共计约1.6M样本，让模型学习在交互区域如何区分人和物体，以及如何处理交互部位的特征表示。

核心方法

HOIL框架基于Point Transformer V3构建，包含预训练和微调两个阶段。整体思路是：先在合成LiDAR数据上学习HOI先验，再迁移到真实LiDAR数据。预训练阶段，输入来自SMPL人体和3D物体网格的合成LiDAR点云，通过射线投射生成。PTv3编码器提取特征，关键创新是将Grid Pooling中的max pooling替换为CPPool，根据部位和接触信息自适应分配池化权重。解码器恢复到原始分辨率后，HOICL在解码器特征上进行对比学习，增强交互区域的人和物体点区分度。微调阶段，在Waymo和SLOPER4D等真实LiDAR数据集上仅使用3D关键点估计目标训练，利用预训练学到的判别性特征空间。输出包括点级分割Sp、点级接触Cp、3D关键点坐标K和关键点级接触CK。

核心创新点在于两个模块的协同设计：HOICL通过多层次对比学习解决空间模糊性，CPPool通过自适应加权解决类别不平衡。HOICL包含全局分离、FIR-物体对齐、人-物接触对齐三个分量，特别强调交互区域的特征判别性。CPPool预测池化权重，压缩非接触的过表示身体部位和物体点，保留稀疏但关键的交互部位点。两者相辅相成：HOICL学到的判别性特征帮助CPPool更准确地识别交互部位，CPPool保留的交互部位点又为HOICL提供更好的特征空间。与已有方法的本质区别在于，现有方法将池化和学习目标独立设计，而HOIL将交互先验同时注入到特征表示（HOICL）和特征聚合（CPPool）两个层面。

方法步骤详情

HOIL的完整流程包含以下步骤：1）输入处理：给定LiDAR点云，通过空间填充曲线排序得到，嵌入得到初始特征Fp。2）编码阶段：对于每个编码器阶段i，首先应用CPPool：预测部位分数（来自softmax归一化的分割头，给手、脚更大权重）、接触分数、重要性logit，组合得到池化logit，在网格单元内softmax得到权重，加权聚合得到池化特征。3）序列化和Transformer：对池化后的点和特征重新序列化，通过Transformer块得到更新特征。重复L个阶段得到编码器输出。4）解码阶段：通过存储的映射反向传播特征，与编码器特征跳连融合，最终得到原始分辨率特征。5）关键点预测：可学习关键点查询通过交叉注意力聚合点特征，预测3D关键点和接触。6）HOICL对比学习（仅预训练）：投影解码器特征到归一化嵌入空间，计算三个分量损失，总损失。7）可选时序细化：CTRefine通过自注意力对关键点坐标时序建模，再通过交叉注意力结合接触线索细化。

技术新颖性

技术新颖性体现在三个层面：1）任务层面：首次将HOI先验显式引入LiDAR 3D人体姿态估计，通过5个数据集的大规模预训练从姿态先验扩展到交互先验。2）损失函数层面：HOICL创新性地设计了三层对比学习，全局层保证所有身体-物体部件分离，FIR层强调手/脚与物体的区分，接触层直接针对交互区域。这与传统对比学习仅在全局或类级别工作不同。3）架构层面：CPPool将池化权重预测与部位语义和接触状态耦合，公式将先验知识以对数概率形式融入，理论上保证了权重的正归性和可微性。与max pooling的均匀采样相比，CPPool实现了信息感知的下采样。

Overall pipeline of HOIL.
Fig. 2: Overall pipeline of HOIL.
Human-object interaction-aware contrastive learning.
Fig. 3: Human-object interaction-aware contrastive learning.

实验结果

论文在Waymo和SLOPER4D两个真实LiDAR数据集上进行了全面评估。在Waymo数据集上，HOIL的MPJPE为48.83mm，相比SOTA方法DAPT（51.59mm）降低了5.35%，PCK-3从97.34%提升到98.51%，PCK-5从98.98%提升到99.14%。这些提升在复杂交互场景（骑行、撑伞、倚墙）中尤为明显。例如在撑伞场景下，DAPT因空间模糊错误预测右臂举起，而HOIL正确预测右手自然置于腰部附近；在骑行场景下，DAPT错误预测为站立姿态，HOIL成功预测为坐姿。在SLOPER4D数据集上，提升更加显著：MPJPE从DAPT的28.01mm降至22.68mm，降低了19.03%，PCK-3从99.30%提升到99.67%，PCK-5从99.87%提升到99.91%。消融实验验证了各组件的有效性：HOICL的三个分量（Global CL、FIR CL、Contact CL）各自贡献性能提升，其中Contact CL增益最大；CPPool加入接触信息后MPJPE提升2.32%，PCK-5超过99%；CTRefine在InterCap上相比无细化降低MPJPE约5.6%（从38.87mm降至36.69mm），且优于Gaussian、Savitzky-Golay、One-Euro等传统滤波方法。与其他对比学习技术比较，HOICL（48.83mm MPJPE）显著优于SupCon（50.07mm）、KCL（50.03mm）、BCL（49.92mm）、TSC（49.73mm）等方法，证明了针对HOI设计的对比学习的有效性。

Dataset configuration. We utilize 5 human-object interaction datasets.
Table 1: Dataset configuration. We utilize 5 human-object interaction datasets.
Ablation of human-object interaction-aware contrastive learning on Waymo [31]. CL refers to contrastive learning.
Table 2: Ablation of human-object interaction-aware contrastive learning on Waymo [31]. CL refers to contrastive learning.
Quantitative comparison of various contrastive learning techniques on Waymo [31]. Baseline is a cross-entropy (CE) loss without contrastive learning.
Table 3: Quantitative comparison of various contrastive learning techniques on Waymo [31]. Baseline is a cross-entropy (CE) loss without contrastive learning.
Ablation of contact-aware part-guided pooling on Waymo [31].
Table 4: Ablation of contact-aware part-guided pooling on Waymo [31].
Ablation of contact-based temporal refinement on InterCap [13]. Note that temporal refinement is only conducted in this experiment.
Table 5: Ablation of contact-based temporal refinement on InterCap [13]. Note that temporal refinement is only conducted in this experiment.
Quantitative comparison with SOTA methods of 3D human pose estimation on Waymo [31] and SLOPER4D [7].
Table 6: Quantitative comparison with SOTA methods of 3D human pose estimation on Waymo [31] and SLOPER4D [7].
Quantitative comparison of various temporal refinement techniques on InterCap [13].
Table S1: Quantitative comparison of various temporal refinement techniques on InterCap [13].
Computational requirements of HOIL.
Table S3: Computational requirements of HOIL.
Qualitative comparison of 3D human pose estimation with the state-of-the-art method [1] on Waymo [31]. Red circles indicate exemplar regions that HOIL outperforms previous methods.
Fig. 4: Qualitative comparison of 3D human pose estimation with the state-of-the-art method [1] on Waymo [31]. Red circles indicate exemplar regions that HOIL outperforms previous methods.
查看结构化数据
任务指标本文基线提升
3D人体姿态估计 MPJPE (mm) 48.83 DAPT: 51.59 ↓5.35%
3D人体姿态估计 PCK-3 (%) 98.51 DAPT: 97.34 ↑1.17%
3D人体姿态估计 PCK-5 (%) 99.14 DAPT: 98.98 ↑0.16%
3D人体姿态估计 MPJPE (mm) 22.68 DAPT: 28.01 (SLOPER4D) ↓19.03%
3D人体姿态估计 PCK-5 (%) 99.91 DAPT: 99.87 (SLOPER4D) ↑0.04%

局限与改进

作者承认的局限性包括：1）未利用与LiDAR配对的RGB信息。虽然LiDAR提供精确几何线索，但缺乏RGB图像丰富的语义和上下文信息，远距离行人点数极少时，视觉编码器可提供补充线索。2）训练数据中HOI多样性有限。虽然使用了5个HOI数据集，但骑行、摩托车等路边常见交互缺失，模型只能间接学习相似坐姿。3）LiDAR径向扫描导致的距离衰减问题未解决，远处点密度低影响性能。此外，我观察到：1）方法依赖合成数据预训练，合成-真实域gap可能影响性能；2）CTRefine模块是可选的，且在SLOPER4D上提升有限（MPJPE仅降低0.07mm），表明其普适性需要进一步验证；3）CPPool的部位权重是固定向量，缺乏数据驱动的自适应能力。

独立分析的弱点

论文的独立分析弱点包括：1）合成-真实域gap问题。预训练数据来自SMPL网格射线投射的合成LiDAR，而真实LiDAR存在噪声、遮挡、密度不均等问题。虽然通过微调缓解，但域差异仍可能限制性能上限。改进方向：引入域适应技术，如对抗训练或自监督对齐，缩小合成与真实特征空间的分布差异。2）远距离场景性能下降。LiDAR点密度随距离衰减，远距离行人每个身体部位可能只有几个点，此时CPPool和HOICL都难以有效工作。改进方向：结合多模态信息（RGB/热成像）或设计跨尺度特征融合机制，利用粗粒度几何和细粒度视觉互补。3）固定部位权重限制适应性。CPPool的对FIR（手/脚）分配更大权重，但不同场景下重要部位可能不同（如手持物时手更关键，踢球时脚更关键）。改进方向：将改为可学习参数或基于场景上下文的动态权重。4）HOICL依赖点级真值标签。预训练需要合成的点级分割和接触标签，限制了在缺乏标注数据的应用。改进方向：探索弱监督或自监督的对比学习，利用运动一致性或几何约束构造伪标签。

未来方向

作者提出的未来方向：1）利用新兴的可控骑行数据生成方法，如果能够生成带SMPL标注的骑行数据，可用于大规模预训练提升骑行姿态性能。2）扩展到多模态融合，结合LiDAR的几何优势和RGB的语义优势。基于成果的可延伸方向：1）将HOIL思想扩展到其他LiDAR感知任务，如3D物体检测、场景理解，通过物体-环境交互先验提升性能。2）研究时序上的HOI建模，当前CTRefine仅利用接触线索，可探索如何建模交互状态的时序演化（如从握伞到松伞的动态过程）。3）探索端到端的HOI数据生成，直接在LiDAR空间生成多样化交互样本，减少对SMPL网格的依赖。4）将方法应用于实际自动驾驶系统，评估在实时约束下的性能，并探索如何利用HOI预测结果进行下游任务如行人意图预测。

复现评估

论文承诺代码将开源，这为复现提供了基础。预训练使用5个公开HOI数据集（BEHAVE、CHAIRS、HODome、OMOMO、InterCap），微调使用Waymo和SLOPER4D公开数据集。合成LiDAR生成采用射线投射到SMPL和3D物体网格，并添加地面和墙壁平面，网格尺寸0.01米，过程可复现。训练在单张NVIDIA A6000 GPU上进行，预训练和微调各50个epoch，批量大小64，AdamW优化器，预训练学习率3×10^-4，微调5×10^-4，余弦退火调度。模型包含53.02M参数，训练时预训练内存33,198MB，微调20,262MB，推理时8,435MB，速度155.52Hz（每帧约6.43ms），计算量393.89 GFLOPs。这些具体的配置和资源需求有利于复现。潜在挑战：合成LiDAR生成细节（射线投射实现、噪声水平）可能未完全公开，可能需要额外调试。总体而言，复现难度中等偏高，主要挑战在于数据准备和GPU内存需求。

论文图表

Main challenges for 3D human pose estimation from LiDAR points.
Fig. 1: Main challenges for 3D human pose estimation from LiDAR points.

图展示两个核心挑战：空间模糊性问题，左侧显示LiDAR点云，中间展示3D人体姿态估计结果，红色圆圈标出模糊点，对比GT和预测的差异；类别不平衡问题，柱状图显示不同身体部位的点数，手和脚的点数显著低于其他部位，纵轴为对数尺度。Head和Tail作为参考基准。

这张图对理解论文动机至关重要，直观展示了为什么LiDAR姿态估计需要HOI先验：空间模糊导致混淆，类别不平衡导致关键部位被忽略。后续的HOICL和CPPool正是分别解决这两个问题。

Correlation between segmentation accuracy and human pose estimation error of state-of-the-art method [1] on Waymo [31].
Fig. S1: Correlation between segmentation accuracy and human pose estimation error of state-of-the-art method [1] on Waymo [31].

补充图展示DAPT在Waymo上的分割精度与姿态误差的散点图及线性回归线，相关系数R=-0.59，说明分割精度越高姿态误差越低，验证空间模糊性问题对姿态估计的影响。

这张图为论文动机提供实证支持，证明区分人和物体点的能力与姿态估计性能直接相关，为HOICL的设计提供依据。

Error by human body joints of state-of-the-art method [1] on Waymo [31] and InterCap [13]. Red rectangles indicate errors from wrists and ankles which correspond to frequently interacting parts (e.g., hands and feet).
Fig. S2: Error by human body joints of state-of-the-art method [1] on Waymo [31] and InterCap [13]. Red rectangles indicate errors from wrists and ankles which correspond to frequently interacting parts (e.g., hands and feet).

补充图展示DAPT在不同数据集上各身体关节的误差分布，红色矩形标出手腕和脚踝（对应FIR）的误差：在Waymo上手腕误差最高，在InterCap上脚踝误差最高，且显著高于非FIR关节。

这张图为类别不平衡问题提供实证支持，证明FIR部位确实存在更高误差，为CPPool的设计提供依据。