← 返回 2026-04-01

Ghost-FWL：面向幽灵点检测与去除的大规模全波形 LiDAR 数据集 Ghost-FWL: A Large-Scale Full-Waveform LiDAR Dataset for Ghost Detection and Removal

Kazuma Ikeda, Ryosei Hara, Rokuto Nagata, Ozora Sako. Zihao Ding, Takahiro Kado, Ibuki Fujioka, Taro Beppu, Mariko Isogawa, Kentaro Yoshioka 📅 2026-03-30 👍 5 2026-07-13 08:36
3D Perception Autonomous Driving Full-Waveform Ghost Detection LiDAR SLAM
arXiv HuggingFace PDF

首个移动场景全波形 LiDAR 数据集，利用完整时间强度剖面消除玻璃引起的虚假反射点

前置知识

LiDAR (Light Detection and Ranging)

激光雷达通过发射激光脉冲并测量返回信号的时间差来计算距离，从而重建环境的三维结构。传统商用 LiDAR 只输出最强反射峰对应的距离和强度，形成点云数据。LiDAR 具有长距离感知能力且不受光照变化影响，因此在自动驾驶、机器人和大规模地形测绘中被广泛使用。

理解 LiDAR 的基本工作原理和点云表示是理解本文的起点，因为 ghost 问题正是传统 LiDAR 在处理反射表面时的固有缺陷。

全波形 LiDAR (Full-Waveform LiDAR, FWL)

全波形 LiDAR 记录每个激光方向的完整时间强度剖面，而不是只提取最强的峰值。这保留了多路径反射、材料依赖的反射行为以及每个峰值的详细时间形状等丰富物理信息。论文中的 FWL 传感器产生 512×400 像素的直方图，每个方向最多记录 700 个时间箱，时间分辨率约 1 纳秒，最大测量距离 105 米。

本文的核心创新就是利用 FWL 的完整波形信息而非传统点云来区分真实反射和虚假的 ghost 反射，理解 FWL 的数据结构和物理意义是理解方法的基础。

Ghost Points (幽灵点)

Ghost 点是激光脉冲在透明或反射表面（如玻璃）上发生多路径反射后产生的虚假三维点。这些点出现在物理上不存在的位置，会破坏 3D 地图的准确性。例如，玻璃后面的真实物体会在玻璃表面产生镜像 ghost，或者玻璃本身会将激光反射到错误的位置。随着 LiDAR 传感器灵敏度提高，现代系统中这个问题更加普遍。

Ghost 点是本文要解决的核心问题，理解它的产生机制和对下游任务的危害是理解论文动机的关键。

Masked Autoencoder (MAE)

掩码自编码器是一种自监督学习方法，通过随机遮蔽输入的一部分区域，然后仅根据未遮蔽的部分重建被遮蔽内容来学习数据表示。最初在图像领域提出，后来扩展到视频、点云等数据。MAE 的核心思想是让模型学习数据的结构和统计规律，而不依赖人工标注。

本文提出的 FWL-MAE 是 MAE 在全波形数据上的专门扩展，显式建模峰值的位置、幅度和宽度等物理属性，用于在有限标注数据上预训练表示学习模型。

SLAM (Simultaneous Localization and Mapping)

同步定位与建图是指机器人或车辆在未知环境中同时估计自身位置和构建环境地图的技术。LiDAR-based SLAM 使用点云数据通过匹配连续帧的几何特征来估计运动轨迹。定位误差通常用绝对轨迹误差（ATE）和相对轨迹误差（RTE）来衡量。

SLAM 是本文验证 ghost 去除效果的关键下游任务之一，因为 ghost 点会导致地图中出现不存在的几何结构，从而引起定位偏差。

研究动机

LiDAR 在自动驾驶、机器人和智慧城市应用中已成为不可或缺的感知传感器，但它面临一个严重问题：激光脉冲在玻璃、镜子等透明或反射表面上会发生多路径反射，产生虚假的三维点，即 ghost 点。这些 ghost 点出现在物理上不存在的位置，会严重破坏 3D 建图和定位精度。例如，在目标检测中，ghost 可能被误认为是玻璃后面的真实行人或车辆，导致虚假警报；在 SLAM 中，ghost 点会在地图中生成不存在的几何结构，引起帧对齐错误和定位漂移，甚至导致系统崩溃。这个问题随着现代 LiDAR 技术的发展而变得更加严重：更高的传感器灵敏度虽然提高了检测范围，但也同时放大了微弱的多路径返回信号，使 ghost 在现代系统中更加普遍。

本文的目标是本文的具体目标是建立一个能够在移动 LiDAR 场景下有效检测和去除 ghost 点的学习框架。为此，作者首先提出了 Ghost-FWL 数据集，这是第一个面向移动场景的大规模标注全波形 LiDAR 数据集，包含 75 亿个峰值级别的标注，是之前标注数据集的 100 倍。基于这个数据集，作者提出了基于 FWL 的 ghost 去除基线方法，并进一步设计了专门针对全波形数据的自监督表示学习方法 FWL-MAE，以在有限标注数据上获得更好的特征表示。最终目标是提升下游任务（如 SLAM 和 3D 目标检测）在包含反射表面的真实环境中的性能。

与已有工作不同的是，现有 ghost 去除方法主要依赖于点云中的几何一致性，例如利用对称性或统计特征来识别和移除异常点。然而，这些方法假设静态、高密度的扫描设置（如建筑或地形测量中的固定高精度扫描仪），无法推广到机器人或自动驾驶场景中典型的稀疏、动态、单帧数据。在真实世界的移动 LiDAR 场景中，每帧的几何线索有限，难以建立可靠的几何一致性。本文的独特切入角度是利用全波形 LiDAR（FWL）捕获的完整时间强度剖面而非仅仅峰值距离，这为区分 ghost 和真实反射提供了关键的强度和时间线索。通过挖掘 FWL 数据中编码的多路径反射特征，本文能够在几何线索不足的移动场景中实现 robust 的 ghost 检测，这是之前工作所未探索的。

核心方法

方法的整体思路是利用全波形 LiDAR 的完整时间强度剖面来区分真实反射和虚假的 ghost 反射。首先，从 FWL 传感器获取每个激光方向的原始波形数据，这是一个三维张量，其中 H 乘 W 是空间维度，T 是时间维度（波形长度）。然后，通过一个基于 Transformer 的编码器提取特征表示，再用一个多层感知机（MLP）分类头对每个波形坐标进行分类，判断其对应的反射峰属于哪一类：Object（真实物体反射）、Glass（玻璃表面反射）、Ghost（虚假反射）或 Noise（噪声）。检测到 ghost 相关的峰后，从 FWL 数据中移除它们，得到的清理后的数据可以用于下游任务。为了在有限标注数据上获得更好的特征表示，作者还提出了 FWL-MAE，这是一个专门为 FWL 数据设计的自监督预训练方法。

本文的核心创新点是首次利用全波形 LiDAR 的完整时间强度剖面来解决移动场景下的 ghost 检测问题，而之前的工作主要依赖点云中的几何一致性。全波形数据保留了多路径反射的丰富物理信息，包括材料依赖的反射行为、表面几何、入射角以及通过玻璃等反射结构的多路径反射等时间特征，这些在传统点云输出中被抑制或完全丢失。另一个关键创新是 FWL-MAE，这是专门为 FWL 数据设计的掩码自编码器，它不仅重建被掩码的波形区域，还显式建模峰值的物理属性（位置、幅度和宽度），通过 L1 损失约束这些属性的预测，使模型学习到更符合 FWL 数据物理特征的表示。这与现有的面向图像或瞬态图像的 MAE 方法本质不同，后者不显式建模直方图特定的统计属性。

方法步骤详情

方法分为两个主要阶段：自监督预训练和 ghost 检测与去除。在预训练阶段，FWL-MAE 接收形状为 (H, W, T) 的 FWL 数据作为输入，随机采样 (x, y) 空间区域内的 patches，并掩码每个选中 patch 中 T 轴上的所有时间箱。掩码后的数据通过包含 6 个 Transformer 块的编码器，每个块有 6 个注意力头，输出潜在表示。解码器重建被掩码的区域，同时用一个线性头估计每个波形中主峰的位置、幅度和宽度。总损失函数是 LFWL-MAE 等于 LMSE 加上 λp 乘 Lpeak-p 加上 λa 乘 Lpeak-a 加上 λw 乘 Lpeak-w，其中 LMSE 是重建误差，Lpeak-p、Lpeak-a、Lpeak-w 分别是峰值位置、幅度和宽度的 L1 损失。在 ghost 检测与去除阶段，使用预训练的编码器提取 FWL 数据的特征，保持其权重冻结，然后应用一个轻量级分类头（两个线性层）预测所有坐标的类别概率。通过移除预测为 Ghost 的峰对应的 3D 点，获得过滤后的点云，可用于下游任务如 SLAM 或 3D 目标检测。分类阶段使用 focal loss 来缓解类别不平衡问题，因为 Ghost 等少数类与多数类 Noise 共存。

技术新颖性

本文的技术新颖性体现在三个方面。首先，这是第一个利用全波形 LiDAR 数据进行 ghost 检测和去除的工作，将 FWL 处理从传统的以测距为中心的范围扩展到对 FWL 数据的物理解释。与之前专注于距离估计的 FWL 处理工作不同，本文直接学习时间峰值结构来基于物理原因分类峰值。其次，提出的 FWL-MAE 是第一个专门针对直方图数据设计的表示学习模型，它显式建模 FWL 数据中的时间连续性和峰值信息，这与主要进行体素级重建且不考虑峰值位置或分布形状等直方图特定统计属性的 MARMOT 等方法本质不同。第三，本文建立了 Ghost-FWL 数据集，这是第一个面向移动场景的大规模标注 FWL 数据集，包含 75 亿个峰值级别的标注，填补了之前没有公开移动 FWL 数据集且带有 ghost 特定峰值级别标注的空白。与依赖静态高精度扫描仪或缺乏峰值级别标签的现有数据集相比，Ghost-FWL 反映了机器人或自动驾驶中典型的稀疏、动态、反射性强的真实移动条件。

Overview of the Ghost-FWL. Left: Our dataset includes both indoor and outdoor scenes. Based on the dense 3D maps as shown in Scene, we annotated FWL data with semantic labels: Ghost (red), Object (green), Glass (blue), Noise. Gray regions are excluded from annotation. Right shows the data acquisition setup and dataset statistics, including the incident angle distribution and LiDAR positions examples. Data were collected at three different times of day: Morning (AM10–12), Daytime (PM12–5), and Evening (PM5–7).
Figure 2: Overview of the Ghost-FWL. Left: Our dataset includes both indoor and outdoor scenes. Based on the dense 3D maps as shown in Scene, we annotated FWL data with semantic labels: Ghost (red), Object (green), Glass (blue), Noise. Gray regions are excluded from annotation. Right shows the data acquisition setup and dataset statistics, including the incident angle distribution and LiDAR positions examples. Data were collected at three different times of day: Morning (AM10–12), Daytime (PM12–5), and Evening (PM5–7).
FWL-based ghost removal framework. Given FWL data, our framework predicts and removes ghost-related signals. Our model consists of a transformer-based encoder and an MLP head. We further introduce FWL-MAE, a masked autoencoder designed for representation learning on FWL data, explicitly trained to reconstruct peak position, amplitude and width. The ghosts detected by our model are then removed from FWL data, and the cleaned data are utilized for downstream tasks such as SLAM and 3D object detection.
Figure 3: FWL-based ghost removal framework. Given FWL data, our framework predicts and removes ghost-related signals. Our model consists of a transformer-based encoder and an MLP head. We further introduce FWL-MAE, a masked autoencoder designed for representation learning on FWL data, explicitly trained to reconstruct peak position, amplitude and width. The ghosts detected by our model are then removed from FWL data, and the cleaned data are utilized for downstream tasks such as SLAM and 3D object detection.

实验结果

实验结果分为三个部分。首先，在 ghost 去除评估中，提出的模型在峰值级别召回率达到 0.751，ghost 去除率达到 0.918，优于不使用 FWL-MAE 预训练的模型（Recall 0.704，Removal Rate 0.900）和使用通用瞬态成像 MAE 预训练的 MARMOT（Recall 0.746，Removal Rate 0.910）。这证明了 FWL-MAE 预训练的有效性，它能够更好地捕获 FWL 数据的物理特征。定性评估显示，该方法成功消除了各种类型的 ghost 伪影，包括水平或垂直传播的 ghost，以及建筑物之间出现的 ghost。其次，在 SLAM 评估中，使用 ghost 去除的方法显著提高了定位精度。与 Dual-Peak 基线相比，绝对轨迹误差（ATE）降低了 66%（从 0.715 正负 0.433 米降至 0.245 正负 0.138 米），相对轨迹误差（RTE）降低了 67%（从 0.741 正负 0.406 米降至 0.245 正负 0.131 米）。与 Multi-Peak 基线相比，ATE 降低了 84%（从 1.547 正负 1.394 米降至 0.245 正负 0.138 米），RTE 降低了 85%（从 1.602 正负 1.381 米降至 0.245 正负 0.131 米）。改进在玻璃表面附近最为明显，那里来自 ghost 反射的累积定位误差得到了有效抑制。第三，在 3D 目标检测评估中，与基线 LiDAR 处理方法相比，本文方法将 ghost 误报率降低了 50 倍（从 67.9% 降至 1.34%）。定性评估显示，出现在玻璃表面后面的行人 ghost 被有效移除，使检测器能够正确识别仅真实对象。

Comparison of LiDAR real-world datasets for ghost detection and/or full-waveform analysis. Our Ghost-FWL contains mobile LiDAR full-waveform measurements and is one hundred times larger than prior work, making it the largest annotated FWL dataset.
Table 1: Comparison of LiDAR real-world datasets for ghost detection and/or full-waveform analysis. Our Ghost-FWL contains mobile LiDAR full-waveform measurements and is one hundred times larger than prior work, making it the largest annotated FWL dataset.
Comparison of ghost removal performance with other methods.
Table 2: Comparison of ghost removal performance with other methods.
SLAM performance under different LiDAR signal preprocessing methods.
Table 3: SLAM performance under different LiDAR signal preprocessing methods.
Ghost-induced false positives in ghost detection.
Table 4: Ghost-induced false positives in ghost detection.
Peak classification results and point cloud visualization after applying ghost removal. All results were obtained using the proposed framework. Red, green and blue indicates Ghost, Object, Glass, respectively.
Figure 4: Peak classification results and point cloud visualization after applying ghost removal. All results were obtained using the proposed framework. Red, green and blue indicates Ghost, Object, Glass, respectively.
Trajectory and mapping generated by SLAM using Multi-Peak processing (left) and our ghost removal method (right). Multi-Peak processing includes numerous ghost points in the reconstructed map, leading to trajectory drift. The proposed method yields a trajectory that more closely follows the ground-truth path (white) by effectively removing ghost artifacts.
Figure 5: Trajectory and mapping generated by SLAM using Multi-Peak processing (left) and our ghost removal method (right). Multi-Peak processing includes numerous ghost points in the reconstructed map, leading to trajectory drift. The proposed method yields a trajectory that more closely follows the ground-truth path (white) by effectively removing ghost artifacts.
Qualitative evaluation of 3D object detection with Multi-Peak processing (left) and our ghost removal (right). Green bounding boxes indicate persons. With Multi-Peak, a ghost person is detected behind the glass wall, whereas our method suppresses this false detection.
Figure 6: Qualitative evaluation of 3D object detection with Multi-Peak processing (left) and our ghost removal (right). Green bounding boxes indicate persons. With Multi-Peak, a ghost person is detected behind the glass wall, whereas our method suppresses this false detection.
查看结构化数据
任务指标本文基线提升
Ghost Detection (Peak-level) Recall 0.751 MARMOT: 0.746 / Ours w/o FWL-MAE: 0.704 +0.7% vs MARMOT, +6.7% vs Ours w/o FWL-MAE
Ghost Removal (Point-level) Ghost Removal Rate 0.918 MARMOT: 0.910 / Ours w/o FWL-MAE: 0.900 +0.9% vs MARMOT, +2.0% vs Ours w/o FWL-MAE
SLAM Localization Absolute Trajectory Error (ATE) [m] 0.245 正负 0.138 Dual-Peak: 0.715 正负 0.433 / Multi-Peak: 1.547 正负 1.394 -66% vs Dual-Peak, -84% vs Multi-Peak
SLAM Localization Relative Trajectory Error (RTE) [m] 0.245 正负 0.131 Dual-Peak: 0.741 正负 0.406 / Multi-Peak: 1.602 正负 1.381 -67% vs Dual-Peak, -85% vs Multi-Peak
3D Object Detection Ghost False Positive Rate [%] 1.34 Dual-Peak: 75.8 / Multi-Peak: 67.9 -98.2% vs Dual-Peak, -98.0% vs Multi-Peak (50x reduction)

局限与改进

作者承认的局限性包括：数据集的峰值级别标注集中在静态多视点捕获以确保高标注质量，连续移动序列包含用于自监督预训练但保持未标注状态。扩展对这些序列的标注将有助于跟踪和时间建模。此外，数据集强调晴朗天气下的玻璃引起的 ghost（最常见的城市场景），调查其他反射材料（如水、抛光金属）和恶劣条件（如雨、雾）将实现更全面的多路径理解。我自己的观察是，方法依赖于高质量的 3D 地图进行标注，这在没有预先建图的未知环境中可能不可用。此外，论文没有讨论计算复杂度和实时性，这对于自动驾驶等实时应用至关重要。论文还只验证了室内外建筑物场景，没有评估更复杂的城市场景（如多层玻璃建筑、各种类型的车辆反射等）。

独立分析的弱点

从独立分析的角度看，论文存在几个可以改进的弱点。首先，数据集标注依赖于高精度 3D 地图和手动对齐，这在没有预先建图的未知环境中难以扩展。改进方向是开发弱监督或无监督的标注方法，或者利用合成数据来增强标注效率。其次，论文没有提供关于模型推理速度的计算复杂度分析，这对于自动驾驶等实时应用至关重要。改进方向是优化模型架构，减少推理时间，或者设计轻量级模型用于移动部署。第三，论文只验证了晴朗天气下的玻璃引起的 ghost，没有考虑雨、雾、雪等恶劣天气条件下的多路径反射行为。改进方向是收集多样化的天气和反射材料数据，增强模型的泛化能力。第四，论文中的实验主要在相对简单的室内外建筑物场景中进行，没有评估更复杂的城市场景（如多层玻璃建筑、各种类型的车辆反射、动态物体等）。改进方向是在更复杂和多样化的城市场景中进行大规模验证。最后，论文没有讨论与其他传感器（如相机、毫米波雷达）融合的可能性，这可能进一步提高 ghost 检测的鲁棒性。改进方向是探索多模态融合的方法，利用互补信息提高检测精度。

未来方向

作者提出的未来工作方向包括：将峰值级别标注扩展到连续移动序列，这将有助于跟踪和时间建模。调查其他反射材料（如水、抛光金属）和恶劣条件（如雨、雾）以实现更全面的多路径理解。基于成果可以延伸的未来研究方向包括：开发更高效的自监督学习方法，减少对标注数据的依赖；探索跨场景和跨传感器的迁移学习，提高模型的泛化能力；研究端到端的 ghost 去除与下游任务联合优化的框架，而不是分阶段处理；将方法扩展到其他类型的 LiDAR 传感器和配置；开发实时推理优化和硬件加速方案，以满足自动驾驶的实时性要求；研究与其他传感器（如相机、毫米波雷达）的融合方法，利用多模态信息提高检测鲁棒性；探索 ghost 预测和避免的方法，而不仅仅是检测和去除。

复现评估

论文的复现性评估：论文公开了数据集、代码和基准测试，可以通过项目页面 https://keio-csg.github.io/Ghost-FWL/ 访问。数据集包含 24,412 个标注帧和 75 亿个峰值级别标签，这是公开的最大标注 FWL 数据集。传感器规格明确：FWL 传感器系统产生 512 乘 400 像素的直方图，每个方向最多记录 700 个时间箱，时间分辨率约 1 纳秒，最大测量距离 105 米。数据分割为 13,853 帧训练、2,994 帧验证和 1,427 帧测试。实现细节在补充材料中提供，包括超参数、网络架构细节和训练策略。然而，论文没有明确说明所需的硬件资源（GPU 型号、内存等）和训练时间，这些信息对复现很重要。自定义 FWL 采集系统需要直接访问 LiDAR 硬件的 FPGA 模块，这可能不是所有研究者都能获得的硬件。总体而言，复现难度为中等：数据和代码是公开的，但需要特定的硬件支持和相对较高的计算资源。

论文图表

LiDAR data often contains ghost points caused by multi-path reflections from glass and reflective materials (top right), which appear as spurious structures that do not physically exist. Ghost leads to substantial errors in tasks such as detection (left (a)) and localization and mapping (left (b)). We address this issue by introducing the Ghost-FWL dataset (bottom right) and a ghost removal framework.
Figure 1: LiDAR data often contains ghost points caused by multi-path reflections from glass and reflective materials (top right), which appear as spurious structures that do not physically exist. Ghost leads to substantial errors in tasks such as detection (left (a)) and localization and mapping (left (b)). We address this issue by introducing the Ghost-FWL dataset (bottom right) and a ghost removal framework.

这张图展示了 ghost 问题对 LiDAR 感知的严重影响。左侧 (a) 显示在目标检测任务中，玻璃产生的 ghost 导致误将虚假物体检测为真实行人；左侧 (b) 显示在定位与建图任务中，ghost 点在重建的地图中生成不存在的几何结构，引起轨迹漂移。右上角图解了 ghost 的产生机制：激光从物体反射，然后从玻璃再次反射，产生虚假的 ghost 点。右下角展示了论文提出的 Ghost-FWL 数据集框架，包含峰值级别的标注。

这张图对理解论文非常重要，因为它直观地展示了 ghost 问题的存在和危害，以及本文提出的解决方案。它帮助读者快速理解为什么要解决 ghost 问题，以及 ghost 是如何产生的。