测试了18种场景和5个框架，我发现了LiDAR SLAM的通病！

来源：计算机视觉工坊

添加小助理：CV3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 论文信息

标题：Evaluating and Improving the Robustness of LiDAR-based Localization and Mapping

作者：Bo Yang, Tri Minh Triet Pham, Jinqiu Yang

机构：Concordia University

原文链接：https://arxiv.org/abs/2409.10824

代码链接：https://github.com/boyang9602/LiDARLocRobustness

1. 引言

近十年来，机器人和自动化系统变得越来越普及。其中，机器人、无人机和自动驾驶汽车因被广泛应用及相关的安全问题而备受关注。定位对于这些系统至关重要，因为它能够跟踪机器人在环境中的位置。在户外，全球导航卫星系统（GNSS）被广泛应用于定位。相比之下，在城市、隧道和室内环境中，由于卫星信号较弱，GNSS的应用受到限制，因此更倾向于使用同步定位与地图构建（SLAM）系统，因为它们不依赖于外部信号，并能可靠地在室内和室外进行导航。出于这些原因，SLAM在机器人和自动驾驶领域的定位和地图构建相关任务中被广泛使用。SLAM方法使用摄像头、激光雷达（LiDAR）或二者的组合，并可选择性地集成惯性测量单元（IMU）。与视觉SLAM相比，LiDAR SLAM具有更高的地图构建精度和更好的稳定性，受光照条件影响较小，且不会出现尺度漂移。这些优势使其在大规模用例中备受欢迎，并促进了该领域的研究和应用。

尽管LiDAR SLAM近年来取得了显著进展，但仍面临诸多挑战。在晴朗条件下，激光信号非常稳定，但在雨天和雾天，激光信号会显著衰减，导致LiDAR SLAM在恶劣天气条件下性能下降。由于硬件限制、运动、光照、灰尘或反射面等因素的影响，点云数据中常出现噪声。此外，机械式、固态和相控阵LiDAR传感器的构建方式各不相同，为其中一种设计的SLAM可能无法与其他类型的传感器互换使用。不稳定性会导致定位算法误算当前位置的偏差。根据偏差的大小，它可能导致自动驾驶汽车驶离道路或进入错误的车道。在机器人系统中，这会导致唤醒或“绑架”机器人问题，因为连续两帧位置之间的大差距可能使机器人无法恢复，即由于定位失败而停止工作，或重置并启动耗资巨大的恢复和重新定位过程，丢弃已学习的地图/知识。LiDAR传感器面临的这些挑战引发了人们对SLAM在不同环境中性能的担忧。为此，尚缺乏对这些问题在LiDAR SLAM中的表现和影响的全面评估。此外，随着基于学习的SLAM研究投入的增加，由于深度神经网络（DNNs）对噪声的敏感性，又引发了额外的鲁棒性问题。然而，在这方面缺乏比较评估。因此，在本文中，我们评估了这些应用在恶劣天气、嘈杂环境和数据丢失等常见LiDAR数据损坏情况下的鲁棒性。一旦发现问题，我们将探讨当前的防御策略（如重新训练和去噪）是否足以解决这些问题。

2. 摘要

激光雷达是同步定位和绘图(SLAM)以及基于地图的全球定位最常用的传感器之一。SLAM和基于地图的定位对于自主系统的独立运行至关重要，尤其是在GNSS等外部信号不可用或不可靠的情况下。虽然最先进的(SOTA)激光雷达SLAM系统可以实现0.5%的误差(即每100米0.5米)，并且基于地图的定位可以实现厘米级的全球定位，但仍不清楚它们在各种常见的激光雷达数据破坏下的鲁棒性如何。在这项工作中，我们在18种常见的场景级激光雷达点云数据(PCD)破坏下广泛评估了五种基于SOTA激光雷达的定位系统。我们发现，基于激光雷达的定位的鲁棒性因类别而异。对于SLAM，手工制作的方法通常对大多数类型的损坏都是健壮的，但是对于特定的损坏是极其脆弱的(高达+80%的错误)。基于学习的方法容易受到大多数类型的破坏。对于基于地图的全球定位，我们发现SOTA抵抗所有应用的讹误。最后，我们发现简单的双边滤波去噪有效地消除了基于噪声的破坏，但对基于密度的破坏没有帮助。再培训能更有效地保护基于学习的SLAM免受各种类型的腐败。

3. 主要贡献

我们的贡献可以概括如下：

• 我们提出了一种新的框架，用于评估当前最先进的基于LiDAR的定位技术在常见LiDAR数据损坏情况下的鲁棒性。据我们所知，这是首次研究该问题的工作。推荐课程：彻底剖析激光-视觉-IMU-GPS融合SLAM算法：理论推导、代码讲解和实战。

• 我们研究了常见防御策略（如去噪和重新训练）在应对常见LiDAR数据损坏方面的有效性。

• 我们公开分享了我们的代码和数据。

4. 执行细节

不同类型的LiDAR SLAM方案总结。

激光雷达SLAM系统部署在复杂多样的环境中，这些环境可能会影响激光雷达的灵敏度。因此，评估此类系统在不同环境中的鲁棒性和可靠性至关重要。我们的框架采用了总共18种云数据损坏扰动来模拟各种环境，如恶劣天气条件和设备故障。我们选择了一套全面的损坏类型，这些损坏类型反映了影响整个激光雷达扫描而非单个物体的常见现象。表I总结了扰动类型的列表。

天气扰动。恶劣天气如雨雪会对激光雷达扫描的质量产生负面影响。空气中随机分布的雨滴、雪花和雾滴会散射光线并干扰激光雷达的测量，从而在生成的点云数据中注入噪声。此外，由于降水，湿地面总是与雨雪同时出现，其反射特性与干地面不同。我们的框架模拟了以下天气条件，既考虑了天气条件对激光雷达的直接影响（如液滴引起的散射），也考虑了湿地对激光雷达的影响（如反射）。

雨或雪。我们利用现成的天气模拟器LISA来模拟在雨雪等恶劣天气下的点云数据。LISA利用基于物理的模型来模拟雨雪天气中激光脉冲的衰减返回，这一模型已被先前的工作[47]评估为现实可行。

雾。我们使用真实激光雷达点云上的雾模拟（FS）来模拟雾。虽然LISA已经包含了雾扰动，但它更为通用，而FS等工作提供了更好的雾模拟模型，且不需要如光通道信息等不可用的数据。因此，我们使用FS进行雾模拟。FS通过修改脉冲响应变化来模拟雾对现实世界激光雷达点云的影响，这些点云是在晴朗天气下记录的。FS通过模拟不同雾密度对环境和周围物体的影响来建模雾。

雨+湿地面（rain wg）。我们将LISA与湿地面模型结合使用，以产生比单独模拟雨更真实的模拟效果。湿地面模型建立了一个光学模型，根据水的厚度模拟湿地面上的反射。图2展示了这种损坏的一个示例。

雪+湿地面（snow wg）。与雨+湿地面类似，我们通过将LISA的雪模拟与湿地面模型结合应用于点云数据，来产生更真实的雪天模拟效果。

噪声扰动。噪声在激光雷达测量过程中由于内部（如设备振动和测量误差）或外部（如灰尘和背景光）因素而产生。我们在点云数据上设计了扰动来模拟由这些内部和外部因素引起的误差。表II详细列出了噪声扰动的信息。

一帧点云数据被标记为P =pii = 1, 2, ...N，其中N是点云中的点数。我们在两种坐标系（笛卡尔坐标系和球坐标系，简称CCS和SCS）上应用三种噪声分布（高斯、均匀和脉冲）来模拟不同的噪声源。在CCS中，一个点由p = {x, y, z}表示，即每个平面上的欧几里得距离；而在SCS中，一个点由p = {r, ϕ, θ}表示，其中r是范围（即从原点到点的欧几里得距离），ϕ是方位角，θ是极角。CCS中的噪声代表由传感器振动或旋转引起的不准确性，而SCS能更好地表示飞行时间（ToF）测量的不准确性。

除了重新定位现有的点云点外，我们还通过应用于CCS的背景噪声和上采样来合成新点，以模拟环境噪声，如空气中的灰尘。背景噪声在整个空间中随机添加点，而上采样则在随机选择的点附近添加点。

密度扰动。点的密度可能由于内部（如设备故障）或外部（如物体之间的遮挡和物体表面的反射）因素而改变。我们模拟了五种与密度相关的损坏：局部密度增加、局部密度减少、裁剪、光束删除和层删除。这些损坏的定义列在表III中。

5. 提升LiDAR SLAM的鲁棒性

再训练。基于学习的系统是数据驱动的，可以学习如何适应数据分布。我们期望这些系统能够通过再训练自行学习如何处理损坏的数据，这是深度学习的一种常见增强和防御策略。

去噪。一旦识别出效率低下的问题，手工算法预计将由专家进行调整和适应。因此，此类改进是逐案进行的，缺乏通用性。因此，在本工作中，对于非基于学习的SLAM，我们专注于对数据进行去噪，这是一种更通用的方法。点云去噪通过从激光雷达扫描中去除不需要的噪声来提高其质量。去噪分为三类，即基于滤波器、基于优化和基于深度学习的方法，每种方法都有其优缺点。在本工作中，我们采用了一种基于滤波器的方法，即双边滤波器，该方法可靠且显著快于其他方法，同时在保留强度的同时易于实现。

6. 实验结果

7. 总结 & 未来工作

在本文中，我们广泛评估了基于激光雷达的定位系统（包括SLAM和基于地图的定位）的鲁棒性。研究结果表明，各种基于激光雷达的SOTA（State-Of-The-Art，最先进技术）SLAM系统都容易受到特定类型的激光雷达数据损坏的影响。我们进一步证明，简单的双边滤波器去噪可以有效消除基于噪声的数据损坏，但基于密度的数据损坏问题仍未解决。此外，我们还表明，通过向数据中增加损坏数据的方式进行数据增强，可以显著提高基于学习的激光雷达SLAM的鲁棒性，甚至有助于其在清洁数据上的性能。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

3D视觉工坊提供35个顶会论文的课题如下：

1、基于环境信息的定位，重建与场景理解

2、轻是级高保真Gaussian Splatting

3、基于大模型与GS的 6D pose estimation

4、在挑战性遮挡环境下的GS-SLAM系统研究

5、基于零知识先验的实时语义地图构建SLAM系统

6、基于3DGS的实时语义地图构建

7、基于文字特征的城市环境SLAM

8、面向挑战性环境的SLAM系统研究

9、特殊激光传感器融合视觉的稠密SLAM系统

10、基于鲁棒描述子与特征匹配的特征点法SLAM

11、基于yolo-world的语义SL系统

12、基于自监督分割的挑战性环境高斯SLAM系统

13、面向动态场景的视觉SLAM系统研究

14、面向动态场景的GS-SLAM系统研究

15、集成物体级地图的GS-SLAM系统

16、挑战场景下2D-2D，2D-3D或3D-3D配准问题

17、未知物体同时重建与位姿估计问题类别级或开放词汇位姿估计问题

18、位姿估计中的域差距问题

19、可形变对象(软体)的实时三维重建与非刚性配准

20、机器人操作可形变对象建模与仿真

21、基于图像或点云3D目标检测、语义分割、轨迹预测.

22、医疗图像分割任务的模型结构设计

23、多帧融合的单目深度估计系统研究

24、复杂天气条件下的单目深度估计系统研究高精度的单目深度估计系统研究

25、基于大模型的单目深度估计系统研究

26、高精度的光流估计系统多传感器融合的单目深度估计系统研究

27、基于扩散模型的跨域鲁棒自动驾驶场景理解

28、水下图像复原/增强

30、Real-World图像去雾(无监督/物理驱动)

31、LDR图像/视频转HDR图像/视频

32、光场图像增强/复原/超分辨率

33、压缩后图像/视频的增强/复原

34、图像色彩增强(image retouching)

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊官网：www.3dcver.com

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。