GLC-SLAM：加入回环和全局优化以后，GS SLAM直接原地起飞

来源：3DCV

添加小助理：CV3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门独家秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 论文信息

标题：GLC-SLAM: Gaussian Splatting SLAM with Efficient Loop Closure

作者：Ziheng Xu, Qingfeng Li, Chen Chen, Xuefeng Liu, Jianwei Niu

机构：北航

原文链接：https://arxiv.org/abs/2409.10982

1. 引言

视觉SLAM在虚拟现实/增强现实（VR/AR）、机器人导航和自动驾驶等各种应用中发挥着关键作用。过去十年中，已经开发了多种使用不同场景表示的视觉SLAM方法，从使用点云、面元和体素的传统方法，到利用神经辐射场（NeRF）的神经隐式方法。传统SLAM方法提供了准确的跟踪和实时地图构建，但难以生成高质量、纹理丰富的地图或合成新的视图。相比之下，基于NeRF的SLAM方法提供了连贯的地图构建和准确的表面重建，但受限于体渲染的高计算成本，阻碍了实时性能。

最近，3DGS作为NeRF的一个有前景的替代品出现，它以显著更快的渲染和训练速度提供了可比较的高质量渲染。因此，基于高斯溅射表示的SLAM方法在照片级真实感渲染、高保真重建和实时性能方面表现出色。值得注意的是，3D高斯图可以明确地进行编辑和变形，使其特别适用于地图校正。

然而，现有的基于3DGS的SLAM方法面临由于缺少用于相机姿态和构建地图的全局调整的闭环检测而导致的误差累积和地图失真的挑战。虽然Photo-SLAM结合了基于ORB-SLAM的闭环检测，但其对基于特征的跟踪器的依赖限制了闭环检测的有效性，因为跟踪器无法利用地图细化。基于NeRF的SLAM方法集成了在线闭环检测以实现准确且鲁棒的跟踪，但需要存储历史帧并重新训练整个隐式地图以更新闭环校正，这代价高昂。在基于3DGS的SLAM中缺乏鲁棒且高效的闭环检测是实现大规模环境中全局一致性的关键限制。

为了应对这些挑战，我们提出了GLC-SLAM，一种具有高效闭环检测的高斯溅射SLAM系统，旨在减轻大型室内场景中的累积跟踪误差并减少地图漂移。我们的方法逐步构建3D高斯子图，每个子图锚定到相应的全局关键帧。为了保持全局一致性，我们采用了一种分层闭环策略，通过局部优化细化的无漂移子图来增强全局闭环。在检测到闭环时，向姿态图添加节点和边，随后进行姿态图优化。优化结果通过直接地图调整更新到相关子图。此外，我们明确建模高斯不确定性，并引入了一种不确定性最小化的关键帧选择方法，用于稳健的主动子图优化。如图1所示，GLC-SLAM成功解决了地图漂移问题，并提高了场景几何和细节，实现了高保真和全局一致的地图构建。我们在各种数据集上进行了实验，结果表明我们的方法在与现有密集RGB-D SLAM方法相比时，实现了稳健的跟踪和准确的地图构建性能。

2. 摘要

3D Gaussian Splatting (3DGS)因其在密集同步定位与地图创建(SLAM)中的应用而受到广泛关注，能够实现实时渲染和高保真地图创建。然而，现有的基于3DGS的SLAM方法经常遭受累积的跟踪误差和地图漂移，特别是在大规模环境中。为了解决这些问题，我们引入了GLC-SLAM，这是一个高斯Splatting SLAM系统，集成了相机姿态和场景模型的全局优化。我们的方法采用帧到模型跟踪，并使用全局到局部策略触发分层环路闭合，以最小化漂移累积。通过将场景划分为3D高斯子地图，我们可以在大场景中进行循环修正，从而提高地图更新的效率。此外，我们的不确定性最小化关键帧选择策略优先考虑观察更有价值的3D高斯图的关键帧，以增强子地图优化。在各种数据集上的实验结果表明，与最先进的密集RGB-D SLAM系统相比，GLC-SLAM实现了优越的或有竞争力的跟踪和映射性能。

3. 效果展示

ScanNet上的重建结果0054。我们的方法有效地减轻了高斯SLAM中固有的严重地图漂移，同时与高斯SLAM相比，还提供了更优的场景几何和细节。

4. 主要贡献

我们的主要贡献总结如下：

• 一种高斯溅射SLAM系统，实现了在大规模环境中对3D高斯子图的鲁棒帧到模型跟踪和全局一致地图构建。推荐课程：实时400FPS！高精NeRF/Gaussian SLAM定位与建图。

• 高效的闭环检测模块，包括全局到局部的闭环检测、姿态图优化和直接地图更新，以减少累积误差和地图漂移。

• 不确定性最小化的关键帧选择策略，该策略在子图优化期间选择观察到更稳定3D高斯体的信息性关键帧，以提高地图的准确性和鲁棒性。

5. 方法

我们的系统由三个过程组成：跟踪、映射和闭环。跟踪过程通过最小化跟踪损失来估计和细化相机姿态{R，t}。场景作为高斯子图进行管理，而局部映射过程则使用不确定性最小化策略选择关键帧来优化活动子图。如果检测到环路，环路闭合过程会在线触发环路闭合，然后进行有效的映射调整，以纠正累积误差并减轻映射漂移。

6. 实验结果

7. 总结 & 未来工作

我们提出了GLC-SLAM，这是一个密集的RGB-D SLAM系统，该系统利用三维高斯子图进行局部建图和跟踪，并利用位姿图进行全局位姿和地图优化。由于层次化的闭环检测和快速的地图更新，所提出的闭环模块有效减少了累积误差和地图漂移。为了进一步提高子图优化的鲁棒性，我们设计了一种不确定性最小化的关键帧选择策略，以选择观察到更多信息性三维高斯分布的关键帧。我们的实验表明，GLC-SLAM利用了三维高斯表示的优势，并配备了闭环检测功能，从而在各种数据集上展示了优越的跟踪和渲染性能以及具有竞争力的建图精度。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

3D视觉工坊提供35个顶会论文的课题如下：

1、基于环境信息的定位，重建与场景理解

2、轻是级高保真Gaussian Splatting

3、基于大模型与GS的 6D pose estimation

4、在挑战性遮挡环境下的GS-SLAM系统研究

5、基于零知识先验的实时语义地图构建SLAM系统

6、基于3DGS的实时语义地图构建

7、基于文字特征的城市环境SLAM

8、面向挑战性环境的SLAM系统研究

9、特殊激光传感器融合视觉的稠密SLAM系统

10、基于鲁棒描述子与特征匹配的特征点法SLAM

11、基于yolo-world的语义SL系统

12、基于自监督分割的挑战性环境高斯SLAM系统

13、面向动态场景的视觉SLAM系统研究

14、面向动态场景的GS-SLAM系统研究

15、集成物体级地图的GS-SLAM系统

16、挑战场景下2D-2D，2D-3D或3D-3D配准问题

17、未知物体同时重建与位姿估计问题类别级或开放词汇位姿估计问题

18、位姿估计中的域差距问题

19、可形变对象(软体)的实时三维重建与非刚性配准

20、机器人操作可形变对象建模与仿真

21、基于图像或点云3D目标检测、语义分割、轨迹预测.

22、医疗图像分割任务的模型结构设计

23、多帧融合的单目深度估计系统研究

24、复杂天气条件下的单目深度估计系统研究高精度的单目深度估计系统研究

25、基于大模型的单目深度估计系统研究

26、高精度的光流估计系统多传感器融合的单目深度估计系统研究

27、基于扩散模型的跨域鲁棒自动驾驶场景理解

28、水下图像复原/增强

30、Real-World图像去雾(无监督/物理驱动)

31、LDR图像/视频转HDR图像/视频

32、光场图像增强/复原/超分辨率

33、压缩后图像/视频的增强/复原

34、图像色彩增强(image retouching)

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊官网：www.3dcver.com

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。