添加小助理微信AIDriver004，加入自动驾驶之心近30+方向技术交流群！

论文作者 | 胡浩天

编辑 | 自动驾驶之心

大家好，很开心能够受邀来到自动驾驶之心分享我们最近针对多模态BEV 3D目标检测的改进方案——EA-LSS。下面将会给大家详细介绍EA-LSS的设计思路与实验。

近年来，Lift-Splat-Shot-based（LSS-based）的多视图3D目标检测模型取得了巨大进展，其将2D相机视角和3D Lidar 视角的特征统一转换到鸟瞰图(BEV)中再进行融合。然而深度估计不准仍然是制约 LSS-base 3D 目标检测模型精度的重要原因，尤其是图像中深度显著变化(“深度跳变”)的区域。因此，我们提出一种全新的边缘感知转换框架EA-LSS。通过耦合精细深度估计模块和边缘梯度感知模块，该框架进一步细化了对深度网络(DepthNet)的约束，并且对图像中“深度跳变”区域进行了额外的监督。EA-LSS 可以即插即用到各种 LSS-based 的BEV 3D目标检测模型中，其在几乎不降低推理速度的同时有效提高了基线性能。nuScenes beachmarks 中对 EA-LSS 的验证表明了其有效性和高效性。其在 nuScenes 测试集中的mAP和NDS指标分别达到了76.5%和77.6%，位居榜单第一。

论文贡献

总结来说，我们提出的 EA-LSS 主要有以下几点贡献：

• 提出了边缘感知深度融合模块和精细化深度模块，有效缓解了深度网络对图像深度快速变化区域拟合能力弱的问题以及深度预测和真值在尺寸匹配过程中的失准问题。

  
  

• 提出了边缘感知转换框架 EA-LSS，其作为一种全新的多模态深度预测范式，有效的提高了深度信息在深度估计任务中的利用率。

  
  

• 全面的实验。在不增加推理时间和推理资源的情况下，EA-LSS 显著提高了在 nuScenes 3D 目标检测基准上的几个最先进的 BEV baselines 。

方法提出

BEV 感知任务的核心问题之一在于如何在 2D 图像中重建丢失的深度信息，并为后续网络提供精确的BEV特征。Lift-Splat-Shot(LSS) 预测2D 特征图上每个像素的深度分布，并通过对应的深度估计将每个网格的 2D 特征“提升(lift)”到体素空间。然而，由于真实场景中部分区域间的深度差较大，这些“深度跳变”区域导致现有的深度网络(DepthNet)的预测值和实际深度有着显著差距，从而造成场景边缘的图像特征在体素中的位置偏移或丢失。如图1所示。

为了提高DepthNet 在“深度跳变”区域的精度，我们提出了边缘梯度感知模块，其为深度网络提供了额外的场景边缘信息，以帮助模型更好的适应了物体间深度的快速变化。图像经过了backbone 后被下采样了若干倍，导致图像深度预测图和点云投影深度图的尺寸不匹配。为了更好地解决上述问题，我们提出了一种全新的精细深度估计模块。额外的上采样分支被用于在模型训练时匹配特征图和真值间的尺寸差异，这使得深度网络可以更精细的感知整个场景的深度分布，并最大程度保留原始深度信息。上采样分支仅在训练中使用，因此不会影响模型在推理中的速度和资源消耗。

边缘感知转换框架EA-LSS 耦合了边缘梯度感知模块和精细深度估计模块，其作为一个即插即用的视图转换器，可以适配于各种 LSS-base 的BEV 3D 目标检测模型。EA-LSS 可以辅助网络更精细的估计单目图像中的深度分布，并且使网络更好的适应图像中“深度跳变”区域，这对于正确的指导后续网络有着重要意义。

方法设计

如图2所示，EA-LSS 由边缘感知深度融合模块(Edge-aware Depth Fusion Module, EADF)和精细化深度模块(Fine-grained Depth Module，FGD)耦合而成，可以预测细粒度全局深度分布并且关注深度跳变区域。下面将分别介绍 FGD 模块、EADF 模块以及整体的EA-LSS网络。

Fine-Grained Depth Module

我们提出了一种精细化深度模块来逐点的约束深度网络。为了保留精确的深度信息，我们提出令上采样分支作为额外的深度预测网络用于监督。由于点云投影极为稀疏，若直接计算点云投影深度图和预测深度图间的损失，投影图中过多的零值会导致拟合难度增加。因此，我们提出了精细化深度损失来约束深度网络，该监督仅计算了投影深度图中非零值点和其对应深度估计中像素间的损失，这有效的排除了投影深度图中零值点对深度网络的干扰。

此外，由于背景点往往分布在相近深度区间中，为了使深度估计网络可以有效学习少量的前景点的深度信息，我们使用 Focal loss来计算损失。精细化深度损失函数如下所示：

Edge-aware Depth Fusion Module

为了缓解深度网络对图像深度快速变化区域拟合能力弱的问题，我们提出了边缘梯度感知模块。

此外，我们提出了边缘感知深度融合损失，保证网络可以学习到其“跳跃式”的深度变化关系。其定义为：

Edge-aware Lift-splat-shot Framework

实验

我们使用 BEVFusion、BEVDepth、BEVFusion 和 Tig-bev作为 baseline 在 nuScenes 数据集上来验证 EA-LSS 的有效性和高效性，并遵循了其原本的参数设置。

在 EADF 特征之后的两个卷积层通道数分别为 32、64。在上采样分支的三个卷积层的通道数设置为 256，128，128。卷积层的卷积核大小为5，步长和填充大小都设置为2。

在深度预测网络中的五个卷积层的通道数分别设置为 256、256、40、128 和 1。上下文特征之前的两个卷积层的通道数为 256 和 128。这些卷积层的卷积核大小为 3，步长和填充都设置为 1。

对比实验

从表 1 所示为在 nuScenes 3D 目标检测验证集上的实验结果。从中可以看出，EA-LSS 在基于 LSS 的模型中均有较好的表现。插入EA-LSS后，camera-only 模型Tig-bev 的 mAP 和 NDS 分别提高了2.1% 和3.2%。与作为我们 baseline 的 BEVFusion 方法相比，mAP 和 NDS 分别提升了 1.6% 和 1.0%。

表 2 中，我们记录了在 nuScenens 3D 目标检测测试集上的实验结果对比。使用EA-LSS 框架后，mAP 和 NDS 相对于 BEVFusion 分别提高了 0.9% 和 1.1%。在增加了测试时间增强策略和模型集成策略之后，我们的 EA-LSS 方法的 mAP 和 NDS 分别达到了 76.5% 和 77.6%， 在 nuScenes 检测任务榜单上位列第一。

消融实验

表4 提供了 EADF 模块的分块和填充操作中使用不同大小的步长 k在 nuScenes 3D 目标检测验证集上的性能。当 k= 7 时，性能达到最优。若步长 k过大，则会导致深度图分辨率过低，而当步长 k过小时，会导致深度图中零值点过多。

为了研究深度预测网络在“深度跳变”区域进行错误的预测带来的影响，我们引入了上限分析法。表 5 中我们使用 3D 激光雷达信息作为真值代替场景边缘预测的深度，图像分支的 mAP 和 NDS 分别提高了3.6% 和 2.9%。这个结果阐明了“深度跳变”问题的重要性。

可视化结果

在图 6 中我们提供了 EA-LSS 在 nuScenes 数据集上的可视化结果。图中从左到右分别为真值图、BEVFusion 检测结果和 EA-LSS 的检测结果。其中黄色框为汽车，蓝色框为行人，红色框为卡车。

总结

我们提出了一种全新的边缘感知转换框架 EA-LSS，其可以即插即通到任意 LSS-based 的 3D 目标检测模型中。EADF 模块的提出缓解了图像深度估计过程中出现的“深度跳变”问题，使得网络更加关注场景的边缘信息。FGD 模块实现了预测深度图和真实深度图间精细的尺寸匹配，充分利用了 Lidar 深度信息来监督深度网络，以捕捉全局深度变化。我们在 nuScenes beachmarks 中进行了广泛实验，证明 EA-LSS 在几乎不增加推理时间的前提下，有效提高多种单模态和多模态模型中不同 baseline 的精度，可以作为一种即插即用的高效视图转换器。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！

扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵