CoRL'24 | 缺少LiDAR数据？DDFH让你的3D物体检测主动学习！

0.这篇文章干了啥？

这篇文章提出了一种名为 DDFH 的新颖主动学习框架，用于基于 LiDAR 的 3D 目标检测。该框架结合了模型特征和几何特征，通过分析点云数据中的实例级分布差异和帧级特征异质性，并引入置信度平衡来提高对不平衡类别的标注效率。实验结果表明，DDFH 在 KITTI 和 Waymo 数据集上均显著减少了标注成本（减少了56%），并提高了检测性能（提升了1.8%），展现出其在现有方法中的显著优势。这一框架有效地整合了多种技术，能够在降低标注成本的同时提取更加丰富的信息，从而提升了3D目标检测的整体效果。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Distribution Discrepancy and Feature Heterogeneity for Active 3D Object Detection

作者：Huang-Yu Chen, Jia-Fong Yeh等

作者机构：National Taiwan University等

论文链接：https://arxiv.org/pdf/2409.05425

2. 摘要

基于LiDAR的3D物体检测是自动驾驶和机器人技术发展的关键技术。然而，数据标注的高成本限制了其进步。我们提出了一种新颖且有效的主动学

习（AL）方法，称为分布差异与特征异质性（DDFH），该方法同时考虑了几何特征和模型嵌入，从实例级和帧级视角评估信息。分布差异用于评估未标注和已标注分布中的实例差异和新颖性，从而使模型在有限数据下高效学习。特征异质性确保帧内实例特征的异质性，保持特征的多样性，同时避免冗余或相似的实例，从而最大限度地降低标注成本。最后，使用分位数变换高效聚合多个指标，提供统一的信息量度。大量实验证明，DDFH在KITTI和Waymo数据集上优于现有的最先进（SOTA）方法，成功减少了56.3%的边界框标注成本，并在单阶段和双阶段模型上表现出较强的鲁棒性。

3. 效果展示

这篇文章提出了一种名为 DDFH 的新颖主动学习框架，用于基于 LiDAR 的 3D 目标检测。该框架结合了模型特征和几何特征，通过分析点云数据中的实例级分布差异和帧级特征异质性，并引入置信度平衡来提高对不平衡类别的标注效率。实验结果表明，DDFH 在 KITTI 和 Waymo 数据集上均显著减少了标注成本（减少了56%），并提高了检测性能（提升了1.8%），展现出其在现有方法中的显著优势。这一框架有效地整合了多种技术，能够在降低标注成本的同时提取更加丰富的信息，从而提升了3D目标检测的整体效果。

4. 主要贡献

1. 提出了DDFH主动学习框架：针对LiDAR点云3D目标检测，结合模型特征和几何特征，提出了一种新颖的主动学习框架DDFH，有效提高了标注效率和模型性能。

2. 引入分布差异和特征异质性：通过实例级的分布差异和帧级的特征异质性探索点云数据，提高了对不平衡类别的标注质量。

3. 引入置信度平衡机制：在标注过程中引入了置信度平衡机制，特别针对不平衡类别，提升了模型在这些类别上的表现。

4. 显著减少标注成本：实验表明，DDFH框架相比于现有最先进方法减少了约56%的标注成本，显著提升了标注效率。

5. 提升检测性能：与SOTA方法相比，DDFH在多个评估指标上提升了检测性能，特别是在复杂场景和不平衡类别中表现出色。

5. 基本原理是啥？

1. 分布差异（Distribution Discrepancy, DD）：通过评估不同类别在点云数据中的分布差异，DDFH框架优先选择那些在标注集中实例较少的类别。这种方式使模型能够更加关注小众类别（如行人和骑车人），从而减少类别不平衡问题对模型训练的影响。

2. 特征异质性（Feature Heterogeneity, FH）：通过分析帧级别的特征异质性，DDFH能够识别出在不同帧之间特征差异较大的样本。这样的样本往往包含更丰富的信息，通过对这些样本进行标注，可以提升模型对多样化场景的适应能力。

3. 置信度平衡（Confidence Balance, CB）：为了应对不同类别置信度不均衡的问题，DDFH引入了置信度平衡机制。在每一轮的标注选择中，框架会根据置信度分布动态调整标注策略，确保置信度较低的类别能够得到充分的标注，从而提高模型对这些类别的检测能力。

4. 主动学习机制：DDFH通过主动学习的策略，逐步选择对模型最具信息价值的样本进行标注。与随机选择不同，主动学习的核心在于通过不确定性、差异性等因素找到能最大化提升模型性能的样本，从而减少总体的标注需求。

6. 实验结果

1. DDFH与两阶段检测模型的实验结果

• KITTI 数据集：

• 实验设置：每种方法运行三次。

• 结果：DDFH方法在所有基准方法中表现最佳。与CRB和KECOR相比，DDFH在标注成本上分别减少了51.7%和33.2%，尤其在标注数量较少时，成本减少的速度特别快。推荐课程：聊一聊经典三维点云方法，包括：点云拼接、聚类、表面重建、QT+VTK等。

• 性能：在800个（1%）边界框标注的情况下，DDFH的平均性能超越了SOTA（最先进技术）2.23%，特别是在不平衡类（如骑车人）的性能提升达到4.17%。

• Waymo 数据集：

• 结果：在Level-1和Level-2的表现上，DDFH相比KECOR和CRB分别提升了1.8%和3.8%的APH（带方向的平均精度），并且在标注成本上分别减少了56.3%和66.4%，展示了DDFH在更多样化和复杂场景中的有效性。

2. DDFH与单阶段检测模型的实验结果

• 性能提升：

• 3D mAP：相比于SOTA，DDFH在3D mAP（平均精度）上提升了大约2.8%。

• BEV mAP：在BEV（鸟瞰视图）mAP上提升了2.28%。

• 分类表现：

• 车辆类别：DDFH在车辆类别上表现特别好，能够在最精简的标注成本下快速提升性能。

• 行人类别：基于不确定性的方法在少量标注的情况下表现优异，但由于缺乏对多样性的考虑，其性能受到限制。

3. 消融实验

• 置信度平衡的有效性：

• 结果：置信度平衡（CB）在处理不平衡类别（如骑车人）时，将3D mAP提升了4.3%。使用置信度平衡相较于未使用的情况，平均3D mAP下降了2.8%。

• 分布差异和特征异质性的有效性：

• 结果：分布差异（DD）显著提高了整体性能，尤其是在实例较少的类别（如行人和骑车人）上，DD能够更好地选择这些类别中的样本。仅使用特征异质性（FH）来估计信息量会过于限制，结合这两者可以有效提升所有类别的性能。

• 几何特征的有效性：

• 结果：考虑几何特征后，DDFH在3D mAP上平均提升了1.6%，表明多样的几何特征有助于模型捕捉更广泛的物体类型。

7. 总结 & 未来工作

我们提出了一种新颖的主动学习框架DDFH，用于基于LiDAR的3D目标检测，将模型特征与几何特征相结合。通过在实例级别探索点云数据的分布差异和帧级别的特征异质性，并引入置信度平衡，我们提升了对不平衡类别的标注效果。广泛的实验表明，与当前最先进的方法相比，DDFH将标注成本降低了56%，性能提高了1.8%，并且能够有效提取更丰富的信息，证明了其相较于现有方法的有效性。

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。