ECCV'24 实时扫描，精准捕捉！开启相移轮廓测量运动误差自我补偿

0.这篇文章干了啥？

这篇文章提出了一种名为“二项式自补偿”(Binomial Self-compensation, BSC)的算法，用于动态三维扫描中的运动误差校正。在动态测量中，相位移 profilometry (PSP) 技术由于其高精度、鲁棒性和像素级特性而受到青睐，但其对物体静止的基本假设在实际应用中往往被打破，导致物体移动时产生误差，影响点云数据的平滑性。作者提出的BSC算法能够有效且灵活地消除四步PSP中的运动误差，通过数学模型证明，按二项式系数加权连续的运动影响相位帧，随着二项式阶数的增加，运动误差会指数级减小，实现对运动影响相位序列的自动误差补偿，无需任何中间变量。

实验结果显示，BSC算法在减少运动误差方面优于现有的方法。文章还讨论了该算法的局限性，指出了对低频纹理假设和对多个图像进行深度计算的依赖性。文章展望了未来的研究方向，包括将算法扩展到更一般的相移步骤、进一步减小双目基线以提高测量精度等。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Binomial Self-compensation for Motion Error in Dynamic 3D Scanning

作者：Geyou Zhang , Ce Zhu等

作者机构：University of Electronic Science and Technology of China等

论文链接：https://arxiv.org/pdf/2404.06693

2. 摘要

位移测量（PSP）因其高精度、鲁棒性和逐像素特性而在高精度三维扫描中受到青睐。然而，PSP的一个基本假设是物体应保持静止，这在动态测量中被违反，使得PSP容易受到物体运动的影响，从而在点云中产生波纹状的误差。我们提出了一种逐像素和逐帧可循环的二项式自补偿（BSC）算法，以有效且灵活地消除四步PSP中的运动误差。我们的数学模型表明，通过将受运动影响的相位帧按二项式系数加权相加，随着二项式阶数的增加，运动误差呈指数级减少，从而实现通过受运动影响的相位序列进行自动误差补偿，而不需要任何中间变量的辅助。大量实验表明，我们的BSC在减少运动误差方面优于现有方法，同时实现了与相机采集速率相等的深度图帧率（90 fps），使高精度三维重建能够以准单次快照的帧率进行。代码可在 https://github.com/GeyouZhang/BSC 获取。

3. 效果展示

四个不同动态物体的测量结果。第一栏：木蝴蝶模型，翅膀拍打，第二列：移动的雕像，第三列：挥手，第四列：手显示剪刀，石头和布的姿态。自上而下：我们的平衡计分卡和传统的四步PSP。

4. 主要贡献

1. 提出了一种新的二项式自补偿（BSC）算法，用于在动态三维扫描中消除由于物体运动引起的误差。这种算法特别适用于四步相移轮廓测量法（PSP），能够在不需要任何中间变量的情况下，有效地减少运动误差 。

2. 开发了一种新的数学模型，该模型展示了通过将受运动影响的相位帧按二项式系数加权求和，随着二项式阶数的增加，运动误差会指数级减小，从而实现自动误差补偿 。

3. 通过实验验证了BSC算法在减少运动误差方面优于现有方法，并且能够实现与相机采集率（90 fps）相等的深度图帧率，从而在准单拍帧率下实现高精度的三维重建 。推荐课程：聊一聊经典三维点云方法，包括：点云拼接、聚类、表面重建、QT+VTK等

4. 该算法不仅继承了PSP的像素级优势，而且具有高时间分辨率，能够实现准单次拍摄的三维成像帧率，提供了动态三维扫描场景中的即插即用增强功能 。

5. 论文还讨论了算法的局限性，包括对低频纹理的假设以及在处理具有复杂高频纹理的对象时可能出现的伪影。同时，论文也展望了未来的研究方向，包括将算法扩展到更一般的相移步骤，并进一步减小双目基线以提高测量精度 。

6. 提出了一种新的系统架构，包括主摄像头、辅助摄像头和投影仪，用于利用单套高频条纹模式重建三维点云。该系统设计了一个非常短的两个摄像头之间的基线，以便使用高频条纹，同时确保主摄像头与投影仪之间的基线足够长，以保证足够的精度 。

7. 论文还介绍了一种立体相位展开方法，通过预设的深度范围，建立了主摄像头每个像素对应的辅助摄像头的视差范围，并利用相位引导的绝对差分算法检索主摄像头和辅助摄像头之间的对应关系，最终计算出相位序列 。

5. 基本原理是啥？

这篇文章提出的二项式自补偿（BSC）算法的基本原理是利用动态三维扫描中受运动影响的相位帧本身来补偿运动误差，而不需要依赖任何额外的中间变量。算法的核心思想是通过将连续的、受运动影响的相位帧按照二项式系数进行加权求和，随着二项式阶数的增加，运动误差会指数级减小，从而实现自动误差补偿。

在四步相移轮廓测量法（PSP）中，由于物体的运动，会导致相位测量值中出现误差。BSC算法通过构建一个数学模型，该模型展示了运动影响的相位帧按二项式系数加权求和后，运动误差如何随着二项式阶数的增加而减少。通过这种方式，算法能够有效地消除由于物体运动引起的相位误差，恢复出更准确的三维形貌。

此外，BSC算法不仅继承了PSP的像素级优势，而且具有高时间分辨率，能够实现准单次拍摄的三维成像帧率，提供了动态三维扫描场景中的即插即用增强功能。

6. 实验结果

实验评估了所提出的二项式自补偿（BSC）算法的性能，并与现有的几种方法进行了比较。实验结果表明，BSC算法在减少运动误差方面优于现有的方法，并且能够实现与相机采集率（90 fps）相等的深度图帧率，从而在准单拍帧率下实现高精度的三维重建。

实验中，研究者们构建了一个实验系统，包括两个AVT 1800U-120c相机和TI DLP4500投影仪，相机的分辨率为1280×960，投影仪的分辨率为912×1140。通过这些设备，研究者们测试了BSC算法在不同运动速度下的绝对精度，并与几种现有的方法进行了比较，包括传统的四步相移法、HTC、μ-FTP、PFD和PFS。结果表明，BSC算法在减少运动误差方面表现更好，并且随着二项式阶数K的增加，误差显著减少。此外，BSC算法在处理高频纹理时假设了低频纹理，对于中度对比度的纹理具有鲁棒性，但在处理具有高对比度纹理的物体时可能会出现伪影。

总的来说，BSC算法通过利用运动影响的相位序列本身，而不是依赖任何中间变量，有效地消除了四步PSP中的运动误差。这不仅提高了三维扫描的精度，还保持了高时间分辨率，为动态三维扫描场景提供了即插即用的增强功能。

7. 总结 & 未来工作

我们提出了一种逐像素和逐帧可循环的二项式自补偿算法，以有效且灵活地消除四步PSP中的运动误差，无需任何中间变量的辅助。

高频纹理：我们的BSC算法假设对象的纹理为低频纹理，类似于大多数运动补偿算法，对于中等对比度的纹理具有鲁棒性。然而，在处理具有高对比度纹理的对象时，我们的方法会引入类似于典型相位移测量方法的伪影。

相位展开误差：我们采用了一种常见的块匹配算法进行立体匹配，这在测量复杂表面时会引入明显的相位展开误差。未来，我们将对相位异常值进行分层调整，以优化点云的精度。

适用速度范围：我们的BSC算法假设相位移误差 较小。因此，如图10所示，当 增加时，会产生残余运动误差。适当地降低条纹频率可以减少 ，从而缓解BSC在高速物体上性能下降的问题。

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: CV3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。