深度学习神器DYnet++：轻松驾驭复杂自由曲面，3D测量无难度！
作者：洛洛 | 来源：3DCV
在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接
添加v：dddvision，备注：结构光，拉你入群。文末附行业细分群
1、导读
传统的相位测量偏折测量技术在测量低反射率的表面和复杂曲面时存在一些问题。低反射率表面的捕获的条纹图案质量很差，无法正确提取相位。而复杂曲面会产生包含闭环和开环特征的复杂反射条纹图案，使得传统的单次拍摄相位测量方法难以获取相位。因此，本研究旨在利用深度学习技术解决这些问题，提出一种基于深度学习的单次拍摄相位测量偏折测量方法，以实现对复杂自由曲面的三维测量。
2、研究内容
一种基于深度学习的单次拍摄相位测量偏折测量法用于复杂自由曲面的三维测量。文章介绍了目前单次拍摄偏折测量法存在的两个主要问题：低反射率镜面表面的测量和复杂曲面的测量。为了解决这些问题，研究团队采用了低频率的复合光栅图案来提高低反射率表面的光栅可见度，并利用深度学习方法处理复杂曲面的相位测量。通过深度学习网络的训练和优化，可以实现单次拍摄下复杂曲面的三维测量和缺陷检测。
3、方法
利用深度学习网络模型DYnet++从单个复合图案中获取相位信息。为了训练深度学习模型，作者使用了一个具有九个致动器的可变形镜来生成各种表面形状的大量数据。通过将测量结果与16步相移法的结果进行比较，验证了所提出的基于深度学习的单次拍摄偏转测量方法的可行性。该方法的优点是可以在单次拍摄中获取复杂表面的相位信息，避免了传统相移法需要多张图像的缺点。深度学习网络模型能够学习并理解复杂的图案特征，从而准确地提取相位信息。这种方法在工业环境中具有广泛的应用前景，可以提高测量效率和准确性。需要注意的是，该方法目前还处于研究阶段，可能还存在一些局限性和改进空间。但是，基于深度学习的单次拍摄偏转测量方法在解决复杂表面测量问题方面具有很大的潜力，并且在实际应用中可能会得到更多的发展和改进。
3.1、偏转法表面测量原理
偏转法表面测量是一种用于测量光滑自由曲面的斜率测量技术。它使用屏幕（LCD屏幕）来显示调制的正弦条纹图案，该图案投射到被测曲面上，然后由相机接收反射的条纹图案。通过这种方式，我们可以获得曲面的斜率进行分析。如果我们可以获得两个正交的曲面斜率，就可以通过积分来重建曲面的形状和尺寸。对于缺陷检测，不仅需要检测曲面上的缺陷，还需要确定缺陷的形状和尺寸。因此，我们需要将两个正交的条纹图案（称为和图案）投射到被测曲面上，以获得曲面的斜率进行积分。传统上，使用相移方法来获取和方向上的曲面相位，因为它具有像素级的相位恢复和高分辨率。捕获的条纹图案可以通过以下数学表达式表示：
其中，和分别是捕获的和条纹图案的光强度；是相机的像素坐标；和是背景，和 是条纹调制；和是和方向上的相位；是相移数（），是相移的总数。通过这些捕获的条纹图案，可以通过以下公式恢复和方向上的相位：
其中，和是和的包裹相位。它们需要使用空间相位展开算法进行展开。是相移值。通常情况下，如果相移步数N越大，恢复的相位精度越高。
3.2、DYnet++
DYnet++是一种基于深度学习的单次拍摄相位测量偏折测量方法，用于测量低能见度和复杂镜面表面。DYnet++深度学习网络，用于从单个低频复合条纹图案中获取相位进行表面测量。DYnet++网络接受一个输入，即捕获的低频复合条纹图案，并输出每个解码器路径中的两个分子和两个分母项。通过训练过程，每个解码器路径将具有预测分子和分母的最佳参数。然后，通过这些量的反正切计算出x和y的包裹相位。DYnet++网络的结构受到Ynet和Unet++的启发。我们试图结合这些网络的优点来进行相位检测。DYnet++网络在Unet++的基础上添加了一个解码器路径，使其对称化。
3.3、DM
在这篇论文中，作者使用了可变形镜面（DM）来生成训练数据集。DM是一个可以通过施加力来改变形状的金属板。通过改变DM的形状，可以改变捕获到的条纹图案。使用DM生成训练数据的优点是可以快速生成大量的训练数据，只需改变镜面的形状即可。作者首先在液晶显示屏上显示复合图案，然后通过相机捕获反射的图案作为训练数据的输入。然后，作者使用相位移方法在x和y方向上显示16步的相位移图像，作为训练数据的真值。对于每个输入复合图案，相应的输出将是，，和。通过改变的形状，可以生成不同的训练数据。作者通过改变每个致动器的位置1000次来随机改变的形状，从而生成了总共4000个训练图像和真值。使用这种方法生成训练数据，网络可以学习如何从单个复合图案中预测正确的分子和分母。
4、实验结果
使用TensorFlow和Keras 2.8.0深度学习库实现了DYnet++。训练过程在一台配备Intel Core i9-12900K CPU、64 GB RAM和Geforce RTX-3090 GPU（NVIDIA）的台式计算机上进行。他们使用了不同形状的变形镜（DM）生成了训练数据集，总共生成了4000个训练图像和对应的地面真值。训练数据集的大小为320×240像素。他们使用了均方误差作为损失函数，并使用平均绝对误差作为评估指标。训练总共耗时约12小时。
在测试中，他们使用了与训练和验证数据不同的变形镜生成的复合图案作为输入。他们展示了一些测试结果，并与地面真值进行了比较。结果显示，DYnet++方法在形状重建方面与传统的16步相移方法相比具有相似的性能，而16步相移方法需要32张相移图像。此外，他们还进行了低可见度表面的测量和缺陷检测实验，结果表明DYnet++可以从单次复合图案中检测出小的缺陷。总的来说，DYnet++方法通过深度学习实现了单次拍摄相位测量偏折测量，具有较好的性能和应用潜力。
5、总结
我们的研究提出了一种基于深度学习的单次偏转测量方法DYnet++，能够测量和检测复杂自由曲面。这种方法具有广泛的适用性和高效的性能，可以在实时或高速环境下进行复杂曲面的测量和检测。
3D视觉交流群
大家好，群里会第一时间发布3D计算机视觉方向的最前沿论文解读和交流分享，主要方向有：
视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF-SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机、GPS/RTK/UWB/IMU/码盘/TOF（iToF、dToF）、激光雷达、气压计、毫米波雷达、RGB-D相机、超声波等、机器人导航、相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图、深度估计、Transformer、毫米波/激光雷达/视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、目标检测、3D目标检测、路径规划、轨迹预测、3D点云、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、四旋翼建模、无人机飞控、求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品等综合交流群。
添加v: dddvision，备注：研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 小助理会拉你入群。
3D视觉学习圈子
我们的3D视觉学习圈子「3D视觉从入门到精通」知识星球、6000+成员交流学习。星球依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」，包括：独家秘制课程；项目对接；3D视觉学习路线总结；最新顶会论文&代码；3D视觉行业最新模组；3D视觉源码汇总；书籍推荐；编程基础&学习工具；实战项目&作业；求职招聘&面经&面试题等等。想了解3D视觉或者入行3D视觉方向欢迎您扫码加入我们的学习圈子知识星球。
3D视觉学习平台
我们的3D视觉学习平台包含：面结构光高阶项目实战、机器人规划控制、MVSNet三维重建、四旋翼无人机、论文方法论、Linux、dTOF、面结构光三维重建、线结构光三维重建、三维视觉C++、车载标定、机器人3D激光SLAM、LOAM-SLAM、IMU-GPS-SLAM、VINS-SLAM、室内室外激光SLAM、Transformer、Transformer、相机标定、ROS2、点云、open3d、3D缺陷检测、机械臂抓取、单目深度估计、3D目标检测、colmap三维重建等等。