筛选分析超过1200篇论文！工业机器视觉中的生成式AI最新综述！

来源：3D视觉工坊

添加小助理：CV3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

这篇文章通过遵循PRISMA指南进行的系统性文献综述，全面分析了生成性人工智能（GenAI）在工业机器视觉领域的应用现状和研究趋势。研究者们通过定义明确的排除标准和搜索策略，从多个数据库中筛选并分析了超过1200篇相关论文，以回答关于GenAI模型架构使用、成功应用的挑战和要求，以及在不同机器视觉任务中应用的三个研究问题。主要发现包括GANs和VAEs作为最常用的架构，以及数据多样性、计算需求和验证方法的挑战。此外，文章还讨论了GenAI在分类、目标检测、语义分割和姿态估计等任务中的应用，并提出了未来研究方向和工业应用的指导方针，为该领域的研究人员和从业者提供了宝贵的见解和信息。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Generative AI in Industrial Machine Vision - A Review

作者：Hans Aoyang Zhou , Dominik Wolfschl¨ager等

作者机构：Laboratory for Machine Tools and Production Engineering, WZL等

论文链接：https://arxiv.org/pdf/2408.10775

2. 摘要

机器视觉通过使机器能够解释和作用于视觉数据，增强了工业应用中的自动化、质量控制和操作效率。虽然传统的计算机视觉算法和方法仍然被广泛使用，但机器学习已成为当前研究活动中的关键。特别是，生成性人工智能（AI）通过数据增强、提高图像分辨率和识别质量控制中的异常情况，展示了通过改善模式识别能力而具有的有前景的潜力。然而，由于数据多样性、计算需求和对稳健验证方法的必要性的挑战，生成性AI在机器视觉中的应用仍处于早期阶段。进行全面的文献综述是必要的，以了解当前工业机器视觉中生成性AI的最新状态，重点关注最近的进展、应用和研究趋势。因此，根据PRISMA指南进行了文献综述，分析了1200多篇关于工业机器视觉中生成性AI的论文。我们的发现揭示了当前研究中的各种模式，生成性AI的主要应用是数据增强，用于分类和目标检测等机器视觉任务。此外，我们收集了一系列应用挑战和数据需求，以促进生成性AI在工业机器视觉中的成功应用。本综述旨在为研究人员提供对当前研究中不同领域和应用的见解，突出显著进展，并为未来的工作识别机会。

3. 生成性人工智能

1. 生成性人工智能的定义：

• 生成性AI涉及半监督和无监督的深度学习技术，目的是学习给定数据集的概率分布。

• 生成性模型通过参数化的神经网络来近似数据的概率分布，能够生成与训练数据分布相似的新样本。

2. 生成性建模：

• 生成性建模可以分为显式密度估计和隐式密度估计两种方法。

• 显式密度估计模型试图提供概率密度函数的参数化，而隐式密度估计模型构建一个合成数据的随机过程。

3. 主要的生成性模型架构：

• 变分自编码器（VAEs）：通过编码器和解码器生成样本，通常用于生成模糊图像。推荐课程：移动机器人规划控制入门与实践：基于Navigation2

• 扩散模型：通过逐步添加高斯噪声并训练模型来逆转这一过程，生成图像。

• 正规化流：通过一系列可逆函数将复杂分布编码为简单分布，如正态分布。

• 自回归模型：通过概率链规则将联合概率分解为条件概率序列，适用于序列数据建模。

• 生成对抗网络（GANs）：由生成器和判别器组成，通过对抗训练生成新的数据实例。

4. GANs的演变：

• 从最初的GAN到DCGAN、WGAN、ProGAN，再到StyleGAN，每一种新架构都在尝试解决前一代GANs的局限性，如模式崩溃、训练不稳定性和图像质量。

• StyleGAN特别强调了其在高分辨率图像合成、图像质量和对生成特征的控制方面的优势。

5. 应用案例：

• 介绍了一些在工业机器视觉中应用生成性AI的案例，如图像修复、图像到图像的转换和其他图像编辑问题。

6. 挑战和限制：

• 讨论了在实际应用中遇到的挑战，包括数据多样性、计算资源需求和稳健性验证方法的必要性。

4. 研究方法论

1. 搜索策略和数据库：

• 定义了排除标准，以确保只选择与研究问题相关的文献。

• 选择了Scopus、Web of Science和IEEE Xplore等数据库进行文献检索，这些数据库涵盖了从工程到计算机科学的广泛主题。

2. 排除标准：

• 制定了一系列的排除标准，例如非英语文献、仅应用判别模型的研究、非图像模态的生成性AI应用等，以确保研究范围的聚焦。

3. 搜索字符串的构建：

• 通过迭代探索性分析，选择了关键词组合，以最大化检索到相关出版物的可能性。

• 搜索字符串结合了生成性AI、机器学习、工业制造、图像和视觉等关键词。

4. 研究选择过程：

• 采用了两步过程：首先是摘要筛选，以排除大量不相关的出版物；其次是全文审查，以进一步确认文献的相关性。

• 使用双重审查机制，即每篇摘要由两位审稿人审查，如有不同意见则由第三位审稿人做出最终决定。

5. 数据提取：

• 从符合条件的出版物中提取相关信息，以回答研究问题。

• 定义了数据提取的类别，包括模型架构、数据集信息、GenAI模型的属性、数据要求、机器视觉任务和GenAI的应用目的。

6. PRISMA方法：

• 遵循了Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA)指南，这是一种用于呈现和生成系统综述的方法。

7. 研究选择和数据提取的详细过程：

• 提供了详细的PRISMA流程图，展示了在研究选择过程中排除的出版物数量及其原因。

• 描述了如何从每篇出版物中提取关键信息，并将其组织成定量的集群，以便后续分析。

8. 研究方法论的局限性：

• 讨论了研究方法论可能存在的偏差和局限性，例如搜索字符串的选择可能影响检索到的文献范围。

5. 文献分析

1. 生成性人工智能架构在工业机器视觉中的应用：

• 分析了在工业机器视觉中使用的GenAI模型架构的分布，发现大多数出版物使用了基于GAN的架构，其次是VAE架构。

• 指出了对现有架构的定制情况，以及对特定工业机器视觉用例的调整。

• 讨论了StyleGAN等先进架构在工业应用中的潜力及其应用的挑战。

2. 成功应用生成性人工智能模型的挑战和要求：

• 探讨了在工业机器视觉中成功应用GenAI模型所需的数据要求和模型属性。

• 分析了数据量、数据多样性、预处理和图像配对等数据相关要求。

• 讨论了模型性能特性，包括模型复杂性、训练稳定性和推理速度。

3. 生成性人工智能在工业机器视觉任务中的应用：

• 分析了GenAI在不同工业机器视觉任务中的应用，如分类、目标检测、语义分割和姿态估计。

• 描述了GenAI在数据增强、图像增强/恢复和其他任务中的应用。

• 提供了GenAI在工业机器视觉任务中应用的实例和挑战。

4. 研究趋势和模式：

• 从文献中识别出当前研究的趋势和模式，包括数据增强作为主要应用领域。

• 分析了GenAI在工业机器视觉中的研究热点和潜在的研究方向。

5. 文献分析的结果：

• 提供了对文献综述结果的总结，包括GenAI在工业机器视觉中的应用和效果。

• 讨论了GenAI在工业应用中的潜力和挑战，以及如何克服这些挑战。

6. 对研究问题的回应：

• 针对每个研究问题，提供了详细的分析结果和发现。

• 对于每个问题，都提供了支持性的证据和文献中的例子。

7. 讨论和反思：

• 对文献分析过程中可能的偏差和局限性进行了讨论和反思。

• 提出了对现有研究方法的改进建议，以及对未来研究的指导。

6. 总结 & 未来工作

研究在工业领域的生成性人工智能（GenAI）已经引起了显著的关注，因为它在工业制造中的潜力。这篇综述旨在探索在工业机器视觉中使用的架构、应用挑战和要求，以及GenAI在不同机器视觉任务中的成功应用。从综述中，GenAI在机器视觉应用中的研究兴趣的增加变得明显。通过预先定义的搜索字符串和研究选择过程，不能保证覆盖所有相关出版物。尽管如此，成功提取了明显的趋势。

对于研究问题1，发现大多数GenAI应用使用基于GAN的架构。由于这种不平衡，GAN的进一步细分导致了无数的GAN变体，这是由于作者们的个体调整。可以说，GAN架构的明确区分是值得商榷的，因为GAN不是由一个单一的显著特征来表征的，而是从先前提出的GAN中积累的一系列特征。尽管不能保证对GAN架构的清晰分离，但从分配中可以观察到GAN的大致趋势。研究问题2强调了将GenAI转移到工业机器视觉的挑战，例如数据可用性、预处理要求和模型架构设计选择。对于这篇综述，当数据集在工业环境中获取时，假设为工业用例。进一步调查GenAI在学术环境之外的使用情况，可能会揭示更多关于工业或经济视角下的要求和属性。尽管如此，从纯粹的技术角度来看，分析并提出了应用GenAI的应用挑战和数据要求，以支持评估用例的适用性。

研究问题3展示了GenAI在工业机器视觉任务中的多样化应用，表明了分类和目标检测在所有工业领域中的主要用途。然而，值得注意的是，一些作者没有明确指定他们最初收集数据的机器视觉任务。此外，由于使用了不同的术语，如“故障检测”，这可能指的是分类或目标检测，因此并不总是能够明确分类机器视觉任务。尽管GenAI作为工业机器视觉研究领域的一个新领域出现了，它专注于生成合成数据、增强模式识别等，但缺乏文献综述来解决研究社区内的各种方法和子领域。根据PRISMA方法进行了文献综述，以分析工业机器视觉中的GenAI，回答有关在该领域中使用的GenAI架构、其要求和属性以及在不同机器视觉任务中的成功应用的研究问题。主要发现表明：（i）主要使用GANs和VAEs作为架构，（ii）与图像数据的多样性或短缺相关的挑战，以及（iii）在不同工业机器视觉任务中的多样化应用。然而，随着这个研究领域的出版物数量不断增加，这些发现仅限于选定的搜索字符串，并仅描绘了研究景观的不完整快照。尽管如此，本文为探索工业机器视觉应用中的GenAI文献提供了一个坚实的基础，并随着该领域的不断发展，为未来的研究方向提供了指导。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: CV3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊：www.3dcver.com

具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

3D视觉模组选型：www.3dcver.com

— 完 —