把目标检测算法全跑了一遍，最好用的竟是YOLOv8？

来源：计算机视觉工坊

添加小助理：CV3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

加入「3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要

门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 这篇文章干了啥？

计算机视觉领域持续保持动态且快速发展的态势，使机器能够解读和理解视觉数据。在这一领域中，目标检测是核心任务之一，它涉及在图像或视频序列中准确识别和定位目标对象多年来，为应对这一挑战，已开发出一系列复杂算法，每次迭代都带来了新的进步和改进。

Redmon等人于2015年提出的You Only Look Once（YOLO）算法在目标检测领域取得了重大突破。YOLO系列通过将目标检测问题转化为单一的回归问题，彻底改变了该领域，其中卷积神经网络在一次前向传播中处理整个图像，以预测边界框和类别概率。这种方法摒弃了传统的多阶段检测方法，在速度和效率上取得了显著优势。

在继承前代成功的基础上，YOLOv8引入了先进的架构和方法论创新，显著提升了其在实时目标检测中的准确性、效率和可用性。

调查目标

本研究的主要目标是全面评估YOLOv8目标检测模型与其他最先进检测算法的性能。本研究将评估YOLOv8不同版本（tiny、small、medium、large）在准确性和推理速度之间的权衡，以确定最适合各种应用场景的模型大小。

重点关注的领域包括：

CSPNet主干网络和FPN+PAN颈部结构对特征提取和多尺度目标检测的影响。

无锚点方法在简化训练和提升检测精度方面的优势。

YOLOv8统一Python包和命令行界面（CLI）在简化模型开发、训练和部署方面的作用。

该模型在Microsoft COCO和Roboflow 100等基准测试上的表现，包括与之前YOLO版本的比较。

此外，本研究还将探讨YOLOv8中引入的以开发者为中心的改进，如其与Darknet和PyTorch框架的兼容性，以及其Python API和命令行界面提供的增强用户体验。通过深入探索YOLOv8的创新和性能，本研究旨在为计算机视觉领域高级目标检测模型的持续开发和应用提供有价值的见解。

YOLOv8的演进

YOLOv8是Ultralytics在2023年推出的YOLO系列的最新进化版本。它在YOLOv5的基础上构建，融入了显著的架构和方法论创新。YOLOv8代表了YOLOv5中引入思想的精炼和扩展，重点在于提升模型在实时目标检测任务中的准确性和可用性。

以下是YOLOv8的发展时间线：

2023年1月10日：YOLOv8正式发布，采用新的无锚点架构，旨在简化模型训练并提高各种任务中的检测精度。

2023年2月15日：推出YOLOv8 Python包和命令行界面（CLI），简化了模型训练、验证和部署的过程。

2023年3月5日：实施了马赛克和混合增强等高级增强技术，提高了模型在不同数据集上的泛化能力。

2023年4月20日：集成了CSPNet主干网络以改进特征提取，并采用混合FPN+PAN颈部结构，优化了模型在多尺度目标检测中的性能。

2023年6月1日：增加了对ONNX和TensorRT格式的支持，便于在包括边缘设备在内的更广泛的硬件平台上进行部署。

YOLOv8的发布及后续更新对目标检测领域产生了重大影响。它被视为一个动态且不断发展的模型，持续的研究和开发工作旨在进一步提升其能力。本研究将深入探讨YOLOv8中引入的新技术和性能指标，具体细节见Ultralytics的官方文档和GitHub仓库。

下面一起来阅读一下这项工作~

1. 论文信息

标题：What is YOLOv8: An In-Depth Exploration of the Internal Features of the Next-Generation Object Detector

作者：Muhammad Yaseen

机构：National University of Computer and Emerging Sciences

原文链接：https://arxiv.org/abs/2408.15857

2. 摘要

本研究对YOLOv8目标检测模型进行了详细分析，重点探讨了其架构、训练技术以及相对于先前版本（如YOLOv5）的性能提升。关键创新点，包括用于增强特征提取的CSPNet主干网络、用于优化多尺度目标检测的FPN+PAN颈部结构，以及向无锚点方法的转变，均得到了全面考察。本文回顾了YOLOv8在Microsoft COCO和Roboflow 100等基准测试中的表现，强调了其在不同硬件平台上的高准确性和实时性能。此外，研究还探讨了YOLOv8对开发者友好的增强功能，如其统一的Python包和命令行界面（CLI），这些功能简化了模型的训练和部署流程。总体而言，本研究将YOLOv8定位为不断发展的目标检测领域中的一项前沿解决方案。

3. YOLOv8架构概览

YOLOv8在其YOLO系列前辈所奠定的坚实基础上，集成了神经网络设计和训练方法的最新进展。与早期版本类似，YOLOv8将目标定位和分类任务统一在一个端到端可微分的神经网络框架内，保持了速度与精度之间的平衡。YOLOv8的架构围绕三个核心组件构建：

主干网络（Backbone）：YOLOv8采用了一种设计精巧的卷积神经网络（CNN）作为主干网络，用于从输入图像中提取多尺度特征。这个主干网络可能是CSPDarknet的改进版本或其他高效架构，它能够捕获层次化的特征图，这些特征图既包含低级的纹理信息，也包含对于准确目标检测至关重要的高级语义信息。该主干网络在速度和精度上都进行了优化，通过采用深度可分离卷积或其他高效层来最小化计算开销，同时保持表征能力。

颈部网络（Neck）：YOLOv8中的颈部模块负责细化和融合主干网络提取的多尺度特征。它利用了一个优化版本的路径聚合网络（PANet），该网络经过增强以改善不同特征层级之间的信息流。这种多尺度特征融合对于检测不同大小和尺度的目标至关重要，而YOLOv8中增强的PANet设计可能包括对原始PANet的修改，以进一步优化内存使用和计算效率。

头部网络（Head）：头部模块负责从细化后的特征中生成最终预测，包括边界框坐标、目标置信度分数和类别标签。YOLOv8引入了无锚框（anchor-free）的边界框预测方法，摒弃了早期YOLO版本中使用的基于锚框的方法。这种无锚框的方法简化了预测过程，减少了超参数的数量，并提高了模型对不同纵横比和尺度目标的适应能力。

通过整合这些架构创新，YOLOv8在目标检测任务中提升了性能，提供了更高的准确性、速度和灵活性。

4. YOLOv8模型

YOLOv8架构引入了五种不同的模型，每种模型都针对不同的计算环境进行了优化，从高效的YOLOv8n到最先进的YOLOv8x。这些模型在之前版本的基础上进行了改进，融入了增强的特征提取和更复杂的架构，以实现卓越的性能。

YOLOv8系列包括以下模型：

• YOLOv8n：该模型是YOLOv8系列中最轻量、最快速的，专为计算资源有限的环境设计。YOLOv8n通过利用优化的卷积层和减少参数数量，实现了紧凑的体型，INT8格式下约为2MB，FP32格式下约为3.8MB。这使得它非常适合边缘部署、物联网设备和移动应用，其中功耗和速度至关重要。与ONNX Runtime和TensorRT的集成进一步增强了其在不同平台上的部署灵活性。

• YOLOv8s：作为YOLOv8系列的基线模型，YOLOv8s包含约900万个参数。该模型在速度和准确性之间取得了平衡，适用于CPU和GPU上的推理任务。它引入了增强的空间金字塔池化和改进的路径聚合网络（PANet），从而实现了更好的特征融合和更高的检测准确性，特别是对于小物体。

• YOLOv8m：YOLOv8m拥有约2500万个参数，定位为中级模型，在计算效率和精度之间提供了最佳折衷。它配备了更广泛的网络架构，包括更深的骨干网络和颈部网络，使其在各种数据集上的物体检测任务中表现出色。该模型特别适合那些对准确性至关重要但又关注计算资源的实时应用。

• YOLOv8l：YOLOv8l拥有约5500万个参数，专为需要更高精度的应用设计。它采用更复杂的特征提取过程，增加了额外的层和精细的注意力机制，提高了高分辨率图像中较小和更复杂物体的检测能力。该模型非常适合需要精细物体检测的场景，如医学成像或自动驾驶。

• YOLOv8x：YOLOv8x是YOLOv8系列中最大、最强大的模型，包含约9000万个参数。它在同类模型中实现了最高的mAP（平均精度均值），成为在准确性不能妥协的应用（如监控系统或详细的工业检查）中的首选。然而，这种性能伴随着更高的计算需求，需要高端GPU进行实时推理。

YOLOv8模型性能的提升直接得益于对之前版本架构的改进和优化。下表全面概述了YOLOv8模型的各种变体，包括参数数量、以平均精度均值（mAP@0.5）衡量的准确性，以及在CPU和GPU平台上对标准640像素图像大小的推理时间。

该表展示了YOLOv8系列中每个模型固有的权衡。最小的模型YOLOv8n虽然提供了最快的推理时间，但与其他较大的模型相比，准确性较低。这使得YOLOv8n特别适合速度至关重要且计算资源有限的边缘计算应用。在另一端，YOLOv8x提供了最高的准确性，使其成为在医学成像或安全应用等精度至关重要的用例中的理想选择，但需要更强大的硬件来高效运行。

这些结果强调了YOLOv8架构的灵活性，允许开发人员根据应用的具体要求（无论是速度、准确性还是两者的平衡）选择最合适的模型。

5. 讨论

YOLOv8在目标检测领域取得了重大进展，它在YOLOv5等前代模型的基础上进行了扩展，并引入了以下新颖改进：

• 架构优化：YOLOv8在目标检测架构上进行了进一步的细化，提高了模型的效率和准确性。通过集成改进的CSPDarknet骨干网络和PANet++颈部架构，实现了更好的特征提取和聚合。这些修改解决了梯度冗余问题，优化了特征金字塔网络，使模型更加精简和高效。

• 模型灵活性：与YOLOv5类似，YOLOv8提供了多种模型尺寸（nano、small、medium、large、extra-large），以适应不同的硬件能力和应用需求。其中最小的变体YOLOv8n特别适合在边缘设备和物联网平台上部署，以最小的计算开销提供强大的目标检测能力。推荐课程：面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)

• 训练方法创新：YOLOv8通过引入先进的数据增强技术（如增强的马赛克增强和自适应锚框）来改进训练方法，从而提高了小目标检测能力并减少了对大型数据集的依赖。该模型还采用了16位浮点精度的混合精度训练，从而加快了训练速度并减少了内存消耗。

• 性能与影响：YOLOv8实现了更高的mAP分数并保持较低的推理时间，使其成为实时目标检测任务的更强竞争者。持续使用PyTorch确保了广泛的研发社区能够轻松访问，促进了人工智能和计算机视觉领域的创新和合作。

本文全面分析了YOLOv8，重点介绍了其架构创新、增强的训练方法和相对于YOLOv5等前代版本的显著性能提升。YOLOv8集成了CSPNet骨干网络和增强的FPN+PAN颈部，显著改善了特征提取和多尺度目标检测能力，使其成为实时应用的强大模型。转向无锚点方法和融入马赛克、混合等高级数据增强技术，进一步提高了其在不同数据集上的准确性和鲁棒性。此外，引入以开发者为中心的工具（包括统一的Python包和命令行界面）简化了模型的使用，扩大了其在各种硬件平台上的适用性。

在Microsoft COCO和Roboflow 100等数据集上的基准评估证明了YOLOv8的卓越准确性和效率，使其在快速发展的目标检测领域中成为最先进的解决方案。随着实时、高精度目标检测需求的增长，YOLOv8作为一款灵活且强大的模型，非常适合研究和工业应用。预计未来的发展将在这些成就的基础上进一步精炼YOLOv8的功能，并扩大其在计算机视觉领域的影响力。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊可提供35个顶会论文的课题如下：

1、基于环境信息的定位，重建与场景理解

2、轻是级高保真Gaussian Splatting

3、基于大模型与GS的 6D pose estimation

4、在挑战性遮挡环境下的GS-SLAM系统研究

5、基于零知识先验的实时语义地图构建SLAM系统

6、基于3DGS的实时语义地图构建

7、基于文字特征的城市环境SLAM

8、面向挑战性环境的SLAM系统研究

9、特殊激光传感器融合视觉的稠密SLAM系统

10、基于鲁棒描述子与特征匹配的特征点法SLAM

11、基于yolo-world的语义SL系统

12、基于自监督分割的挑战性环境高斯SLAM系统

13、面向动态场景的视觉SLAM系统研究

14、面向动态场景的GS-SLAM系统研究

15、集成物体级地图的GS-SLAM系统

16、挑战场景下2D-2D，2D-3D或3D-3D配准问题

17、未知物体同时重建与位姿估计问题类别级或开放词汇位姿估计问题

18、位姿估计中的域差距问题

19、可形变对象(软体)的实时三维重建与非刚性配准

20、机器人操作可形变对象建模与仿真

21、基于图像或点云3D目标检测、语义分割、轨迹预测.

22、医疗图像分割任务的模型结构设计

23、多帧融合的单目深度估计系统研究

24、复杂天气条件下的单目深度估计系统研究高精度的单目深度估计系统研究

25、基于大模型的单目深度估计系统研究

26、高精度的光流估计系统多传感器融合的单目深度估计系统研究

27、基于扩散模型的跨域鲁棒自动驾驶场景理解

28、水下图像复原/增强

30、Real-World图像去雾(无监督/物理驱动)

31、LDR图像/视频转HDR图像/视频

32、光场图像增强/复原/超分辨率

33、压缩后图像/视频的增强/复原

34、图像色彩增强(image retouching)