一种基于工业机器人和3D视觉的智能行李装载系统

摘要：为了降低人工行李装载的成本，并提高行李装载的效率，本文介绍了一种基于工业机器人和3D视觉的智能行李装载系统，通过与3D视觉系统协同工作，机器人根据平板车当前表面情况，选择合理装载位置，并智能生成装载行李的作业轨迹，从而实现将行李自动、高效地装载到平板车上。

关键词：工业机器人、3D视觉、行李装载

一、引言 

作为现代社会高效便捷的交通方式，民航客运不仅改变了人们的出行方式，也推动了全球经济的深度融合与发展。随着科技的不断进步和环保理念的深入人心，我国未来的民航客运将更加环保、智能和高效。

如图1所示，旅客在机场值机之后，行李系统的输送、分拣环节都实现自动化，但在将行李装载到飞机之前，需要将离港行李装载到如图2所示的平板车上。这个工作目前的工作方式主要为采用纯人工搬运装载的方式。工人长期进行频繁来回搬运行李，容易造成肌肉劳损。另外，随着人力成本增加和劳动者对工作环境要求提高，招工将变得越来越困难。

图1 民航旅客行李运转流程

图2 装载行李的平板车示意图

为了减轻人工作业强度，一种方法是使用辅助穿戴设备和人配合完成行李装载作业，但这种方法仍需要人全程参与，且这种设备的省力效果也有待进一步提高。其他少有的自动化尝试[1]则将整个行李系统做得过大，涉及模块过多，不利于大规模推广和部署。

本文介绍的基于工业机器人和3D视觉系统的智能行李装载系统，具有易于和前道行李系统集成，能适应多种类型、尺寸和形状的行李，能充分利用平板车空间等诸多优点。二

二、系统介绍

1.主要模块

该系统的主要模块如图3所示。

图3 系统模块组成

其中部分模块功能如下：

（1）行李整列输送带：前道行李系统将行李送到行李整列输送带上，然后通过它对行李角度进行规整以适合机器人拾取。

（2）3D视觉套件：套件1对位于整列输送带上的行李尺寸和类型进行检出，以配合机器人拾取和后续的装载作业。套件2检出平板车表面状态，配合套件1检出的行李尺寸实现机器人装载作业的轨迹。

（3）行李输出缓存装置：将机器人不适用装载的行李通过它输出到安全围栏外部，操作员将把这些行李和平板车上同一批次行李合并到一起。

（4）工业机器人：工业机器人[2]是一种多轴联动的，具有灵活的工作轨迹和姿态的工业设备。它具有较强的通用性和较高的可靠性，能被广泛地应用于需要空间工作轨迹的场景。

目前的机器人编程，基本上还是通过示教器由人工预先控制机器人到指定位置，机器人在工作时仅仅是“再现”预先示教过的位置。

在本应用中，由于每次将行李装载到哪个位置并非事先确定的，而是根据行李尺寸、平板车表面情况而定，因此在本应用中，机器人程序是根据视觉检出的结果而“动态”生成相应的作业轨迹。

2. 典型作业流程

本系统作业流程如图4所示，其中描述了机器人站，操作员和前道行李系统的典型作业流程。

图4 典型作业流程

需要说明的是，图4是一个典型流程，并不是说只能在这个流程下进行作业。三

三、行李整列

1．功能概述

由于普遍使用人工搬运和装载行李，在现有的前道行李系统中，送到机器人拾取位置行李的角度是没有精确控制的。考虑到机器人无法像人工那样灵活拾取，同时，为了确保行李装载到平板车上的效果，行李在机器人手爪中位置需尽可能准确。因此，在将行李转交给机器人之前，需要对待装载的行李角度进行规整，以便机器人能够准确拾取行李并实施装载，这个过程称为“行李整列”。

2．整列步骤

图5 整列输送带原理示意图

整列输送带原理图如图5所示，步骤如下：

（1）前道行李系统将行李送到旋转机构上。

（2）位于旋转机构上的相机套件1拍照，检出行李的位置和角度。

（3）根据检出的角度，旋转机构会通过旋转调整角度，使得行李的短边向前，长边平行于行李前进方向。

（4）传送机构将旋转机构上的行李送到机器人拾取位置。机器人在该位置拾取行李。

3.视觉功能

2D视觉处理的对象是平面图像或视频，它只包含了在X和Y轴上的空间信息。3D视觉处理的对象是三维立体空间中的物体和场景。它不仅包含了在X和Y轴上的空间信息，还包括在Z轴上的深度信息。通过深度图或点云数据，可以获得更全面的信息。得益于近些年国内外3D视觉相机得到大力发展[3-5]，本系统中采用基于线扫描的3D视觉套件实现对整列输送带上的行李尺寸、位置和类型进行检出。视觉的实现的功能如下：

（1）底面设定。目的是设定行李所在位置下输送带平面的位置，这是位置和尺寸检测的基础。考虑到输送带是个平面，因此需要在没有传送带表面点云进行平面拟合。最小二乘法[6]是最早的广泛应用的方法，但是容易受到干扰杂点的影响，RANSAC方法拟合[7]可以排除少量干扰点的影响，本系统采用这个方法。

（2）尺寸和位置测量。经过点云滤波，范围限制之后，利群点去除之后，将剩下的点云选择最小包围盒，如图6所示。计算行李的尺寸和位置时，使用包围盒近似替代实际行李复杂的表面。

图6 行李尺寸和位置检出

（3）行李是否可以自动装载。对于外形尺寸过大或过小行李，系统将不对其装载到平板车上。四

四、自动码垛

获得行李尺寸和在手爪中的位置后，机器人自动码垛流程如图7所示，其中，最重要的两个部分为生成理论装载位置和生成机器人装载轨迹。

图7 机器人码垛作业流程

1.手爪

机器人以水平状态拾取和装载行李，如图8所示。拾取行李的时候，手爪上的皮带向左侧带动行李，直到行李靠到挡板。装载的时候，皮带向右侧移动直到行李和手爪分离。

图8 行李在手爪中位置示意图

在拾取行李时，机器人知道行李和机器人末端法兰中心的相对位置关系，这将影响到机器人装载行李时的位置。

2.生成理论装载位置

一般而言，工业机器人基于示教的程序，从固定位置抓起特定的物体，并将其放置到提前设定好的位置上。这样的方式无法针对行李的形状尺寸选择相应的放置位置。

在学术研究领域中，学者们研究了基于启发式的码垛算法，还有将强化学习技术和码垛结合起来[8-10]，这些研究多是以长方体纸盒码垛为研究对象。本系统结合行李装载到平板车上时的实际情况，来生成理论装载位置，使用如下的方法：

使用位于平板车上方的3D相机套件2对平板车进行扫描，对平板车水平范围内细分多个网格，根据相机反馈的高度对该网格设定层数。如图9所示，L=0表示没有摆放行李的区域，L=1表示放一层行李的区域，以此类推。特别的是，当部分行李上表面的高度介于两层之间时，较高的层级作为层数。

我们将不同层的交界点作为备选点，如图9所示，三角形和圆形标记了这些备选点的位置。其中，三角形是行李外轮廓的右前角点，圆形是左前角点。

图9 理论装载位置示意图

3.理论装载位置排序

针对上述计算出的多个装载位置，需要筛选出当前最合适的选项，以便为接下来的机器人作业轨迹生成提供指导。在筛选过程中，我们会考虑的排序因素有：

（1）行李稳定性。我们评估行李预计覆盖区域各个网格点的位置高度z是否接近，越接近则表示稳定性越高。此外，我们还考察网格点的法线方向，法线越接近竖直向上，行李稳定性越好。如果法线指向两侧，则稳定性稍差。如果法线指向外侧，则稳定性差。

（2）装载位置是高层还是低层。在所有可能的装载位置上，我们更倾向于选择低层区域，即低层区域的优先级高于高层区域。

在实际操作中，我们会对以上因素赋予不同权重，进行综合排序，排在最靠前的装载位置将被选定，并进入下一步的机器人装载轨迹生成流程。

4.机器人装载轨迹生成

（1）机器人装载作业过程：

a. 机器人运动到接近位置；

b. 机器人从接近位置运动到作业位置；

c. 手爪上皮带开始运行；

d. 机器人等待一段时间后，从作业位置运动到撤离位置。作业过程结束。

（2）机器人轨迹生成条件：

a. 确保接近位置，作业位置和撤离位置都可达；

b. 机器人在上述位置，手爪和周边设备不能存在干涉。

如果上述任一条件不成立，那么系统将无法生成当前装载位置的作业轨迹。此时，系统会返回装载位置列表，重新计算下一个可能的装载位置，并尝试生成新的作业轨迹。五

五、实验和评估

1.机器人测试

使用内部尺寸为3.5m x 1.6m x 0.7m的平板车。

行李的大致数据，参见表1。

表1 测试行李的尺寸和重量

其中，较小的行李占据行李比例为1/4~1/3。经过测试，行李的体积是采取相机套件1获得外轮廓的尺寸计算得出的名义体积。

经过20轮测试，平均的体积装载率（总的名义体积/小车内部体积）为105%。当且仅当在行李供给位置距离较近的条件下，每件行李平均装载时间为12 s（约为300件/小时）。

2.与单工人对比

本系统与单工人作业相比，在装载率方面和工人水平大致相当，工人可以通过一边装载一边调整行李从而在最终获得稍高的装载率。

在效率方面，工人在体力充沛时候可以做到与机器人相当的水平，但是难以长时间保持高强度作业。而配合行李系统的早到库，以高密度发送行李到机器人站作业，那么机器人将始终保持高强度作业。

3.经济性评价

现在机场中行李装载的工人采用每天2班，做1天休息1天（或者做2休2），因此，一个工位大致相当于4个工人的成本。其逐年的成本线如图10中的点状线。

图10 机器人和单工位成本线对比

如使用本系统，一开始存在一笔一次性投入，后每年也会存在少量的维护、备件和可能存在的人工补位费用。其逐年成本线如图10中的直线。

从图10可知，本系统和单工位成本比较，经过4.3年，两者成本相当。

六、结束语

本文提出了一种基于工业机器人和3D视觉的智能行李装载系统，实现替代工人将行李装载到平板车上。本系统具有如下优点：

（1）3D视觉和装载软件可以检出待装载行李的尺寸和类型，并智能生成装载轨迹，将行李摆放到合适的位置。

（2）在达到和人工相当的装载率和效率的前提下，减少行李装载作业对人工的依赖。

（3）对前道系统要求不高，适用于新建或者改造机场的环境。

本系统未来还有改进空间， 包括能自动将软包行李放置到最后；待装载的一个批次的行李能够预先规划，以更加合理的次序将行李发送到机器人装载系统；以及将适用场景扩大到兼容航空集装箱ULD。

参考文献:

[1]柯翔.基于全功能原位替代的机场行李机器人智能集装系统研究[J].物流技术与应用,2024(4):119-123.

[2]顾震宇.全球工业机器人产业与现状[J].机电一体化,2006(2):6-9.

[3]Pickit官网. Pickit 3D视觉介绍[EB/OL]. http://www.pickit3d.com/en.

[4]VISIO NERF官网.VISIO NERF CIRRUS 3D视觉套件介绍[EB/OL].http://www.visionerf.com/cirrus3d-2.

[5]梅卡曼德官网.梅卡曼德3D视觉产品介绍[EB/OL].https://www.mech-mind.com.cn.

[6]李二涛,张国煊,曾虹.基于最小二乘的曲面拟合算法研究[J].杭州电子科技大学学报,2009(2):48-51.

[7]杨军建,吴良才.基于RANSAC算法的稳健点云平面拟合方法[J].北京测绘,2016(2): 73-75, 79.

[8]Hang Zhao, Qijin She, Chenyang Zhu, Yin Yang, Kai Xu. Online 3D Bin Packing with Constrained Deep Reinforcement Learning[J].arXiv:2020.

[9]杜晔晔.基于深度强化学习的三维装箱问题的研究[D]. 西安电子科技大学,2022.

[10]吴智博.复杂约束下航空行李码放算法研究[D].中国民航大学,2019.

—