一种岸桥船箱排位自适应定位方法与流程

1.本发明涉及港口自动化控制技术领域，尤其涉及一种岸桥船箱排位自适应定位方法。


背景技术：

2.随着港口自动化程度不断发展，岸桥自动作业系统不断改进升级，传统的自动作业过程中，往往通过激光扫描仪扫描船上集装箱取代人眼获得集装箱在小车方向的位置，然后在已知船上各排位集装箱的位置的情况下，分析出吊具下方左邻贝、本贝、右邻贝各排集装箱高度。继而对吊具进行路径规划，完成自动作业。
3.岸桥作业吊具路径规很多都实现自动规划，基本上都是采用激光扫描仪设备(如sick511激光雷达，glaxy激光雷达)对河内岸桥船上集装箱及进行扫描建模，分析出吊具下方左邻贝、本贝、右邻贝各排集装箱高度，从而完成吊具自动路径规划。这种应用场景主要基于船上各排集装箱在小车方向的位置大致一定的情况下，通过定位出船上第一排集装箱中心在岸桥小车运动方向的位置，依据集装箱宽度(2.43m)继而推理出每一排在岸桥小车运动方向的位置。然后在已知船上各排位集装箱的位置的情况下，分析出吊具下方左邻贝、本贝、右邻贝各排集装箱高度。然而这种定位船箱各排位在小车方向的方法并不适合所有船型。实际上，内河的船型各种各样，大小也不一定，夹板宽度也不一定，加上船停泊的时候，船边距离岸边的距离也时常不一定，这就直接导致了船上第一排集装箱在小车方向的位置不固定，甚至会有很大的偏差，从而影响到船上各排集装箱在岸桥小车方向的定位，甚至导致船上集装箱各排位层高错位。
4.因此，有必要提供一种岸桥船箱排位自适应定位方法，改善由于船型、船夹板以及岸边与船边距离，差异导致的船上集装箱定位失败的问题，提高岸桥自动化作业的吊具路径规划的安全性和准确性。


技术实现要素：

5.有鉴于此，本发明提出了一种对不同类型的船舶的夹板区域边界进行识别、便于寻找集装箱排布的起始位置的岸桥船箱排位自适应定位方法。
6.本发明的技术方案是这样实现的：本发明提供了一种岸桥船箱排位自适应定位方法，包括如下步骤：
7.感知数据采集，在龙门吊横梁上安装深度相机，并在岸顶桥小车底部安装激光扫描仪，并分别建立深度相机坐标系和激光扫描仪坐标系；龙门吊处设置plc，并建立plc处的参考坐标系；
8.深度相机获取夹板区域的rgb图像和深度图像，对rgb图像中的夹板区域进行定位，所述夹板区域位于船体边缘；
9.结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，再将深度相机的夹板点云统一转换到plc处的参考坐标系
中；
10.将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，并在参考坐标系中定位并进行条件滤波，得到plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云；
11.根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置。
12.在以上技术方案的基础上，优选的，所述对rgb图像中的夹板区域进行定位，是采用深度学习语义分割方法，对rgb图像中的夹板区域进行识别分隔，从而得到rgb图像中的夹板区域的像素点。
13.优选的，所述结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，是采用如下公式进行换算：其中(u，v)为rgb图像的像素点，[x
c y
c zc]
t
是深度相机坐标系中三维坐标，zc表示深度，f
x
和fy为rgb图像的x轴和y轴方向的焦距，(u0，v0)为rgb图像的中心，m为内参矩阵符号；对深度相机获取夹板区域的rgb图像的各像素采用换算得到深度相机坐标系中三维坐标，即深度相机对应的深度相机的夹板点云。
[0014]
进一步优选的，所述将深度相机的夹板点云统一转换到plc处的参考坐标系中，是采用如下转换关系：p
plc
＝r
c2plc
·
pc+t
c2plc
，p
plc
为plc处的参考坐标系下的点云，维度为3
×
1；r
c2plc
为深度相机坐标系生成的夹板点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3
×
3；pc为深度相机生成的深度相机的夹板点云，维度为3
×
1；t
c2plc
为深度相机坐标系的夹板点云到plc处的参考坐标系下的点云的平移矩阵，维度为3
×
1。
[0015]
更进一步优选的，所述将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，是采用如下转换关系：p
plc
＝r
s2plc
·
ps+t
s2plc
，ps为激光扫描仪生成的船身点云，维度为3
×
1；r
s2
p
lc
为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3
×
3；t
s2plc
为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的平移矩阵，维度为3
×
1。
[0016]
再进一步优选的，所述在参考坐标系中定位并进行条件滤波，是将深度相机生成的深度相机的夹板点云、扫描仪采集的船身点云全部转到plc处的参考坐标系以后，通过对plc处的参考坐标系下深度相机生成的夹板点云进行统计滤波，过滤掉噪点，然后求取其包围盒，根据包围盒确定包围空间，然后对plc处的参考坐标系下的船身点云进行x、y和z三个轴向的条件滤波，滤波后得到的点云即为plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云。
[0017]
优选的，还包括精定位步骤；具体是将plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，使用三维平面模型的采样一致性算法对plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云进行进一步拟合，以拟合后的内点作为精定位后的plc处的参考坐标系下的激光扫描仪生成的船身点云中的夹板部分的点云。
[0018]
进一步的优选的，所述根据plc处的参考坐标系下激光扫描仪生成的船身点云中
的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置，是将对plc处的参考坐标系下深度相机生成的深度相机的夹板点云进行包围盒提取，取在plc处的参考坐标系下，令y轴为岸顶桥小车的移动方向，包围盒空间范围内点云的最大y值为夹板的边界位置，记为y
max
；令集装箱沿着岸顶桥小车运行方向的轴向尺寸为d，依据集装箱宽度继而推理出每一排在岸顶桥小车运动方向的位置，有rn＝y
max
+(n-0.5)d，rn为集装箱在岸顶桥小车运动方向的坐标，n表示排位数。
[0019]
本发明提供的一种岸桥船箱排位自适应定位方法，相对于现有技术，具有以下有益效果：
[0020]
(1)本方案通过深度相机和激光扫描仪相结合的方式，对船身的非放置集装箱的夹板区域进行可靠识别，并以夹板区域的边界作为集装箱宽度排列的起始位置，实现了集装箱路径规划的安全性和可靠性；
[0021]
(2)采用深度学习语义分割技术，对船体甲板部位进行训练和识别，提高对不同船舶边缘的夹板区域的分类和识别，提高划分类别的准确性。
附图说明
[0022]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]
图1为本发明一种岸桥船箱排位自适应定位方法的步骤流程图；
[0024]
图2为本发明一种岸桥船箱排位自适应定位方法的深度相机和激光扫描仪的安装位置示意图；
[0025]
图3为本发明一种岸桥船箱排位自适应定位方法的船身的俯视图；
[0026]
图4为本发明一种岸桥船箱排位自适应定位方法的各坐标系的示意图。
具体实施方式
[0027]
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0028]
如图1-4所示，本发明提供了一种岸桥船箱排位自适应定位方法，包括如下步骤：
[0029]
s1：感知数据采集，在龙门吊横梁上安装深度相机，并在岸顶桥小车底部安装激光扫描仪，并分别建立深度相机坐标系和激光扫描仪坐标系；龙门吊处设置plc，并建立plc处的参考坐标系。
[0030]
s2：深度相机获取夹板区域的rgb图像和深度图像，对rgb图像中的夹板区域进行定位，所述夹板区域位于船体边缘。船体两侧的夹板区域之间的区域，即为集装箱分排堆叠的空间。夹板区域不能用于放置集装箱，因此需要获取其远离船舷的最大边界。
[0031]
此处所述对rgb图像中的夹板区域进行定位，是采用深度学习语义分割方法，对rgb图像中的夹板区域进行识别分隔，从而得到rgb图像中的夹板区域的像素点。
[0032]
语义分割是计算机视觉的基础任务，在语义分割中需要将视觉输入分为不同的语义可以解释的类别，以对应在真实世界中的具体物体，从像素级别理解图像的内容，并为图像中的每个像素分配一个对象类。目前已有一些成熟的用于训练语义分割模型的数据库，如pascal voc2012、cityscapes、pascal cintext等。本方案中使用的基于语义分割方法是常规的语义分割手段，对于本领域技术人员来说，语义分割属于本领域公知常识。
[0033]
s3：结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，再将深度相机的夹板点云统一转换到plc处的参考坐标系中；本方案中涉及到三个坐标系，即深度相机坐标系、激光扫描仪坐标系和plc处的参考坐标系，获取的点云均会转换到同一个plc处的参考坐标系中。
[0034]
该步骤得到深度相机的夹板点云的过程，是采用如下公式进行换算：其中(u，v)为rgb图像的像素点，[x
c y
c zc]
t
是深度相机坐标系中三维坐标，zc表示深度，f
x
和fy为rgb图像的x轴和y轴方向的焦距，(u0，v0)为rgb图像的中心，m为内参矩阵符号；对深度相机获取夹板区域的rgb图像的各像素采用换算得到深度相机坐标系中三维坐标。
[0035]
随后，将深度相机的夹板点云统一转换到plc处的参考坐标系中，是采用如下转换关系：p
plc
＝r
c2plc
·
pc+t
c2plc
，p
plc
为plc处的参考坐标系下的点云，维度为3
×
1；r
c2plc
为深度相机坐标系生成的夹板点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3
×
3；pc为深度相机生成的深度相机的夹板点云，维度为3
×
1；t
c2plc
为深度相机坐标系的夹板点云到plc处的参考坐标系下的点云的平移矩阵，维度为3
×
1。
[0036]
s4：将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，并在参考坐标系中定位并进行条件滤波，得到plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云。
[0037]
具体的，将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，是采用如下转换关系：p
plc
＝r
s2plc
·
ps+t
s2plc
，ps为激光扫描仪生成的船身点云，维度为3
×
1；r
s2plc
为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3
×
3；t
s2plc
为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的平移矩阵，维度为3
×
1；p
plc
在步骤s3中已有解释，在此不再赘述。
[0038]
上述条件滤波，是将深度相机生成的深度相机的夹板点云、扫描仪采集的船身点云全部转到plc处的参考坐标系以后，通过对plc处的参考坐标系下深度相机生成的夹板点云进行统计滤波，过滤掉噪点，然后求取其包围盒，根据包围盒确定包围空间，然后对plc处的参考坐标系下的船身点云进行x、y和z三个轴向的条件滤波，滤波后得到的点云即为plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云。
[0039]
此处提到的统计滤波，过滤掉噪点，是分别计算每个船身点云与其最近的k个船身点云的平均距离，令船身点云与非当前船身点云之间的距离呈高斯分布，给定均值和方差，剔除在方差之外的船身点云。
[0040]
此处提到的条件滤波，是通过限定船身点云在x、y和z三个轴向的区域范围，选择
出夹板部分的点云，舍弃非该区域的船身点云。
[0041]
作为本方案的优选实施方式，为了提高plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云的定位精度，还可进一步引入精定位步骤；具体是将plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，使用三维平面模型的采样一致性算法对plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云进行进一步拟合，以拟合后的内点作为精定位后的plc处的参考坐标系下的激光扫描仪生成的船身点云中的夹板部分的点云。
[0042]
三维平面模型的采样一致性算法，具体是采用平面拟合的方法，由于夹板部分是平面区域，因此需要对夹板部分的点云进行平面拟合，位于该拟合平面内的点云作为精定位后的plc处的参考坐标系下的激光扫描仪生成的船身点云中的夹板部分的点云，位于该拟合平面为的夹板部分的点云被舍弃。
[0043]
s5：根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置。
[0044]
根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，或者前一步获取的精定位后的plc处的参考坐标系下的激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置，是将对plc处的参考坐标系下深度相机生成的深度相机的夹板点云进行包围盒提取，取在plc处的参考坐标系下，令y轴为岸顶桥小车的移动方向，包围盒空间范围内点云的最大y值为夹板的边界位置，记为y
max
；令集装箱沿着岸顶桥小车运行方向的轴向尺寸为d，依据集装箱宽度继而推理出每一排在岸顶桥小车运动方向的位置，有rn＝y
max
+(n-0.5)d，rn为集装箱在岸顶桥小车运动方向的坐标，n表示排位数。
[0045]
由上述各步骤可知，本方案具体内容是：利用深度相机和激光扫描仪获取rgb图像、深度图像或者三维点云等感知信息的采集；利用深度相机三维重建获得船身点云，进一步获得深度相机坐标系下的深度相机的夹板点云，通过三维标定将深度相机坐标系下的深度相机的夹板点云和激光雷达坐标系下的船身点云变换到plc处的参考坐标系下，生成plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，从而得到船上的夹板在plc处的参考坐标系下岸顶桥小车方向的移动位置以及宽度信息，依据集装箱宽度继而准确得到每一排在岸桥小车运动方向的位置，实现对船上集装箱排位准确定位。
[0046]
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种岸桥船箱排位自适应定位方法，其特征在于，包括如下步骤：感知数据采集，在龙门吊横梁上安装深度相机，并在岸顶桥小车底部安装激光扫描仪，并分别建立深度相机坐标系和激光扫描仪坐标系；龙门吊处设置plc，并建立plc处的参考坐标系；深度相机获取夹板区域的rgb图像和深度图像，对rgb图像中的夹板区域进行定位，所述夹板区域位于船体边缘；结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，再将深度相机的夹板点云统一转换到plc处的参考坐标系中；将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，并在参考坐标系中定位并进行条件滤波，得到plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云；根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置。2.根据权利要求1所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述对rgb图像中的夹板区域进行定位，是采用深度学习语义分割方法，对rgb图像中的夹板区域进行识别分隔，从而得到rgb图像中的夹板区域的像素点。3.根据权利要求2所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，是采用如下公式进行换算：其中(u，v)为rgb图像的像素点，[x
c y
c z
c
]
t
是深度相机坐标系中三维坐标，z
c
表示深度，f
x
和f
y
为rgb图像的x轴和y轴方向的焦距，(u0，v0)为rgb图像的中心，m为内参矩阵符号；对深度相机获取夹板区域的rgb图像的各像素采用换算得到深度相机坐标系中三维坐标，即深度相机对应的深度相机的夹板点云。4.根据权利要求3所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述将深度相机的夹板点云统一转换到plc处的参考坐标系中，是采用如下转换关系：p
plc
＝r
c2plc
·
p
c
+t
c2plc
，p
plc
为plc处的参考坐标系下的点云，维度为3
×
参；r
c2plc
为深度相机坐标系生成的夹板点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3
×
3；p
c
为深度相机生成的深度相机的夹板点云，维度为3
×
1；t
c2plc
为深度相机坐标系的夹板点云到plc处的参考坐标系下的点云的平移矩阵，维度为3
×
1。5.根据权利要求4所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，是采用如下转换关系：p
plc
＝r
s2plc
·
p
s
+t
s2plc
，p
s
为激光扫描仪生成的船身点云，维度为3
×
1；r
s2plc
为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3
×
3；t
s2plc
为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的平移矩阵，维度为3
×
1。6.根据权利要求5所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述在参考
坐标系中定位并进行条件滤波，是将深度相机生成的深度相机的夹板点云、扫描仪采集的船身点云全部转到plc处的参考坐标系以后，通过对plc处的参考坐标系下深度相机生成的夹板点云进行统计滤波，过滤掉噪点，然后求取其包围盒，根据包围盒确定包围空间，然后对plc处的参考坐标系下的船身点云进行x、y和z三个轴向的条件滤波，滤波后得到的点云即为plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云。7.根据权利要求6所述的一种岸桥船箱排位自适应定位方法，其特征在于，还包括精定位步骤；具体是将plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，使用三维平面模型的采样一致性算法对plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云进行进一步拟合，以拟合后的内点作为精定位后的plc处的参考坐标系下的激光扫描仪生成的船身点云中的夹板部分的点云。8.根据权利要求6或者权利要求7任一项所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置，是将对plc处的参考坐标系下深度相机生成的深度相机的夹板点云进行包围盒提取，取在plc处的参考坐标系下，令y轴为岸顶桥小车的移动方向，包围盒空间范围内点云的最大y值为夹板的边界位置，记为y
max
；令集装箱沿着岸顶桥小车运行方向的轴向尺寸为d，依据集装箱宽度继而推理出每一排在岸顶桥小车运动方向的位置，有r
n
＝y
max
+(n-0.5)d，r
n
为集装箱在岸顶桥小车运动方向的坐标，n表示排位数。

技术总结
本发明提供了一种岸桥船箱排位自适应定位方法，包括如下步骤：在龙门吊横梁上安装深度相机，并在岸顶桥小车底部安装激光扫描仪；建立PLC处的参考坐标系；深度相机获取夹板区域的RGB图像和深度图像，对RGB图像中的夹板区域进行定位；将RGB图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，再将深度相机的夹板点云统一转换到PLC处的参考坐标系中；将激光扫描仪获取的船身点云转换到PLC处的参考坐标系中，并在参考坐标系中定位并进行条件滤波，得到PLC处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云；进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置。在岸顶桥小车运行方向上的位置。在岸顶桥小车运行方向上的位置。


技术研发人员：万金建 李恒 石先城 曹志俊 张涛
受保护的技术使用者：武汉港迪智能技术有限公司
技术研发日：2023.05.15
技术公布日：2023/8/9