一种基于快速分割网络的四足机器人盲道巡线方法

1.本发明涉及一种盲道巡线方法，特别是一种基于快速分割网络的四足机器人盲道巡线方法。


背景技术：

2.导盲犬在辅助盲人出行方面发挥着重要作用。然而导盲犬培训周期长、费用高、长期供不应求。据权威部门统计:截至2022年全国仅有200余只导盲犬，而盲人数量超过1700万。训练1只导盲犬需要一年半时间，成本高达20余万元，很难进行社会面推广。这一现象，引起了国家和政府的重视，因此，使用四足机器人代替导盲犬完成盲道巡线方法已经成为国家新一代人工智能的重要应用场景之一。由于盲道巡线任务情况复杂，深度学习成为盲道巡线任务中的主流方式。为了加强盲道巡线的精度，构建深度模型，并通过数据驱动的方式训练模型。深度模型从原始图像数据进行特征抽取，得到更高层次的表示，从而完成既定的任务。
3.目前，深度模型的结构过于复杂，通常需要消耗大量的计算资源，然而当前移动端计算卡的算力有限，通常难以承担当前主流模型推理时所需要的算力，产生推理延迟，极大的增加了视障人士出行的安全问题。并且过于深度的网络模型需要大量的训练数据，消耗大量的人力资源。到目前为止，实现基于快速分割网络的四足机器人盲道巡线仍是亟待解决的难题。


技术实现要素：

4.为解决现有技术存在的上述问题，本发明要提出一种结构简单、推理速度快、训练成本低的基于快速分割网络的四足机器人盲道巡线方法。
5.为了实现上述目的，本发明的技术方案如下：一种基于快速分割网络的四足机器人盲道巡线方法，包括以下步骤：
6.a、分割盲道线
7.四足机器人在开机就绪阶段，通过其搭载的图像采集设备进行捕捉和采集周围的盲道线信息和自身的相对位置，采用宏观分块赋值、局部精细计算的自适应快速分割策略，快速对盲道线进行分割处理，得到二值化图像。步骤如下：
8.a1、获取场景观测信息，对采集的观测信息进行逐单位帧采样，将采样观测信息通过hsv转换函数转换到hsv颜色空间。如公式(1)所示：
[0009][0010]
其中，r、g、b分别表示原始观测的红、绿、蓝三个颜色通道信息，h、s、v分别表示色调、饱和度和明亮度，也就是hsv颜色空间的3个通道信息，max、min分别表示r、g和b三个通道中像素点的最大者和最小者，concat表示合并操作，x表示hsv颜色空间的图像。
[0011]
a2、将x作为输入经过卷积网络编码后，得到一个高度为h、宽度为w、通道数为7的特征图。如公式(2)所示：
[0012]
feature＝backbone(x) (2)
[0013]
其中backbone代表卷积网络，feature代表特征图，将前3个通道定义为类别索引，记为c＝[c1,c2,c3]，后4个通道定义为分类特征向量，记为m＝[ω1,ω2,ω3,b]。
[0014]
a3、对c做归一化指数函数操作，得到三个类别，分别为背景、前景和混合类别，所述前景类别为盲道，类别索引记为0；所述背景类别为盲道之外的区域，类别索引记为1；所述混合类别为前景和背景交叉区域，类别索引记为2；以独热编码形式标注出类别。如公式(3)所示：
[0015][0016]
其中softmax代表归一化指数函数，i代表类别索引，p(i)代表这个像素点为第i类的概率值，argmax(p)表示p中最大值对应的类别索引。
[0017]
a4、对类别为前景类别或背景类别的特征图分量，将feature所对应的原始hsv图像x的感受野区域内像素，直接全部标记为前景类别或背景类别。
[0018]
a5、对类别为混合类别的特征图分量，将feature所对应原始hsv图像x的感受野区域内的全部像素，分别与分类特征向量m做点积运算，点积结果大于0的像素点，划分为前景类别，否则划分为背景类别，得到二值化图像。如公式(4)所示：
[0019][0020]
其中，h
i,j
是原始hsv图像x上h通道上横坐标为i纵坐标为j的像素点，s
i,j
是原始hsv图像x上s通道上横坐标为i纵坐标为j的像素点，v
i,j
是原始hsv图像x上v通道上横坐标为i纵坐标为j像素点，*表示点乘操作，φ
i,j
是原始hsv图像x上横坐标为i纵坐标为j的像素点的类别预测值，φ
i,j
是原始hsv图像x上横坐标为i纵坐标为j的像素点分类结果的二值化表示。
[0021]
b、计算基于视觉的偏移量
[0022]
b1、从左到右扫描二值化图像的水平中线，第一个由0变为1的像素点记为左锚点，左锚点距离图像左边缘的距离记为a
left
。
[0023]
b2、从右向左扫描二值化图像的水平中线，第一个由0变为1的像素点记为右锚点，右锚点距离图像左边缘的距离记为a
right
。
[0024]
b3、令x1＝w/2-a
left
，x2＝a
right-w/2，δx＝x
1-x2,当δx＞0时说明四足机器人偏右，δx＜0时说明四足机器人偏左；当δx＝0时说明四足机器人处于理想状态。
[0025]
b4、以左锚点为基准点，向上巡出左边线离散点集合记为p
l
，以最小二乘法，拟合出盲道左边线的数学二次方程式f
left
(x)，求f
left
(x)在左锚点的切线与中垂线的夹角记为θ1。上述数学二次方程式的表达式如下：
[0026]fleft
(x)＝a
l
x2+b
l
x+c
l (5)
[0027]
其中x为点p
l
横坐标，a
l
、b
l
、c
l
分别为数学二次方程式的二次项系数、一次项系数和常数。
[0028]
b5、以右锚点为基准点，向上巡出左边线离散点集合记为pr，以最小二乘法，拟合出右边线的数学二次方程式f
right
(x)，求f
right
(x)在右锚点的切线与中垂线的夹角记为θ2。上述数学二次方程式的表达式如下：
[0029]fright
(x)＝arx2+brx+c
r (6)
[0030]
其中x为点pr横坐标，ar、br、cr分别为数学二次方程式的二次项系数、一次项系数和常数。
[0031]
b6、令δθ＝(θ1+θ2)/2，当δθ＞0时，四足机器人航向角偏左；当δθ＜0时，四足机器人航向角偏右，δθ＝0时，四足机器人航向角处于理想状态。
[0032]
b7、将得到的δθ和δx传给底层pid控制算法，控制四足机器人完成盲道巡线任务。
[0033]
与现有技术相比，本发明具有以下有益效果：
[0034]
1、本发明采用宏观分块赋值、局部精细计算的自适应快速分割策略，在步骤a中仅对混合像素块进行分类推理计算，对全部为背景或前景的像素区域直接赋值，不做分类推理计算，在对精度没有任何影响的情况下大幅度提升模型在边缘计算卡上的推理速度。基准测试处理速度为：nvidia jetson nano计算卡上15fps，nvidia jetson nx计算卡上80fps。相比于全部精细化划分，速度分别提升375.14％和400.23％
[0035]
2、本发明采用视觉推算偏移量算法，通过步骤a得到的二值化图像，将二值化图像
作为步骤b的输入，得到水平偏量和航向角偏量，并将水平偏量和航向角偏量作为底层pid控制算法的输入，控制四足机器人，从而有效的保证了四足机器人与盲道的相对姿态。基准测试偏移精度为
±
5cm。
附图说明
[0036]
本发明共有附图2张，其中：
[0037]
图1是分割算法模型架构图。
[0038]
图2是本发明的流程图。
具体实施方式
[0039]
下面结合附图对本发明进行进一步地描述。按照图2所示的流程对基于快速分割网络的四足机器人盲道巡线方法进行介绍，首先用四足机器人自带图像采集设备对所需观测目标进行视觉观测信息采集，将观测信息进行预处理转为hsv图像，然后按照图1所示，利用卷积对hsv图像进行编码，并对全部为前景或者背景的像素块直接进行赋值，对混合像素块进行网络预测分类操作，快速对盲道线进行分割处理，得到二值化图像。然后按照本发明的步骤b得到水平偏量和航向角偏量，通过水平差值推算水平偏移量，通过最小二乘法计算盲道线的数学表达式，推算航向角偏移量。最后将偏量传给底层pid算法进一步控制四足机器人完成巡线任务。
[0040]
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

技术特征：
1.一种基于快速分割网络的四足机器人盲道巡线方法，其特征在于：包括以下步骤：a、分割盲道线四足机器人在开机就绪阶段，通过其搭载的图像采集设备进行捕捉和采集周围的盲道线信息和自身的相对位置，采用宏观分块赋值、局部精细计算的自适应快速分割策略，快速对盲道线进行分割处理，得到二值化图像；步骤如下：a1、获取场景观测信息，对采集的观测信息进行逐单位帧采样，将采样观测信息通过hsv转换函数转换到hsv颜色空间；如公式(1)所示：v＝maxx＝concat(h,s,v)其中，r、g、b分别表示原始观测的红、绿、蓝三个颜色通道信息，h、s、v分别表示色调、饱和度和明亮度，也就是hsv颜色空间的3个通道信息，max、min分别表示r、g和b三个通道中像素点的最大者和最小者，concat表示合并操作，x表示hsv颜色空间的图像；a2、将x作为输入经过卷积网络编码后，得到一个高度为h、宽度为w、通道数为7的特征图；如公式(2)所示：feature＝backbone(x)
ꢀꢀꢀꢀ
(2)其中backbone代表卷积网络，feature代表特征图，将前3个通道定义为类别索引，记为c＝[c1,c2,c3]，后4个通道定义为分类特征向量，记为m＝[ω1,ω2,ω3,b]；a3、对c做归一化指数函数操作，得到三个类别，分别为背景、前景和混合类别，所述前景类别为盲道，类别索引记为0；所述背景类别为盲道之外的区域，类别索引记为1；所述混合类别为前景和背景交叉区域，类别索引记为2；以独热编码形式标注出类别；如公式(3)所示：其中softmax代表归一化指数函数，i代表类别索引，p(i)代表这个像素点为第i类的概率值，argmax(p)表示p中最大值对应的类别索引；
a4、对类别为前景类别或背景类别的特征图分量，将feature所对应的原始hsv图像x的感受野区域内像素，直接全部标记为前景类别或背景类别；a5、对类别为混合类别的特征图分量，将feature所对应原始hsv图像x的感受野区域内的全部像素，分别与分类特征向量m做点积运算，点积结果大于0的像素点，划分为前景类别，否则划分为背景类别，得到二值化图像；如公式(4)所示：其中，h
i,j
是原始hsv图像x上h通道上横坐标为i纵坐标为j的像素点，s
i,j
是原始hsv图像x上s通道上横坐标为i纵坐标为j的像素点，v
i,j
是原始hsv图像x上v通道上横坐标为i纵坐标为j像素点，*表示点乘操作，φ
i,j
是原始hsv图像x上横坐标为i纵坐标为j的像素点的类别预测值，φ
i,j
是原始hsv图像x上横坐标为i纵坐标为j的像素点分类结果的二值化表示；b、计算基于视觉的偏移量b1、从左到右扫描二值化图像的水平中线，第一个由0变为1的像素点记为左锚点，左锚点距离图像左边缘的距离记为a
left
；b2、从右向左扫描二值化图像的水平中线，第一个由0变为1的像素点记为右锚点，右锚点距离图像左边缘的距离记为a
right
；b3、令x1＝w/2-a
left
，x2＝a
right-w/2，δx＝x
1-x2,当δx＞0时说明四足机器人偏右，δx＜0时说明四足机器人偏左；当δx＝0时说明四足机器人处于理想状态；b4、以左锚点为基准点，向上巡出左边线离散点集合记为p
l
，以最小二乘法，拟合出盲道左边线的数学二次方程式f
left
(x)，求f
left
(x)在左锚点的切线与中垂线的夹角记为θ1；上述数学二次方程式的表达式如下：f
left
(x)＝a
l
x2+b
l
x+c
l
(5)其中x为点p
l
横坐标，a
l
、b
l
、c
l
分别为数学二次方程式的二次项系数、一次项系数和常数；b5、以右锚点为基准点，向上巡出左边线离散点集合记为p
r
，以最小二乘法，拟合出右边线的数学二次方程式f
right
(x)，求f
right
(x)在右锚点的切线与中垂线的夹角记为θ2；上述数学二次方程式的表达式如下：f
right
(x)＝a
r
x2+b
r
x+c
r
(6)其中x为点p
r
横坐标，a
r
、b
r
、c
r
分别为数学二次方程式的二次项系数、一次项系数和常数；b6、令δθ＝(θ1+θ2)/2，当δθ＞0时，四足机器人航向角偏左；当δθ＜0时，四足机器人航向角偏右，δθ＝0时，四足机器人航向角处于理想状态；b7、将得到的δθ和δx传给底层pid控制算法，控制四足机器人完成盲道巡线任务。

技术总结
本发明公开了一种基于快速分割网络的四足机器人盲道巡线方法，包括以下步骤：分割盲道线和计算基于视觉的偏移量。本发明采用宏观分块赋值、局部精细计算的自适应快速分割策略，仅对混合像素块进行分类推理计算，对全部为背景或前景的像素区域直接赋值，不做分类推理计算，在对精度没有任何影响的情况下大幅度提升模型在边缘计算卡上的推理速度。本发明采用视觉推算偏移量算法，通过步骤A得到的二值化图像，将二值化图像作为步骤B的输入，得到水平偏量和航向角偏量，并将水平偏量和航向角偏量作为底层PID控制算法的输入，控制四足机器人，从而有效的保证了四足机器人与盲道的相对姿态。基准测试偏移精度为


技术研发人员：张博 周长东 安泓郡 刘洪波 江同棒 朱镕锋
受保护的技术使用者：大连海事大学
技术研发日：2023.04.19
技术公布日：2023/9/14