一种视觉巡查机器人的闭环检测方法、装置、记录媒体及系统与流程

1.本发明属于视觉定位与建图技术领域，公开了一种视觉巡查机器人的闭环检测方法、记录媒体及系统。


背景技术：

2.随着国民经济的不断发展，电网整体规模在不断扩大，传统的变电检修生产模式已无法满足电网发展需要。相对于变电运行和变电检修分工完成的传统模式，变电站运维一体化要求运维工区开展日常的维护性检修业务。由于运行人员的缺乏，在实际工作中，容易出现设备巡检不到位、安全管理工作不到位的情况。因此，将视觉机器人用于变电站，将可一定程度上替代运维人员开展常规的辅助型工作，减少运行人员往返于各个变电站的时间，提升运维效率。
3.slam(simultaneous localization and mapping)全称即时定位与地图构建或并发建图与定位，它主要的作用是让机器人在未知的环境中，完成定位(localization)，建图(mapping)和路径规划(navigation)。目前，slam技术被广泛运用于机器人、无人机、无人驾驶、ar、vr等领域，依靠传感器可实现机器的自主定位、建图、路径规划等功能。其中，闭环检测可以判断当前位置是否已被移动机器人访问过,是slam过程的关键环节。准确地检测出闭环可以有效减少机器人位姿估计的累积误差,有利于构建更加精确的地图,保证生成地图的一致性。
4.在视觉slam闭环检测领域,近年来现有的方法可以大致分为两类:传统特征的方法和基于深度学习的方法，所取得的成果主要有：
5.(1)传统特征的方法
6.传统方法主要是基于手工特征提取图片的特征表达。其中,局部特征提供了对一定光照和仿射变换的不变性,适合解决图像匹配、检索等问题,已广泛应用于视觉闭环检测。利用尺度不变特征变换(scale nvatiant feature transform,sift)在尺度、光照和旋转的不变性，提取图像特征,通过聚类方法形成若干聚类，计算每个中心的特征点数目可以获得视觉词汇的频率。缺点是计算过程非常耗时，难以满足slam的实时性要求。作为sift特征提取的改进，一些其它特征，如面向fast和旋转brief特征提取算法(oriented fast and rotated brief orb),加速稳健特征提取算法(speeded-up robust feature,sufr)被推崇,在适当降低鲁棒性的同时，大幅提高计算速度。然而，手工特征描述共同的缺点是无法有效应对场景中的季节、视角、光照和动态物体等场景变化。另外，基于传统方式的完全依赖于外观，没有使用到几何信息，故在闭环检测过程中容易将相似图像误判为闭环。
7.(2)基于深度学习的方法
8.近年来，深度学习技术在视觉场景识别及分类取得了长足的发展，为闭环检测问题的解决提供了新的思路。利用预训练的卷积神经网络(convolutional neural network,cnn)提取图像特征，再进行相似性对比，发现相比手工提取的特征，cnn提取的特征更好地应对环境变化。深度卷积神经网络模型在场景识别领域通常采用有监督的学习方法,需要
大量含有标签的数据,在实际操作时存在很大的困难。利用堆栈式去噪稀疏自编码模型进行闭环检测的方法被提出来进行相似性对比，但没有考虑图像的空间局部特性；pca-net深度网络提取图像特征作为图像的描述,网络简单并且便于调试,但输入的图像像素太小,导致实际操作时不容易判断图像间的相似性。随着移动机器人运动时长的增加，传感器所传入的帧数不断累积，卷积神经网络在闭环检测中的计算时间也逐渐增长；随着深度神经网络模型规模大，提取的特征描述子维数较大、实时性不佳，且在对室外多移动目标存在时的闭环检测存在鲁棒性弱的问题。
9.同时基于深度学习的算法计算量较大，在真实环境中可能还存有移动机器人的视角变化等因素，因此在闭环检测的研究中如何进一步提高检测速度，增强鲁棒性仍是未来待解决的问题。


技术实现要素：

10.针对上述问题，本发明提供一种视觉巡查机器人的闭环检测方法，具体方案包括如下步骤：
11.s1.从已知的参考环境数据集中抓取各类场景的样本图像，对所述样本图像添加标签、进行特征提取、对感知混叠的样本图像增强后，将获得的图像及其标记位置信息添加至样本库中，在所述样本库中抽取训练集和测试集。
12.s2.基于所述训练集和测试集搭建卷积神经网络模型进行训练和测试，训练时将标准卷积分解成深度卷积和逐点卷积，所述深度卷积部分作用在输入图片的每个通道上，所述逐点卷积部分作用在所述深度卷积的输出特征映射上；在训练过程中获得的图像首先进入特征提取网络得到相应的特征图，之后将所述特征图作为输入分别送入到检测分支以及对比分支，所述检测分支的输出为预测的目标框及其类别，通过所述目标框与真实框的对比来计算检测损失；而在对比分支中通过构建对比学习样本，使用混叠特征图与随机选取的背景区域的特征图进行对比来计算对比损失。
13.s3.定义一个计算图像特征的相似度的函数并设定阈值，当相似度达到所述阈值时判定闭环，如果没有检测到闭环，进行闭环矫正。
14.优选的，所述增强包括以下3种方式中的至少一种：对图像中的每个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；随机选择图像中的多个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；随机选择数据集中多种目标，按不同比例扩大或者缩小，在随机选出的图像上随机粘贴多次。
15.进一步的，所述测试包括通过ssd提取不同尺度的特征图进行检测，ssd每个单元设置尺度或长宽比不同的先验框，预测的边界框以这些先验框为基准，对于每个单元的每个先验框，均对应一个边界框输出一套独立的检测值，所述检测值包含各个类别的置信度及边界框的中心坐标、宽度和高度。
16.基于同样的发明思路，本发明提供一种视觉巡查机器人的闭环检测方法，包括以下功能模块：
17.数据模块，用于从已知的参考环境数据集中抓取各类场景的样本图像，对所述样本图像添加标签、进行特征提取、对感知混叠的样本图像增强后，将获得的图像及其标记位置信息添加至样本库中，在所述样本库中抽取训练集和测试集；
18.学习模块，用于基于所述训练集和测试集搭建卷积神经网络模型进行训练和测试，训练时将标准卷积分解成深度卷积和逐点卷积，所述深度卷积部分作用在输入图片的每个通道上，所述逐点卷积部分作用在所述深度卷积的输出特征映射上；在训练过程中获得的图像首先进入特征提取网络得到相应的特征图，之后将所述特征图作为输入分别送入到检测分支以及对比分支，所述检测分支的输出为预测的目标框及其类别，通过所述目标框与真实框的对比来计算检测损失；而在对比分支中通过构建对比学习样本，使用混叠特征图与随机选取的背景区域的特征图进行对比来计算对比损失；
19.检测模块，用于定义一个计算图像特征的相似度的函数并设定阈值，当相似度达到所述阈值时判定闭环，如果没有检测到闭环，进行闭环矫正。
20.优选的，所述增强包括以下3种方式中的至少一种：对图像中的每个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；随机选择图像中的多个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；随机选择数据集中多种目标，按不同比例扩大或者缩小，在随机选出的图像上随机粘贴多次。
21.进一步的，所述测试包括通过ssd提取不同尺度的特征图进行检测，ssd每个单元设置尺度或长宽比不同的先验框，预测的边界框以这些先验框为基准，对于每个单元的每个先验框，均对应一个边界框输出一套独立的检测值，所述检测值包含各个类别的置信度及边界框的中心坐标、宽度和高度。
22.本发明的另一方案在于提供一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，当执行指令时，将致使处理电路执行上述的一种视觉巡查机器人的闭环检测方法。
23.本发明的又一方案在于提供一种视觉巡查机器人的闭环检测系统，包括处理电路及与其电性耦接的存储器，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行上述一种视觉巡查机器人的闭环检测方法。
24.与现有技术相比，本发明具有以下有益效果：
25.在恶劣环境下的slam闭环检测时，针对感知混叠图像进行目标增强，并通过增加对比分支，提高卷积神经网络对感知混叠图像识别的准确率。
26.在模型训练过程中，增加了一个对比的分支和一个新的损失函数，把对比学习扩展至强监督，使得同一类物体的归一化嵌入距离更近，负样本对的距离拉的更远。
27.将cnn(卷积神经网络)应用到slam闭环检测，基础网络可以采用适合移动端的mobilenet网络，目标检测采用单阶段训练的ssd(single shot multibox detector单镜头多框检测)算法，帮助输电线路巡检机器人迅速进行闭环检测，提高了收敛效率。
附图说明
28.图1为本发明实施例中基于强监督学习的视觉巡查机器人闭环检测流程示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创新劳动前提
下所获得的所有其他实施例，都属于本发明保护的范围。
30.本发明提供的一种视觉巡查机器人的闭环检测方法的具体步骤如下：
31.以rgb-d传感器获取彩色和深度图像,对连续的图像提取使用orb算法，再结合深度图像,利用随机采样一致性(ransac)算法求解pnp问题得到相机的位姿估计。由于连续的图片存在大量的冗余信息,采取基于姿态约束的策略对关键帧进行筛选,基本思路为:如果机器人在采集两帧图像时的相对位姿变化较大,则新帧就被判定为关键帧。这些关键帧将以节点和边的方式送给g2o环节进行slam后端优化。
32.由rgb-d相机得到的图像大小为640
×
480像素,其较高的维度会带来很高的计算复杂度。因此,将图像进行缩小，预处理后的图像大小为320
×
240像素,然后将缩小的图片批量进行图像增强处理。oxford数据集中的new college和city centre数据集广泛用于评价视觉slam闭环检测的性能。两个数据集分别包含2146帧、2474帧图像。
33.参阅附图1，首先从new college和city centre中分別抓取各类场景的样本图像，然后对各类图像添加标签、特征提取、图像增强、图像预处理，并将处理后的图像划分为训练集和测试集。训练集用于训练图像分类模型和区域生成模型，测试集用于测试模型的识别效果。训练阶段设计增加了一个监督对比的分支，在特征图(feature map)上使用特征图与随机选取的背景区域的特征图进行对比，并以此来提升检测算法对感知混叠的检测效果。对于输入的序列图像数据，通过训练好的mobilenet-ssd和优化后的特征判断场景的相似性,进而判断是否形成闭环。
34.该模型在目标检测模型mobilenet-ssd上引入了一个对比分支，对原有的特征提取网络以及检测分支不做任何的改变。在训练过程中图像首先进入特征提取网络得到相应的特征图，之后将特征图作为输入分别送入到检测分支以及对比分支，在检测分支的输出为预测的目标框及其类别，通过预测框与真实框的对比计算分类损失以及目标框回归损失，分类损失以及目标框回归损失之和为检测损失；而在对比分支中我们利用已有的真实框标签，从图像的整体特征图中将目标区域对应的特征以及背景区域对应的部分特征进行采样，在一个训练批次中两个同类别的目标样本互为正样本对，不同类别的目标样本互为正样本对，任意目标样本与背景区域样本互为负样本对，并用正负样本之间的距离来计算对比损失。在模型训练过程中，检测损失以及对比损失通过梯度回传共同影响特征提取网络的训练，对比分支通过对比损失来拉近正样本之间的距离，拉远负样本之间的距离来辅助提高特征提取网络对混叠目标的表征能力，从而提高模型的检测效果。
35.实际实施过程中主要包含3个阶段进行实施：
36.第一、建立闭环检测样本库系统。
37.我们对new college和city centre数据集中的图像进行目标增强，主要有如下方法：
38.1.对图像中的每个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；
39.2.随机选择图像中的多个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；
40.3.随机选择数据集中多种目标，按不同比例扩大或者缩小，在随机选出的图像上随机粘贴多次；
41.通过操作员确认将图像与标记位置添加入样本库中，完成样本库的构建，并划分训练集，测试集。
42.第二，训练基于监督对比的mobilenet-ssd模型。
43.采用轻量级网络mobilenet，基于深度可分离卷积，将标准卷积分解成深度卷积和逐点卷积，降低参数量和计算量。深度卷积部分作用在输入图片的每个通道上，逐点卷积部分作用在深度卷积的输出特征映射上。
44.通过ssd提取不同尺度的特征图进行检测，大尺度特性图用来检测小物体，小尺寸特征图用来检测大物体。ssd每个单元设置尺度或长宽比不同的先验框，预测的边界框以这些先验框为基准，减少训练难度。对于每个单元的每个先验框，都输出一套独立的检测值，对应一个边界框。输出包含两部分：第一部分是各个类别的置信度，第二部分是边界框的具体位置值(cx,cy,w,h)，分别是边界框的中心坐标、宽度和高度。损失函数采用位置误差与置信度误差的加权和。其中位置误差采用smooth l1 loss损失函数，置信度误差采用softmax loss损失函数。
45.在对比学习训练过程中，为了保证在一个批次内每一个目标能够对应至少一对正样本对，我们对网络的输入进行一定的调整。假设正常训练(没有对比分支)时一个训练批次的大小为n，那么在训练中输入的图像为x1，
…
，xn，在加入对比学习分支后，对于每一张图像xi都需要进行两种随机数据增强t1,t2,后得到新的两张图片x
i1
，x
i2
，然后再将得到的新图像作为网络的输入。得到网络输出的候选区域位置和候选区物体类别后，再与实际的候选区域位置和物体种类进行比较，计算相应的代价函数对比损失,对比损失函数为：
[0046][0047]
p(i)＝{p∈a(i)}表示同类i的所有样本，监督对比任务中在一个训练批次中可能会出现多对正样本，对于任一待检测目标样本块池化后的单位向量zi，都至少有另一同类别的单位向量za与其互为正样本对，zi·
za为正样本对之间的余弦距离，并且存在不同类别或背景区域的单位向量z
p
与其互为负样本对，zi·zp
为负样本对之间的余弦距离，其中τ为温度常数。
[0048]
第三，进行闭环检测。假设存在两个关键帧pi和pj,每个关键帧通过mobilenet之后可以用如下t个特征来表达：
[0049][0050]
定义一个相似性函数δ，利用夹角余弦衡量特征的相似度：
[0051]
事先设定的阈值fa，当前帧与之前某关键帧的相似度超过当前帧与上一个关键帧的相似度的fa倍时判定检测到闭环，如果没有检测到闭环，进入闭环矫正阶段。
[0052]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机、可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0053]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0054]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0055]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0056]
将上述方法步骤汇编成程序再存储于硬盘或其他非暂态存储介质就构成了本发明的“一种非暂态可读记录媒体”技术方案；而将该存储介质与计算机处理器电连接，通过数据处理能完成视觉巡查机器人的闭环检测，则构成本发明的“一种视觉巡查机器人的闭环检测系统”技术方案。
[0057]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种视觉巡查机器人的闭环检测方法，其特征在于包括以下步骤：s1.从已知的参考环境数据集中抓取各类场景的样本图像，对所述样本图像添加标签、进行特征提取、对感知混叠的样本图像增强后，将获得的图像及其标记位置信息添加至样本库中，在所述样本库中抽取训练集和测试集；s2.基于所述训练集和测试集搭建卷积神经网络模型进行训练和测试，训练时将标准卷积分解成深度卷积和逐点卷积，所述深度卷积部分作用在输入图片的每个通道上，所述逐点卷积部分作用在所述深度卷积的输出特征映射上；在训练过程中获得的图像首先进入特征提取网络得到相应的特征图，之后将所述特征图作为输入分别送入到检测分支以及对比分支，所述检测分支的输出为预测的目标框及其类别，通过所述目标框与真实框的对比来计算检测损失；而在对比分支中通过构建对比学习样本，使用混叠特征图与随机选取的背景区域的特征图进行对比来计算对比损失；s3.定义一个计算图像特征的相似度的函数并设定阈值，当相似度达到所述阈值时判定闭环，如果没有检测到闭环，进行闭环矫正。2.根据权利要求1所述的一种视觉巡查机器人的闭环检测方法，其特征在于，所述增强包括以下3种方式中的至少一种：对图像中的每个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；随机选择图像中的多个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；随机选择数据集中多种目标，按不同比例扩大或者缩小，在随机选出的图像上随机粘贴多次。3.根据权利要求2所述的一种视觉巡查机器人的闭环检测方法，其特征在于，所述测试包括通过ssd提取不同尺度的特征图进行检测，ssd每个单元设置尺度或长宽比不同的先验框，预测的边界框以这些先验框为基准，对于每个单元的每个先验框，均对应一个边界框输出一套独立的检测值，所述检测值包含各个类别的置信度及边界框的中心坐标、宽度和高度。4.一种视觉巡查机器人的闭环检测方法，其特征在于包括以下功能模块：数据模块，用于从已知的参考环境数据集中抓取各类场景的样本图像，对所述样本图像添加标签、进行特征提取、对感知混叠的样本图像增强后，将获得的图像及其标记位置信息添加至样本库中，在所述样本库中抽取训练集和测试集；学习模块，用于基于所述训练集和测试集搭建卷积神经网络模型进行训练和测试，训练时将标准卷积分解成深度卷积和逐点卷积，所述深度卷积部分作用在输入图片的每个通道上，所述逐点卷积部分作用在所述深度卷积的输出特征映射上；在训练过程中获得的图像首先进入特征提取网络得到相应的特征图，之后将所述特征图作为输入分别送入到检测分支以及对比分支，所述检测分支的输出为预测的目标框及其类别，通过所述目标框与真实框的对比来计算检测损失；而在对比分支中通过构建对比学习样本，使用混叠特征图与随机选取的背景区域的特征图进行对比来计算对比损失。检测模块，用于定义一个计算图像特征的相似度的函数并设定阈值，当相似度达到所述阈值时判定闭环，如果没有检测到闭环，进行闭环矫正。5.根据权利要求4所述的一种视觉巡查机器人的闭环检测装置，其特征在于，所述增强包括以下3种方式中的至少一种：对图像中的每个目标，按不同比例扩大或者缩小，然后在随机位置复制粘贴多次；随机选择图像中的多个目标，按不同比例扩大或者缩小，然后在随
机位置复制粘贴多次；随机选择数据集中多种目标，按不同比例扩大或者缩小，在随机选出的图像上随机粘贴多次。6.根据权利要求5所述的一种视觉巡查机器人的闭环检测装置，其特征在于，所述测试包括通过ssd提取不同尺度的特征图进行检测，ssd每个单元设置尺度或长宽比不同的先验框，预测的边界框以这些先验框为基准，对于每个单元的每个先验框，均对应一个边界框输出一套独立的检测值，所述检测值包含各个类别的置信度及边界框的中心坐标、宽度和高度。7.一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，其特征在于，当执行指令时，将致使处理电路执行权利要求1-3中任一项所述的一种视觉巡查机器人的闭环检测方法。8.一种视觉巡查机器人的闭环检测系统，包括处理电路及与其电性耦接的存储器，其特征在于，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行权利要求1-3中所述的一种视觉巡查机器人的闭环检测方法。

技术总结
本发明属于电场测试技术领域，特别涉及一种视觉巡查机器人的闭环检测方法，包括以下步骤：通过针对感知混叠图像进行目标增强，并通过增加对比分支，提高卷积神经网络对感知混叠图像识别的准确率，增强了闭环检测的鲁棒性。本发明还公开了一种存储有该方法程序的非暂态可读记录媒体及包含该媒体的系统，通过处理电路可以调用程序，执行上述方法。执行上述方法。执行上述方法。


技术研发人员：张万才 张楠 杨文清 孙镇
受保护的技术使用者：国电南瑞科技股份有限公司
技术研发日：2023.04.13
技术公布日：2023/8/9