一种变电站目标识别与分割方法与流程

1.本发明属于变电站目标识别技术领域，具体涉及一种变电站目标识别与分割方法。


背景技术：

2.随着我国电网规模不断扩大，变电设备数量和种类逐渐增多，组网复杂程度提高，使其运行压力增大，安全隐患也随之增加，对其安全可靠运行提出了更高要求，变电设备巡检和检测是保障变电设备可靠运行的重要手段之一，变电站的设备繁多，种类复杂，并且许多都在带电运行中，对变电设备的检测识别典型地表障碍物(包括电力线、高压线、植被、水系、烟囱、高压线塔、塔吊、桥梁、避雷针、建筑等)，输出障碍物信息(包括种类、位置及轮廓)，常规的目标检测网络只能给出目标的类别、位置以及最大外接矩形，降低识别的准确性；因此，提供一种采用目标分割网络、对目标轮廓进行拟合、得到目标外形估计、提高识别准确性的一种变电站目标识别与分割方法是非常有必要的。


技术实现要素：

3.本发明的目的是为了克服现有技术的不足，而提供一种采用目标分割网络、对目标轮廓进行拟合、得到目标外形估计、提高识别准确性的一种变电站目标识别与分割方法。
4.本发明的目的是这样实现的：一种变电站目标识别与分割方法，所述的方法包括以下步骤：
5.步骤1：通过图像目标分割算法把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标；
6.步骤2：采用语义分割deeplabv3+算法模型将相同类型的对象用同一标签进行标记；
7.步骤3：在获得目标的实时像素级分割后，通过对目标的边沿进行提取，从而获得目标的轮廓信息；
8.步骤4：采用目标的轮廓估计算法即目标轮廓算法，估计出目标的形状。
9.所述的步骤1中的图像目标分割算法采用基于特定理论的分割方法中的基于深度神经网络的算法。
10.所述的步骤2中的语义分割deeplabv3+算法模型具体为：与检测模型类似，语义分割模型也是建立是分类模型基础上的，即利用cnn网络来提取特征进行分类，而对于cnn分类模型，一般情况下会存在stride＞1的卷积层和池化层来降采样，此时特征图维度降低，但是特征更高级，语义更丰富，这对于简单的分类没有问题，因为最终只预测一个全局概率，对于分割模型就无法接受，因为需要给出图像不同位置的分类概率，特征图过小时会损失很多信息，但是下采样层又是不可缺少的，首先stride＞1的下采样层对于提升感受野非常重要，这样高层特征语义更丰富，而且对于分割来说较大的感受野也至关重要；另外没有下采样层，特征图一直保持原始大小，计算量是非常大的，相比之下，对于前面的特征图，其
保持了较多的空间位置信息，但是语义会差一些，但是这些空间信息对于精确分割也是至关重要的，为了解决这个问题，deeplabv3+算法模型属于典型的dilatedfcn，通过空洞卷积来减少下采样率但是又可以保证感受野。
11.所述的deeplabv3+算法模型的encoder的主体是带有空洞卷积的dcnn，采用resnet分类网络，然后是带有空洞卷积的空间金字塔池化模块aspp，是为了引入多尺度信息；所述的deeplabv3+算法模型引入了decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。
12.所述的空洞卷积具体为：空洞卷积是deeplab模型的关键之一，它可以在不改变特征图大小的同时控制感受野，这有利于提取多尺度信息，其中rate(r)控制着感受野的大小，r越大感受野越大，通常的cnn分类网络的output_stride＝32，若希望dilatedfcn的output_stride＝16，只需要将最后一个下采样层的stride设置为1，并且后面所有卷积层的r设置为2，这样保证感受野没有发生变化，对于output_stride＝8，需要将最后的两个下采样层的stride改为1，并且后面对应的卷积层的rate分别设为2和4；另外针对resnet网络，最后的3个级联block采用不同rate，若output_stride＝16且multi_grid＝(1,2,4)，那么最后的3个block的rate＝2
·
(1,2,4)＝(2,4,8)。
13.所述的空间金字塔池化aspp具体为：在deeplab中，采用空间金字塔池化模块来进一步提取多尺度信息，采用不同rate的空洞卷积来实现，aspp模块主要包含以下几个部分：
①
一个1
×
1卷积层，以及三个3
×
3的空洞卷积，对于output_stride＝16，其rate为(6,12,18)，若output_stride＝8，rate加倍；
②
一个全局平均池化层得到image-level特征，然后送入1
×
1卷积层，并双线性插值到原始大小；
③
将
①
和
②
得到的4个不同尺度的特征在channel维度concat在一起，然后送入1
×
1的卷积进行融合并得到256-channel的新特征。
14.所述的decoder模块具体为：deeplabv3+模型中借鉴了encoderdecoder结构，引入了新的decoder模块，首先将encoder得到的特征双线性插值得到4
×
的特征，然后与encoder中对应大小的低级特征concat，如resnet中的conv2层，由于encoder得到的特征数只有256，而低级特征维度可能会很高，为了防止encoder得到的高级特征被弱化，先采用1
×
1卷积对低级特征进行降维，两个特征concat后，再采用3
×
3卷积进一步融合特征，最后再双线性插值得到与原始图片相同大小的分割预测。
15.所述的deeplabv3+算法模型所采用的backbone是resnet网络，可以替换为改进的xception，xception网络主要采用depthwiseseparableconvolution，这使得xception计算量更小，改进的xception参考msra的修改，增加了更多的层；改进的xception所有的最大池化层使用stride＝2的depthwiseseparable convolution替换，可以改成空洞卷积；改进的xception与mobilenet类似，在3
×
3depthwiseconvolution后增加bn和relu；采用改进的xception网络作为backbone，deeplab网络分割效果上有一定的提升，并且在aspp中加入depthwise separable convolution，在基本不影响模型效果的前提下减少计算量。
16.所述的步骤4中的目标轮廓算法具体包括以下步骤：
17.步骤4.1：首先找到轮廓中距离最远的两个点，如m、n，将这2点连接，至此将轮廓逼近成了一条线段；
18.步骤4.2：然后在原来的轮廓上找一点使得其离mn线段的距离最大，如k点，将mk、nk连接，至此将轮廓逼近成了一个三角形；
19.步骤4.3：再在原来的轮廓上找一点使得其三角形mnk的距离最大，如g点，去除mn，将mg、ng连接，至此将轮廓逼近成了一个四边形；
20.步骤4.4：如此反复迭代，将新的点加入到逼近的几何多边形状中去，直到轮廓上任意一点到多边形的距离小于设定的精度参数epsilon。
21.本发明的有益效果：本发明为一种变电站目标识别与分割方法，在使用中，本发明采用目标分割网络作为基础网络架构，并在获得目标的轮廓后，对目标的轮廓进行拟合，从而得到目标的外形估计，大大提高目标识别的准确性；本发明具有采用目标分割网络、对目标轮廓进行拟合、得到目标外形估计、提高识别准确性的优点。
附图说明
22.图1为本发明的算法框架示意图。
23.图2为本发明的图像分割中的语义分割和实例分割示意图。
24.图3为本发明的语义分割不同架构示意图。
25.图4为本发明的deeplabv3+模型的整体架构示意图。
26.图5为本发明的dilatedfcn与传统fcn对比示意图。
27.图6为本发明的output_stride＝16的deeplabv3结构示意图。
28.图7为本发明的不同rate的空洞卷积示意图。
29.图8为本发明的deeplab中的aspp结构示意图。
30.图9为本发明的pspnet中的金字塔池化层示意图。
31.图10为本发明的最优dpc示意图。
32.图11为本发明的deeplab中的decoder示意图。
33.图12为本发明的改进的xception网络示意图。
34.图13为本发明的分割效果示意图。
35.图14为本发明的目标轮廓逼近算法原理图。
具体实施方式
36.下面结合附图对本发明做进一步的说明。
37.实施例1
38.如图1-14所示，一种变电站目标识别与分割方法，所述的方法包括以下步骤：
39.步骤1：通过图像目标分割算法把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标；
40.步骤2：采用语义分割deeplabv3+算法模型将相同类型的对象用同一标签进行标记；
41.步骤3：在获得目标的实时像素级分割后，通过对目标的边沿进行提取，从而获得目标的轮廓信息；
42.步骤4：采用目标的轮廓估计算法即目标轮廓算法，估计出目标的形状。
43.本发明为一种变电站目标识别与分割方法，在使用中，本发明采用目标分割网络作为基础网络架构，并在获得目标的轮廓后，对目标的轮廓进行拟合，从而得到目标的外形估计，大大提高目标识别的准确性；本发明具有采用目标分割网络、对目标轮廓进行拟合、
得到目标外形估计、提高识别准确性的优点。
44.实施例2
45.如图1-14所示，一种变电站目标识别与分割方法，所述的方法包括以下步骤：
46.步骤1：通过图像目标分割算法把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标；
47.步骤2：采用语义分割deeplabv3+算法模型将相同类型的对象用同一标签进行标记；
48.步骤3：在获得目标的实时像素级分割后，通过对目标的边沿进行提取，从而获得目标的轮廓信息；
49.步骤4：采用目标的轮廓估计算法即目标轮廓算法，估计出目标的形状。
50.所述的步骤1中的图像目标分割算法采用基于特定理论的分割方法中的基于深度神经网络的算法；
51.在本实施例中，图像的分割算法有语义分割和实例分割两类，语义分割是将所有相同类型的对象都用一个类标签进行标记；而实例分割方法将相似的对象使用各自的标签，即不同个体使用不同标签；语义分割与实例分割的区别如图2所示，语义分割只是简单地对图像中各个像素点分类，但是实例分割更进一步，需要区分开不同物体，这更加困难，从一定意义上来说，实例分割更像是语义分割加检测。
52.所述的步骤2中的语义分割deeplabv3+算法模型具体为：与检测模型类似，语义分割模型也是建立是分类模型基础上的，即利用cnn网络来提取特征进行分类，而对于cnn分类模型，一般情况下会存在stride＞1的卷积层和池化层来降采样，此时特征图维度降低，但是特征更高级，语义更丰富，这对于简单的分类没有问题，因为最终只预测一个全局概率，对于分割模型就无法接受，因为需要给出图像不同位置的分类概率，特征图过小时会损失很多信息，但是下采样层又是不可缺少的，首先stride＞1的下采样层对于提升感受野非常重要，这样高层特征语义更丰富，而且对于分割来说较大的感受野也至关重要；另外没有下采样层，特征图一直保持原始大小，计算量是非常大的，相比之下，对于前面的特征图，其保持了较多的空间位置信息，但是语义会差一些，但是这些空间信息对于精确分割也是至关重要的，为了解决这个问题，deeplabv3+算法模型属于典型的dilatedfcn，通过空洞卷积来减少下采样率但是又可以保证感受野；如图3中c的下采样率只有8
×
，那么最终的特征图语义不仅语义丰富而且相对精细，可以直接通过插值恢复原始分辨率；
53.在本实施例中，如图3所示，其中a是原始的fcn，图片送进网络后会得到大小降为32
×
的特征图，虽然语义丰富但是空间信息损失严重导致分割不准确，这称为fcn-32s；另外还有fcn-8s，是结合不同level的特征逐步得到相对精细的特征，效果会好很多；针对上面提到的降采样的问题还存在两种解决方案：为了得到高分辨率的特征，一种更直观的解决方案是b中的encoderdecoder结构，其中encoder就是下采样模块，负责特征提取，而decoder是上采样模块(通过插值，转置卷积等方式)，负责恢复特征图大小，一般两个模块是对称的，经典的网络如u-net；而要直接将高层特征图恢复到原始大小是相对困难的，所以decoder是一个渐进的过程，而且要引入横向连接，即引入低级特征增加空间信息特征分割准确度，横向连接可以通过concat或者sum操作来实现；另外一种结构是c中的dilatedfcn，主要是通过空洞卷积来减少下采样率但是又可以保证感受野，如图3中c的下
采样率只有8
×
，那么最终的特征图语义不仅语义丰富而且相对精细，可以直接通过插值恢复原始分辨率。
54.所述的deeplabv3+算法模型的encoder的主体是带有空洞卷积的dcnn，采用resnet分类网络，然后是带有空洞卷积的空间金字塔池化模块aspp，是为了引入多尺度信息；所述的deeplabv3+算法模型引入了decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。
55.在本实施例中，对于dilatedfcn，主要是修改分类网络的后面block，用空洞卷积来替换stride＝2的下采样层，如图5所示：其中a是原始fcn，由于下采样的存在，特征图不断降低；而b为dilatedfcn，在第block3后引入空洞卷积，在维持特征图大小的同时保证了感受野和原始网络一致；在deeplab中，将输入图片与输出特征图的尺度之比记为output_stride，如图5的output_stride为16，如果加上aspp结构，就变成如图6所示，其实这就是增加了decoder模块的deeplabv3+结构，这里的dcnn可以是任意的分类网络，一般又称为backbone，如采用resnet网络。
56.所述的空洞卷积具体为：空洞卷积是deeplab模型的关键之一，它可以在不改变特征图大小的同时控制感受野，这有利于提取多尺度信息，其中rate(r)控制着感受野的大小，r越大感受野越大，通常的cnn分类网络的output_stride＝32，若希望dilatedfcn的output_stride＝16，只需要将最后一个下采样层的stride设置为1，并且后面所有卷积层的r设置为2，这样保证感受野没有发生变化，对于output_stride＝8，需要将最后的两个下采样层的stride改为1，并且后面对应的卷积层的rate分别设为2和4；另外针对resnet网络，最后的3个级联block采用不同rate，若output_stride＝16且multi_grid＝(1,2,4)，那么最后的3个block的rate＝2
·
(1,2,4)＝(2,4,8)，这比直接采用(1,1,1)要更有效一些，不过结果相差不是太大。
57.所述的空间金字塔池化aspp具体为：在deeplab中，采用空间金字塔池化模块来进一步提取多尺度信息，采用不同rate的空洞卷积来实现，aspp模块主要包含以下几个部分：
①
一个1
×
1卷积层，以及三个3
×
3的空洞卷积，对于output_stride＝16，其rate为(6,12,18)，若output_stride＝8，rate加倍；
②
一个全局平均池化层得到image-level特征，然后送入1
×
1卷积层，并双线性插值到原始大小；
③
将
①
和
②
得到的4个不同尺度的特征在channel维度concat在一起，然后送入1
×
1的卷积进行融合并得到256-channel的新特征。
58.在本实施例中，aspp主要是为了抓取多尺度信息，这对于分割准确度至关重要，一个与aspp结构比较像的是[pspnet]中的金字塔池化模块，如图9所示，主要区别在于本发明采用池化层来获取多尺度特征，此外尝试了采用nas来搜索比aspp更有效的模块，称为dpc，其搜索空间包括了1
×
1卷积，不同rate的3
×
3空洞卷积，以及不同size的平均池化层，如图10所示，是nas得到的最优dpc。
[0059]
所述的decoder模块具体为：deeplabv3+模型中借鉴了encoderdecoder结构，引入了新的decoder模块，如图11所示,首先将encoder得到的特征双线性插值得到4
×
的特征，然后与encoder中对应大小的低级特征concat，如resnet中的conv2层，由于encoder得到的特征数只有256，而低级特征维度可能会很高，为了防止encoder得到的高级特征被弱化，先采用1
×
1卷积对低级特征进行降维(本发明中输出维度为48)，两个特征concat后，再采用3
×
3卷积进一步融合特征，最后再双线性插值得到与原始图片相同大小的分割预测。
[0060]
所述的deeplabv3+算法模型所采用的backbone是resnet网络，可以替换为改进的xception，xception网络主要采用depthwiseseparableconvolution，这使得xception计算量更小，改进的xception参考msra的修改，增加了更多的层；改进的xception所有的最大池化层使用stride＝2的depthwiseseparable convolution替换，可以改成空洞卷积；改进的xception与mobilenet类似，在3
×
3depthwiseconvolution后增加bn和relu；采用改进的xception网络作为backbone，deeplab网络分割效果上有一定的提升，并且在aspp中加入depthwise separable convolution，在基本不影响模型效果的前提下减少计算量，如图13所示，deeplabv3+在voc数据集上的取得很好的分割效果。
[0061]
所述的步骤4中的目标轮廓算法具体包括以下步骤：
[0062]
步骤4.1：首先找到轮廓中距离最远的两个点，如m、n，将这2点连接，至此将轮廓逼近成了一条线段；
[0063]
步骤4.2：然后在原来的轮廓上找一点使得其离mn线段的距离最大，如k点，将mk、nk连接，至此将轮廓逼近成了一个三角形；
[0064]
步骤4.3：再在原来的轮廓上找一点使得其三角形mnk的距离最大，如g点，去除mn，将mg、ng连接，至此将轮廓逼近成了一个四边形；
[0065]
步骤4.4：如此反复迭代，将新的点加入到逼近的几何多边形状中去，直到轮廓上任意一点到多边形的距离小于设定的精度参数epsilon。
[0066]
在本实施例中，如图14所示，(a)为原始图像，(b)为经过上述处理后提取出来的轮廓；在算法中约束，可以约定用圆形、矩形、长方形去拟和目标的轮廓，从而获得目标的外形估计；通过目标识别与分割算法，对变电站的指标相应情况如表1所示：
[0067]
表1目标识别与分割指标情况响应表
[0068][0069]
本发明为一种变电站目标识别与分割方法，在使用中，本发明采用目标分割网络作为基础网络架构，并在获得目标的轮廓后，对目标的轮廓进行拟合，从而得到目标的外形估计，大大提高目标识别的准确性；本发明具有采用目标分割网络、对目标轮廓进行拟合、得到目标外形估计、提高识别准确性的优点。

技术特征：
1.一种变电站目标识别与分割方法，其特征在于：所述的方法包括以下步骤：步骤1：通过图像目标分割算法把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标；步骤2：采用语义分割deeplabv3+算法模型将相同类型的对象用同一标签进行标记；步骤3：在获得目标的实时像素级分割后，通过对目标的边沿进行提取，从而获得目标的轮廓信息；步骤4：采用目标的轮廓估计算法即目标轮廓算法，估计出目标的形状。2.如权利要求1所述的一种变电站目标识别与分割方法，其特征在于：所述的步骤1中的图像目标分割算法采用基于特定理论的分割方法中的基于深度神经网络的算法。3.如权利要求1所述的一种变电站目标识别与分割方法，其特征在于：所述的步骤2中的语义分割deeplabv3+算法模型具体为：与检测模型类似，语义分割模型也是建立是分类模型基础上的，即利用cnn网络来提取特征进行分类，而对于cnn分类模型，一般情况下会存在stride＞1的卷积层和池化层来降采样，此时特征图维度降低，但是特征更高级，语义更丰富，这对于简单的分类没有问题，因为最终只预测一个全局概率，对于分割模型就无法接受，因为需要给出图像不同位置的分类概率，特征图过小时会损失很多信息，但是下采样层又是不可缺少的，首先stride＞1的下采样层对于提升感受野非常重要，这样高层特征语义更丰富，而且对于分割来说较大的感受野也至关重要；另外没有下采样层，特征图一直保持原始大小，计算量是非常大的，相比之下，对于前面的特征图，其保持了较多的空间位置信息，但是语义会差一些，但是这些空间信息对于精确分割也是至关重要的，为了解决这个问题，deeplabv3+算法模型属于典型的dilatedfcn，通过空洞卷积来减少下采样率但是又可以保证感受野。4.如权利要求3所述的一种变电站目标识别与分割方法，其特征在于：所述的deeplabv3+算法模型的encoder的主体是带有空洞卷积的dcnn，采用resnet分类网络，然后是带有空洞卷积的空间金字塔池化模块aspp，是为了引入多尺度信息；所述的deeplabv3+算法模型引入了decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。5.如权利要求4所述的一种变电站目标识别与分割方法，其特征在于：所述的空洞卷积具体为：空洞卷积是deeplab模型的关键之一，它可以在不改变特征图大小的同时控制感受野，这有利于提取多尺度信息，其中rate(r)控制着感受野的大小，r越大感受野越大，通常的cnn分类网络的output_stride＝32，若希望dilatedfcn的output_stride＝16，只需要将最后一个下采样层的stride设置为1，并且后面所有卷积层的r设置为2，这样保证感受野没有发生变化，对于output_stride＝8，需要将最后的两个下采样层的stride改为1，并且后面对应的卷积层的rate分别设为2和4；另外针对resnet网络，最后的3个级联block采用不同rate，若output_stride＝16且multi_grid＝(1,2,4)，那么最后的3个block的rate＝2
·
(1,2,4)＝(2,4,8)。6.如权利要求4所述的一种变电站目标识别与分割方法，其特征在于：所述的空间金字塔池化aspp具体为：在deeplab中，采用空间金字塔池化模块来进一步提取多尺度信息，采用不同rate的空洞卷积来实现，aspp模块主要包含以下几个部分：
①
一个1
×
1卷积层，以及三个3
×
3的空洞卷积，对于output_stride＝16，其rate为(6,12,18)，若output_stride＝
8，rate加倍；
②
一个全局平均池化层得到image-level特征，然后送入1
×
1卷积层，并双线性插值到原始大小；
③
将
①
和
②
得到的4个不同尺度的特征在channel维度concat在一起，然后送入1
×
1的卷积进行融合并得到256-channel的新特征。7.如权利要求4所述的一种变电站目标识别与分割方法，其特征在于：所述的decoder模块具体为：deeplabv3+模型中借鉴了encoderdecoder结构，引入了新的decoder模块，首先将encoder得到的特征双线性插值得到4
×
的特征，然后与encoder中对应大小的低级特征concat，如resnet中的conv2层，由于encoder得到的特征数只有256，而低级特征维度可能会很高，为了防止encoder得到的高级特征被弱化，先采用1
×
1卷积对低级特征进行降维，两个特征concat后，再采用3
×
3卷积进一步融合特征，最后再双线性插值得到与原始图片相同大小的分割预测。8.如权利要求4所述的一种变电站目标识别与分割方法，其特征在于：所述的deeplabv3+算法模型所采用的backbone是resnet网络，可以替换为改进的xception，xception网络主要采用depthwiseseparableconvolution，这使得xception计算量更小，改进的xception参考msra的修改，增加了更多的层；改进的xception所有的最大池化层使用stride＝2的depthwiseseparableconvolution替换，可以改成空洞卷积；改进的xception与mobilenet类似，在3
×
3depthwiseconvolution后增加bn和relu；采用改进的xception网络作为backbone，deeplab网络分割效果上有一定的提升，并且在aspp中加入depthwiseseparableconvolution，在基本不影响模型效果的前提下减少计算量。9.如权利要求1所述的一种变电站目标识别与分割方法，其特征在于：所述的步骤4中的目标轮廓算法具体包括以下步骤：步骤4.1：首先找到轮廓中距离最远的两个点，如m、n，将这2点连接，至此将轮廓逼近成了一条线段；步骤4.2：然后在原来的轮廓上找一点使得其离mn线段的距离最大，如k点，将mk、nk连接，至此将轮廓逼近成了一个三角形；步骤4.3：再在原来的轮廓上找一点使得其三角形mnk的距离最大，如g点，去除mn，将mg、ng连接，至此将轮廓逼近成了一个四边形；步骤4.4：如此反复迭代，将新的点加入到逼近的几何多边形状中去，直到轮廓上任意一点到多边形的距离小于设定的精度参数epsilon。

技术总结
本发明涉及一种变电站目标识别与分割方法，所述的方法包括以下步骤：步骤1：通过图像目标分割算法把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标；步骤2：采用语义分割DeepLabv3+算法模型将相同类型的对象用同一标签进行标记；步骤3：在获得目标的实时像素级分割后，通过对目标的边沿进行提取，从而获得目标的轮廓信息；步骤4：采用目标的轮廓估计算法即目标轮廓算法，估计出目标的形状；本发明具有采用目标分割网络、对目标轮廓进行拟合、得到目标外形估计、提高识别准确性的优点。点。点。


技术研发人员：张辉 周刚 李真 王栋 马勇 杨莉
受保护的技术使用者：国网河南省电力公司内乡县供电公司
技术研发日：2023.03.21
技术公布日：2023/7/17