基于低功耗物联网边缘计算设备的接触网鸟巢识别系统

1.本发明属于鸟巢检测技术领域，尤其涉及基于低功耗物联网边缘计算设备的接触网鸟巢识别系统。


背景技术：

2.鸟类常在电力系统高压输电设备，接触网等地方筑巢，会对输电设备造成不良影响，容易引起线路跳闸和零件损坏等各种安全事故，甚至严重影响高压输电线路的安全高效运行，具体原因主要包括鸟粪闪络，鸟巢材料短路和鸟类身体短路，在我国，鸟害已经成为仅次于雷电损害和外力破坏的第三大电力故障。因此识别电力系统输电设备的鸟巢并进行清除是降低鸟害的重要措施。当前电力系统的鸟巢识别系统多采用美国nvidia公司的深度学习计算单元，该计算单元可实现大吞吐量并行计算。尽管其性能优越，但是成本较高，功耗大。因此现阶段迫切需要一种基于新型算法，实现电力系统输电设备的鸟巢识别，维护国家能源系统的安全运行。


技术实现要素：

3.为解决上述技术问题，本发明提出了基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，实现鸟巢实时检测功能。
4.为实现上述目的，本发明提供了基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，包括：输入模块、特征提取模块、模型构建模块和输出模块；
5.所述输入模块，用于接收原始图像并传输至所述特征提取模块，其中，所述原始图像包括：高压输电设备的图像和接触网的图像；
6.所述特征提取模块，用于对所述原始图像进行特征提取，获取特征信息；
7.所述模型构建模块，用于基于所述特征信息构建鸟巢识别模型；
8.所述输出模块，用于根据所述鸟巢识别模型，输出所述原始图像的鸟巢识别结果。
9.可选地，所述特征提取模块包括：第一提取单元和第二提取单元；
10.所述第一提取单元，用于提取所述原始图像中的鸟巢的宏观特征信息；
11.所述第二提取单元，用于提取所述原始图像中的鸟巢的微观纹理信息；
12.所述第一提取单元和第二提取单元分别与所述模型构建模块连接。
13.可选地，所述宏观特征信息包括：鸟巢的颜色特征信息和轮廓特征信息。
14.可选地，所述第一提取单元中提取所述颜色特征信息的方式为：一维离散小波变换；
15.所述一维离散小波变换为：
16.a
j+1
＝h
jaj
17.d
j+1
＝g
jaj
18.其中，a
j+1
为j+1阶信号的近似值，hj为j阶信号的高通分量，aj为j阶信号的近似值，d
j+1
为j+1阶信号的细节值，gj为j阶信号的低通分量，aj为j阶信号的近似值。
19.可选地，所述第一提取单元中提取所述轮廓特征信息的方式为：二维离散小波变换；
20.所述二维离散小波变换为：
21.a
i,j+1
＝h
jai,j
22.d
j,j+1
＝g
jai,j
23.a
i+1,j+1
＝h
iai,j+1
24.d
i+1,j+1
＝g
jai,j+1
25.其中，a
i,j+1
为横向i阶纵向j+1阶信号的近似值，a
i,j
为横向i阶纵向j阶信号的近似值，d
i,j+1
为横向i阶纵向j+1阶信号的细节值，a
i,j
为横向i阶纵向j阶信号的近似值，a
i+1,j+1
为横向i+1阶纵向j+1阶信号的近似值，d
i+1,j+1
为横向i+1阶纵向j+1阶信号的细节值，gj为j阶信号的低通分量。
26.可选地，所述微观纹理信息包括：鸟巢内树枝细节的纹理信息。
27.可选地，所述第二提取单元中提取所述鸟巢内树枝细节的纹理信息的方式为：db0小波处理；
28.所述db0小波处理为：
[0029][0030][0031]
其中，h[n]为高通滤波器，g[n]为低通滤波器，n为长度。
[0032]
可选地，所述模型构建模块构建所述鸟巢识别模型的方法包括：通过所述特征信息对支持向量机或高斯贝叶斯分类器进行训练验证，获得所述鸟巢识别模型。
[0033]
可选地，采用所述高斯贝叶斯分类器构建模型的过程包括：通过所述高斯贝叶斯分类器获取图像中有鸟巢和无鸟巢时的高斯分布系数；
[0034]
获取所述有鸟巢时的高斯分布系数即获取每个像素点的标准差；
[0035]
所述标准差σ
i,c
为：
[0036][0037]
其中，m为采样点数，x
i,c
为采样像素点与当前点距离为i的权重值，为周边像素的加权平均值；
[0038]
获取所述无鸟巢时的高斯分布系数即获取每个像素点的数学期望值；
[0039]
所述数学期望值μ
i,c
为：
[0040][0041]
其中，x
m,c
为采样像素点与当前点距离为m的权重值。
[0042]
可选地，所述鸟巢识别模型为：
[0043][0044]
其中，logt大于0则认为有鸟巢，小于0则认为无鸟巢，为有鸟巢类型，为无鸟巢类型，m为采样点数，xi表示第i个采样点，i为采样点的个数顺序，t为判断模型符号。
[0045]
与现有技术相比，本发明具有如下优点和技术效果：
[0046]
本发明首次采用低成本和低功耗的物联网边缘微控制器实现基于机器学习和边缘计算的鸟巢实时检测功能。现有的方案大多采用无人机传图技术，在云端进行处理，这种方案较难实现实时检测功能。本发明采用物联网微控制单元，成本低功耗小，且功能模块可直接安装在无人机上，可实现实时在线检测。
[0047]
采用离散小波变换对拍摄到的图像进行三次变换，提取宏观和纹理特征。分别提取宏观的颜色和轮廓信息，以及鸟巢内树枝细节的纹理信息，然后对宏观信息和微观信息分别采用机器学习分类器识别，这种方法可以降低实际的信息输入量，且检测精度高。
附图说明
[0048]
构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0049]
图1为本发明实施例的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统结构示意图。
具体实施方式
[0050]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0051]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0052]
实施例
[0053]
如图1所示，本实施例提供了基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，包括：输入模块、特征提取模块、模型构建模块和输出模块；
[0054]
所述输入模块，用于输入原始图像至所述特征提取模块，其中，所述原始图像包括：高压输电设备的图像和接触网的图像；
[0055]
所述特征提取模块，用于对所述原始图像进行特征提取，获取特征信息；
[0056]
所述模型构建模块，用于基于所述特征信息构建鸟巢识别模型；
[0057]
所述输出模块，用于根据所述鸟巢识别模型，输出所述原始图像的鸟巢识别结果。
[0058]
进一步地，所述特征提取模块包括：第一提取单元和第二提取单元；
[0059]
所述第一提取单元，用于提取所述原始图像中的鸟巢的宏观特征信息；
[0060]
所述第二提取单元，用于提取所述原始图像中的鸟巢的微观纹理信息；
[0061]
所述第一提取单元和第二提取单元分别与所述模型构建模块连接。
[0062]
进一步地，所述宏观特征信息包括：鸟巢的颜色特征信息和轮廓特征信息。
[0063]
进一步地，所述第一提取单元中提取所述颜色特征信息的方式为：一维离散小波变换；
[0064]
所述第一提取单元中提取所述轮廓特征信息的方式为：二维离散小波变换；
[0065]
进一步地，所述微观纹理信息包括：鸟巢内树枝细节的纹理信息。
[0066]
进一步地，所述模型构建模块构建所述鸟巢识别模型的方法包括：通过所述特征信息对支持向量机或高斯贝叶斯分类器进行训练验证，获得所述鸟巢识别模型。
[0067]
进一步地，采用所述高斯贝叶斯分类器构建模型的过程包括：通过所述高斯贝叶斯分类器获取图像中有鸟巢和无鸟巢时的高斯分布系数；
[0068]
获取所述有鸟巢时的高斯分布系数即获取每个像素点的标准差；
[0069]
获取所述无鸟巢时的高斯分布系数即获取每个像素点的数学期望值；
[0070]
在本发明的具体实施例中，包括以下系统功能实现：
[0071]
1.图像输入模块
[0072]
图像输入模块，采用esp32s3自带的ov2640输入，或者以spi或uart接口将图片数据流形式输入esp32-s3。在本实施例中esp-s3-eye自带ov2640相机，配合esp-who使用，可实现对相机读取数据的调用。
[0073]
2.基于离散小波变换的多级细节特征提取模块
[0074]
离散小波变换模块，对原图进行三次变换，分别获取宏观信息ll3，和细节信息hh1，hh2，hh3。按照离散小波变换原理，一维离散小波变换公式为：
[0075][0076][0077]
写成矩阵形式为：
[0078]aj+1
＝h
jaj
[0079]dj+1
＝g
jaj
[0080]
其中，a
j+1
为j+1阶信号的近似值，hj为j阶信号的高通分量，aj为j阶信号的近似值，d
j+1
为j+1阶信号的细节值，gj为j阶信号的低通分量，aj为j阶信号的近似值。
[0081]
对于二维小波变换可以写为：
[0082]ai,j+1
＝h
jai,j
[0083]di,j+1
＝g
jai,j
[0084]ai+1,j+1
＝h
iai,j+1
[0085]di+1,j+1
＝g
jai,j+1
[0086]
其中，a
i,j+1
为横向i阶纵向j+1阶信号的近似值，a
i,j
为横向i阶纵向j阶信号的近似
值，d
i,j+1
为横向i阶纵向j+1阶信号的细节值，a
i,j
为横向i阶纵向j阶信号的近似值，a
i+1,j+1
为横向i+1阶纵向j+1阶信号的近似值，d
i+1,j+1
为横向i+1阶纵向j+1阶信号的细节值，gj为j阶信号的低通分量。
[0087]
对于最简单的db0小波即haar小波，h[n]和g[n]的定义为：
[0088][0089][0090]
其中，h[n]为高通滤波器，g[n]为低通滤波器，n为长度。
[0091]
采用python的pywt模块对铁塔上鸟巢进行db0小波处理，连续得到三次小波图像，得到鸟巢纹理细节。
[0092]
在本实施例中，小波变换通过haar.c和haar.h实现，采用最简单的db0小波，即haar小波，变换过程中仅计算低频图像ll和高频对角细节图像hh，然后对ll继续做小波变换，获得ll2和hh2。对于分辨率大于800*600的图像，采用3次离散小波变换，对于小于等于640*480的图像采用2次小波变换。
[0093]
3.机器学习分类器训练和判断模块(即模型构建模块)
[0094]
机器学习训练模块，用于在pc端训练模型参数。也可以迁移至esps3中通过摄像头ov2640采集的图片进行本地训练，直接获取模型参数。
[0095]
本实施例采用高斯贝叶斯分类器，其原理如下：
[0096]
假设属于某一类型(有鸟巢，无鸟巢两种)的图片，图片中的每个像素点xi取值的分布满足高斯分布，即：
[0097][0098]
其中simga_i和miu_i为第i个像素点的期望值和标准差，下标c为类型，有鸟巢和无鸟巢两种类型。判断公式(即鸟巢识别模型)为：
[0099][0100]
t大于1，则判定为有鸟巢，t小于1，则判定为无鸟巢。由于在mcu中计算连乘消耗较多内存，所以将两边对数化，有：
[0101][0102]
由于i》》1,而两类样本数量比例通常不会大于10倍，即logt＝logp(c
trie
)-logp(c_false)远小于第三项，因此简化为：
[0103][0104]
其中，logt大于0则认为有鸟巢，小于0则认为无鸟巢，为有鸟巢类型，为无鸟巢类型，m为采样点数，xi表示第i个采样点，i为采样点的个数顺序，t为判断模型符号。
[0105]
高斯贝叶斯分类器对图片分类仅需要计算logt，并判断其是否大于0，大于0认为有鸟巢，小于0则认为无鸟巢。
[0106]
高斯贝叶斯的训练过程也很简单，即计算两种类型，有鸟巢和无鸟巢时的高斯分布系数，即每个像素点的取值标准差σ
i,c_true
、σ
i,c_false
和数学期望值μ
i,c_true
、μ
i,c_false
，即
[0107][0108][0109]
其中，m为采样点数，x
i,c
为采样像素点与当前点距离为i的权重值，为周边像素的加权平均值，x
m,c
为采样像素点与当前点距离为m的权重值。
[0110]
本实施例的机器学习训练模块的实现过程既可以在个人电脑上由python的pandas库实现，在pc上训练得到模型参数后，迁移至esp32-s3，也可以在esp32-s3通过自带的ov2640相机在本地进行训练。
[0111]
4.模型参数导入模块
[0112]
模型导入可以采用两种方法，将训练后的σ
i,c_true
,σ
i,c_false
，μ
i,c_true
,μ
i,c_r
存储为csv文件，放置于sd卡，由程序在运行时分多次读取，这种方法可以减少内存的使用。
[0113]
第二种方法是直接生成.hpp文件，在文件中定义一个静态全局变量(由于esp32s3可能通过本地训练更新模型参数，因此没有将其定义为常量)在程序编译时通过#include文件。但这种方法在高分辨率图像的处理时占用过多内存，会导致程序编译不通过。
[0114]
本实施例首先采用python实现了高斯贝叶斯分类器，然后用c重写，在电脑上通过linux子系统make和g++编译器调试。
[0115]
本实施例首次采用低成本和低功耗的物联网边缘微控制器实现基于机器学习和边缘计算的鸟巢实时检测功能。现有的方案大多采用无人机传图技术，在云端进行处理，这种方案较难实现实时检测功能。本方案采用物联网微控制单元，成本低功耗小，且功能模块可直接安装在无人机上，可实现实时在线检测。
[0116]
本实施例采用离散小波变换对拍摄到的图像进行三次变换，提取宏观和纹理特
征。分别提取宏观的颜色和轮廓信息，以及鸟巢内树枝细节的纹理信息，然后对宏观信息和微观信息分别采用机器学习分类器识别，这种方法可以降低实际的信息输入量，且检测精度高。
[0117]
以上，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，包括：输入模块、特征提取模块、模型构建模块和输出模块；所述输入模块，用于接收原始图像并传输至所述特征提取模块，其中，所述原始图像包括：高压输电设备的图像和接触网的图像；所述特征提取模块，用于对所述原始图像进行特征提取，获取特征信息；所述模型构建模块，用于基于所述特征信息构建鸟巢识别模型；所述输出模块，用于根据所述鸟巢识别模型，输出所述原始图像的鸟巢识别结果。2.根据权利要求1所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述特征提取模块包括：第一提取单元和第二提取单元；所述第一提取单元，用于提取所述原始图像中的鸟巢的宏观特征信息；所述第二提取单元，用于提取所述原始图像中的鸟巢的微观纹理信息；所述第一提取单元和第二提取单元分别与所述模型构建模块连接。3.根据权利要求2所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述宏观特征信息包括：鸟巢的颜色特征信息和轮廓特征信息。4.根据权利要求3所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述第一提取单元中提取所述颜色特征信息的方式为：一维离散小波变换；所述一维离散小波变换为：a
j+1
＝h
j
a
j
d
j+1
＝g
j
a
j
其中，a
j+1
为j+1阶信号的近似值，h
j
为j阶信号的高通分量，a
j
为j阶信号的近似值，d
j+1
为j+1阶信号的细节值，g
j
为j阶信号的低通分量，a
j
为j阶信号的近似值。5.根据权利要求3所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述第一提取单元中提取所述轮廓特征信息的方式为：二维离散小波变换；所述二维离散小波变换为：a
i，j+1
＝h
j
a
i，j
d
i，j+1
＝g
j
a
i，j
a
i+1，j+1
＝h
i
a
i，j+1
d
i+1，j+1
＝g
j
a
i，j+1
其中，a
i，j+1
为横向i阶纵向j+1阶信号的近似值，a
i，j
为横向i阶纵向j阶信号的近似值，d
i，j+1
为横向i阶纵向j+1阶信号的细节值，a
i，j
为横向i阶纵向j阶信号的近似值，a
i+1，j+1
为横向i+1阶纵向j+1阶信号的近似值，d
i+1，j+1
为横向i+1阶纵向j+1阶信号的细节值，g
j
为j阶信号的低通分量。6.根据权利要求3所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述微观纹理信息包括：鸟巢内树枝细节的纹理信息。7.根据权利要求6所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述第二提取单元中提取所述鸟巢内树枝细节的纹理信息的方式为：db0小波处理；所述db0小波处理为：
其中，h[n]为高通滤波器，g[n]为低通滤波器，n为长度。8.根据权利要求1所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述模型构建模块构建所述鸟巢识别模型的方法包括：通过所述特征信息对支持向量机或高斯贝叶斯分类器进行训练验证，获得所述鸟巢识别模型。9.根据权利要求8所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，采用所述高斯贝叶斯分类器构建模型的过程包括：通过所述高斯贝叶斯分类器获取图像中有鸟巢和无鸟巢时的高斯分布系数；获取所述有鸟巢时的高斯分布系数即获取每个像素点的标准差；所述标准差σ
i,c
为：其中，m为采样点数，x
i,c
为采样像素点与当前点距离为i的权重值，为周边像素的加权平均值；获取所述无鸟巢时的高斯分布系数即获取每个像素点的数学期望值；所述数学期望值μ
i,c
为：其中，x
m,c
为采样像素点与当前点距离为m的权重值。10.根据权利要求1所述的基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，其特征在于，所述鸟巢识别模型为：其中，logt大于0则认为有鸟巢，小于0则认为无鸟巢，为有鸟巢类型，为无鸟巢类型，m为采样点数，x
i
表示第i个采样点，i为采样点的个数顺序，t为判断模型符号。

技术总结
本发明提供了基于低功耗物联网边缘计算设备的接触网鸟巢识别系统，包括：输入模块、特征提取模块、模型构建模块和输出模块；所述输入模块，用于输入原始图像至所述特征提取模块，其中，所述原始图像包括：高压输电设备的图像和接触网的图像；所述特征提取模块，用于对所述原始图像进行特征提取，获取特征信息；所述模型构建模块，用于基于所述特征信息构建鸟巢识别模型；所述输出模块，用于根据所述鸟巢识别模型，输出所述原始图像的鸟巢识别结果。本发明能够降低实际的信息输入量，且检测精度高，并且实现实时在线检测。并且实现实时在线检测。并且实现实时在线检测。


技术研发人员：谢楠 李俊 何志超
受保护的技术使用者：福州大学
技术研发日：2023.03.31
技术公布日：2023/7/18