一种基于多模态数据融合的风机叶片状态检测方法及系统

1.本发明属于风力发电技术领域，尤其涉及一种基于多模态数据融合的风机叶片状态检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.当下，风机叶片的检测很大程度上基于人力检测、模式识别或者基于人工智能的叶片的单模态的数据进行检测；其中，人力检测主要依靠技术人员的经验检测，简单有效，但人力资源消耗巨大；模式识别主要通过建立一个故障数据库，通过比对待检测叶片和数据库来确定其故障，思路清楚但准确度不足；而基于人工智能的单模态预测，主要获得叶片的一个模态的数据，例如图像或声音等，通过人工智能的方式实现预测，高效而准确，但对于叶片的某些故障，单一模态的数据无法反映，例如内部裂痕无法在表面图像中体现，因此会出现不适应全部情况的现象。
4.因此，亟需一种基于多模态数据的风机叶片状态检测方法，实现更准确、更及时、更便捷的检测。


技术实现要素：

5.为克服上述现有技术的不足，本发明提供了一种基于多模态数据融合的风机叶片状态检测方法及系统，结合特征级融合和决策级融合的多模态数据融合方式，减轻任务量、减少冗余数据的同时，又增强可解释性、提高数据利用率，从总体上提升叶片检测的准确性、便捷性和实时性。
6.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
7.本发明第一方面提供了一种基于多模态数据融合的风机叶片状态检测方法；
8.一种基于多模态数据融合的风机叶片状态检测方法，包括：
9.获取待检测叶片的多个模态数据，从中提取各个模态数据的特征，进行特征级融合，生成新的多模态融合特征；
10.将多模态融合特征输入到训练好的各模态模型中，得到各模态模型的检测结果；
11.对各模态模型的检测结果进行决策级融合，得到最终的风机叶片状态检测结果。
12.进一步的，所述模态数据，包括叶片可见光图像、叶片红外图像、叶片声音、叶片振动信号。
13.进一步的，所述叶片可见光图像的特征提取，具体为：
14.(1)通过无人机获得待检测叶片的表面图片；
15.(2)进行去雾化处理；
16.(3)通过引入注意力机制的cnn模型对去雾化后的图片进行特征提取，得到可见光图特征图a(i,j)，i、j表示像素点位置。
17.进一步的，所述注意力机制包括通道注意力、空间注意力；
18.所述通道注意力，是对特征图进行最大池化和平均池化得到两个向量，将得到的两个相同维度的向量放入同一个感知机学习，将输出结果逐个相加放入s i gmod函数激活得到通道注意力向量，与原向量相乘得到注意力机制下的特征向量；
19.所述空间注意力，是对通道注意力输出的结果进行最大池化和平均池化处理，将两个结果拼接起来进行卷积操作，得到空间注意力向量，与通道注意力机制输出结果相乘得到最终的特征图。
20.进一步的，所述进行特征级融合，是将叶片可见光图像和叶片红外图像的特征进行融合，具体为：
21.(1)通过红外成像的方式，获得叶片红外图像b(i,j)，通过灰度处理方式得到叶片红外图像的灰度图c(i,j)，i、j表示像素点位置；
22.(2)设置一个与灰度图c等大小的待耦合零矩阵d(i,j)，设置阈值t，当c(i,j)大于t时，取叶片红外图像对应点的像素值，即令d(i,j)等于b(i,j)；当c(i,j)小于等于t时，取可见光图对应点的像素值，即令d(i,j)等于a(i,j)。
23.进一步的，所述模态模型，包括：基于可见光图像和红外图像的决策模型、基于声学特征的决策模型和基于振动信号的决策模型。
24.进一步的，所述决策级融合，通过训练好的决策感知机，将各模态模型的检测结果进行加权融合，得到最终的风机叶片状态检测结果。
25.本发明第二方面提供了一种基于多模态数据融合的风机叶片状态检测系统。
26.一种基于多模态数据融合的风机叶片状态检测系统，包括特征生成模块、模态检测模块和决策融合模块：
27.特征生成模块，被配置为：获取待检测叶片的多个模态数据，从中提取各个模态数据的特征，进行特征级融合，生成新的多模态融合特征；
28.模态检测模块，被配置为：将多模态融合特征输入到训练好的各模态模型中，得到各模态模型的检测结果；
29.决策融合模块，被配置为：对各模态模型的检测结果进行决策级融合，得到最终的风机叶片状态检测结果。
30.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于多模态数据融合的风机叶片状态检测方法中的步骤。
31.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种基于多模态数据融合的风机叶片状态检测方法中的步骤。
32.以上一个或多个技术方案存在以下有益效果：
33.本发明的多模态数据融合的叶片检测方法，充分利用叶片多模态的数据，全方位准确地检测出叶片的故障，大大提高检测的准确率；同时传统的叶片检测需要大量的人力进行实地探测，同时对技术人员要求较高，人力成本较高，且检测周期长、维护工作量大；对于本方法，不需要人力实地检测，且对技术要求较低，需要的人力成本较低，且可以实现实时检测，检测工作量较低；因此，本发明的叶片检测方式实现了更准确、更及时、更便捷的检
测，相比传统检测方法有了巨大提升。
34.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
35.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
36.图1为第一个实施例的方法流程图。
37.图2为第一个实施例的引入注意力机制cbam的cnn模型结构图。
38.图3为第一个实施例的卷积神经网络结构图。
39.图4为第一个实施例的图像检测流程图。
40.图5为第一个实施例的声音检测流程图。
41.图6为第一个实施例的振动检测流程图。
42.图7为第一个实施例的决策感知机结构图。
43.图8为第二个实施例的系统结构图。
具体实施方式
44.下面结合附图与实施例对本发明作进一步说明。
45.在叶片检测中涉及两种融合方式：
46.一种早期融合，即特征级融合，不同模态的数据经过特征提取以后，将特征向量进行融合，获得一种融合多模态数据的融合特征向量，再基于融合特征向量训练故障检测模型，实现对叶片故障的判别；
47.另一种为晚期融合，即决策级融合，对于不同模态的数据提取特征，在该模态下训练各自的故障检测模型，再将各自的故障检测模型的输出结果，按照加权的方式计算综合结果，给出最终的检测结果。
48.两种方式相比，特征级融合具有任务量小、数据冗余少的特点；决策级融合具有可解释性强、数据利用率高的特点；基于两种融合方式，本发明提出了一种结合特征级融合和决策级融合的多模态数据融合方式，从多个角度通过数据融合、决策融合的方式实现对风机叶片的智能预警；物理状态涉及多种参数，包括叶片可见光图像、叶片红外图像、叶片声音、叶片振动信号等；通过无人机拍摄和红外成像技术，获得叶片可见光图像和红外图像；通过声音采集器对叶片声音进行多方位全面收集；通过振动传感器获得振动相关数据；再结合去雾化、注意力机制、卷积神经网络等机器学习方法对数据进行处理、对叶片的故障进行预测，实现对风机叶片的实时智能监测，既能减轻任务量、减少冗余数据，又能增强可解释性、提高数据利用率。
49.实施例一
50.本实施例公开了一种基于多模态数据融合的风机叶片状态检测方法；
51.如图1所示，一种基于多模态数据融合的风机叶片状态检测方法，包括：
52.步骤s1：获取待检测叶片的多个模态数据，从中提取各个模态数据的特征，进行特征级融合，生成新的多模态融合特征；
53.模态数据，包括叶片可见光图像、叶片红外图像、叶片声音、叶片振动信号。
54.叶片可见光图像的处理步骤为：
55.(1)通过无人机获得待检测叶片的表面图片；
56.(2)进行去雾化处理，得到去雾图像：因为西部地区、沿海地区风力资源充足，风机往往分布在这样的地方，常伴随雾天，得到的图像对后续处理影响很大，因此采用一种表面图像去雾化处理的方式，由大气散射的原理可知，雾化成像模型如下：第一部分来自于衰弱的入射光源；第二部分来自于其他光源的散射，所述雾化成像模型，即有雾图像的降质数学表达式为：
57.i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀꢀꢀꢀꢀ
(1)
58.其中，第一部分为j(x)t(x)，i(x)表示无人机采集到的有雾图像，j(x)表示目标去雾图像，第二部分为a(1-t(x))，t(x)表示场景的透射率，a表示大气光值。
59.由公式(1)可得到，目标去雾图像j(x)的数学表达式为：
60.j(x)＝(i(x)-a(1-t(x)))/t(x)
ꢀꢀꢀꢀꢀꢀ
(2)
61.有雾图像的暗通道灰度值主要由大气光决定，可以估算出透射率t和大气光值a，a的估算方法为：提取暗通道图像灰度值在前0.1％的像素位置，对应到有雾图像中相应位置，再找出这些位置的最大像素值，这个像素值即为大气光值a。
62.t的估算方式为：使用引导滤波法细化透射率，引导滤波法的数学表达式为：
63.q＝a*i+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
64.其中，i是引导图，q是其变换得到的目标去雾图像，a、b是该窗口的固定参数，该模型认为引导图和目标图在一定范围内为线性关系。
65.实际得到的原始图为p，通过计算输入p和输出q的差再平方运算，使用最小二乘法计算出a、b的值，可得：
[0066][0067][0068][0069]
其中，p为实际得到的图，q为输出后的图，a、b为引导滤波法所定义的参数。
[0070]
通过以上方法，可以较快速且准确地完成去雾化。
[0071]
(3)对去雾图像进行特征提取。
[0072]
本实施例采用了一种引入注意力机制的特征提取方式：在实际检测中，风机叶片的主要损坏方式往往是裂纹和腐蚀，因此将无人机获得的图片分为裂纹、腐蚀和无缺陷；在叶片的环境中，往往出现背景复杂、光照不匀、缺陷占比小的问题，常规卷积神经网络往往难以提取到关键特征。
[0073]
针对这些问题，引入注意力机制cbam，使用引入注意力机制cbam的cnn模型进行图像特征的提取，模型具体结构如图2所示。
[0074]
cnn由输入层、卷积层、池化层、全连接层和输出层构成的，将输入和卷积核相乘得
到输入在该特征的投影，经过多次与卷积层、池化层的计算，最终得到输出图像的特征向量；在处理风机叶片的图像时，为解决存在光照不均、背景复杂、缺陷占比小的问题，实现对特征的准确提取，引入注意力机制。
[0075]
注意力机制cbam是一种运算成本较小的注意力引入方式，能在几乎不改变运算成本的前提下提高特征的质量，注意力机制包括通道注意力、空间注意力。
[0076]
实现通道注意力：先对特征图进行最大池化和平均池化得到两个向量，将得到的两个相同维度的向量放入同一个感知机学习，将输出结果逐个相加放入s i gmod函数激活得到通道注意力向量，与原向量相乘得到注意力机制下的特征向量；特征图是图像去雾化后的矩阵存储；通道注意力是注意力机制的一部分，注意力机制是一种特殊的运算层，包括了卷积、池化、全联接以及一些融合注意力机制的运算，相当于cnn里面加了一个特殊层。
[0077]
实现空间注意力：对通道注意力机制输出的结果进行最大池化和平均池化处理，将两个结果拼接起来进行卷积操作，得到空间注意力向量，与通道注意力机制输出结果相乘得到加强空间注意力的特征图a(i,j)，i,j表示像素点的位置。
[0078]
因为无人机只能获得叶片表面可见光图像，无法判断内部故障，而红外图像可以判断内部的故障，且叶片表面特征图与红外特征图具有高度信息冗余性，因此将叶片可见光图像的特征图与红外图像进行特征级融合，获得叶片内外部故障特征且降低信息冗余，具体为：
[0079]
(1)通过红外成像的方式，获得叶片红外图像b(i,j)，通过灰度处理方式得到红外图像的灰度图c(i,j)，i,j表示像素点的位置。
[0080]
(2)设置一个与灰度图c等大小的待耦合零矩阵d(i,j)，设置阈值t，当c(i,j)大于t时，取红外图像对应点的像素值，即令d(i,j)等于b(i,j)；当c(i,j)小于等于t时，取可见光图对应点的像素值，即令d(i,j)等于a(i,j)，用公式表示为：
[0081][0082]
这样就得到一个融合可见光图像及红外图像的图像特征d(i,j)，相比于单独的可见光图像，该图像可以获得叶片内部异常，相比于单独的红外图像，该图像更加清晰，更能处理到细小的故障且能更准确的获得故障位置。
[0083]
关于对叶片声音的处理，具体为：
[0084]
(1)获得风机叶片的相关数据：采用声音列阵传感器采集声音信息的方式获得风机的声场，通过声音传感器的排列，实现对于风机声音的全方位采集，降低噪音对于局部声音采集的影响，同时保证信息收集的完整性。
[0085]
(2)对于得到的声信号，进行预处理去除噪音，通过实验，测得在无风机声音的环境里采集得到的声信号相比于采集得到的风机声音信号为低频信号，因此采用高通滤波的方式去除噪音。
[0086]
(3)对于声信号的提取，采用一种mfcc特征提取方法提取得到声学特征，具体为：首先在mt l ab中添加vi ocebox包，再基于vi ocebox包里相关工具以此实现读取、预加重、分帧、加窗、傅立叶变换等后续操作，实现声音的特征提取。
[0087]
关于对叶片振动信号的处理，具体为：
[0088]
(1)通过振动传感器获得叶片振动的相关数据；
[0089]
(2)因为风机叶片的振动具有固有频率，频率相对稳定，因此使用傅立叶变换进行滤波，通过傅立叶变换得到振动信号的频域分布，去除噪音频域，得到去噪后的振动信号，作为叶片的振动信号特征。
[0090]
步骤s2：将多模态融合特征输入到训练好的各模态模型中，得到各模态模型的检测结果；
[0091]
模态模型，包括基于图像的故障检测模型、基于声学的故障检测模型和基于振动信号的故障检测模型。
[0092]
基于图像的故障检测模型，基于如图3所示的卷积神经网络构建，通过训练集样本提取的图像特征进行训练得到的；将待检测叶片的图像特征输入到训练好的模型中，得到图像检测结果，流程如图4所示。
[0093]
基于声学的故障检测模型，基于如图3所示的卷积神经网络构建，通过训练集样本提取的声学特征，训练神经网络模型得到的；将待检测叶片的声学特征输入到训练好的模型中，得到声学检测结果，流程如图5所示。
[0094]
基于振动信号的故障检测模型，基于如图3所示的卷积神经网络构建，根据训练集样本的去噪后的振动信号，以正常状态的叶片振动信号作为正样本，故障状态的叶片振动信号作为副样本，训练神经网络模型，得到基于振动信号的故障检测模型；将待检测叶片振动信号进行傅立叶变换滤波，将滤波后得到的去噪信号输入到基于振动信号的故障检测模型，得到输出作为振动信号检测结果，流程如图6所示。
[0095]
步骤s3：对各模态模型的检测结果进行决策级融合，得到最终的风机叶片状态检测结果，具体为：
[0096]
构建决策感知机，结构如图7所示，基于训练集中样本的图像检测结果、声学检测结果和振动信号检测结果，对决策感知机进行训练，得到训练的决策感知机。
[0097]
基于训练好的决策感知机，将待检测叶片的图像检测结果、声学检测结果和振动信号检测结果，进行加权融合，得到最终的风机叶片状态检测结果。
[0098]
实施例二
[0099]
本实施例公开了一种基于多模态数据融合的风机叶片状态检测系统；
[0100]
如图8所示，一种基于多模态数据融合的风机叶片状态检测系统，包括特征生成模块、模态检测模块和决策融合模块：
[0101]
特征生成模块，被配置为：获取待检测叶片的多个模态数据，从中提取各个模态数据的特征，进行特征级融合，生成新的多模态融合特征；
[0102]
模态检测模块，被配置为：将多模态融合特征输入到训练好的各模态模型中，得到各模态模型的检测结果；
[0103]
决策融合模块，被配置为：对各模态模型的检测结果进行决策级融合，得到最终的风机叶片状态检测结果。
[0104]
实施例三
[0105]
本实施例的目的是提供计算机可读存储介质。
[0106]
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种基于多模态数据融合的风机叶片状态检测方法中的步骤。
[0107]
实施例四
[0108]
本实施例的目的是提供电子设备。
[0109]
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种基于多模态数据融合的风机叶片状态检测方法中的步骤。
[0110]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多模态数据融合的风机叶片状态检测方法，其特征在于，包括：获取待检测叶片的多个模态数据，从中提取各个模态数据的特征，进行特征级融合，生成新的多模态融合特征；将多模态融合特征输入到训练好的各模态模型中，得到各模态模型的检测结果；对各模态模型的检测结果进行决策级融合，得到最终的风机叶片状态检测结果。2.如权利要求1所述的一种基于多模态数据融合的风机叶片状态检测方法，其特征在于，所述模态数据，包括叶片可见光图像、叶片红外图像、叶片声音、叶片振动信号。3.如权利要求2所述的一种基于多模态数据融合的风机叶片状态检测方法，其特征在于，所述叶片可见光图像的特征提取，具体为：(1)通过无人机获得待检测叶片的表面图片；(2)进行去雾化处理；(3)通过引入注意力机制的cnn模型对去雾化后的图片进行特征提取，得到可见光图特征图a(i,j)，i、j表示像素点位置。4.如权利要求3所述的一种基于多模态数据融合的风机叶片状态检测方法，其特征在于，所述注意力机制包括通道注意力、空间注意力；所述通道注意力，是对特征图进行最大池化和平均池化得到两个向量，将得到的两个相同维度的向量放入同一个感知机学习，将输出结果逐个相加放入sigmod函数激活得到通道注意力向量，与原向量相乘得到注意力机制下的特征向量；所述空间注意力，是对通道注意力输出的结果进行最大池化和平均池化处理，将两个结果拼接起来进行卷积操作，得到空间注意力向量，与通道注意力机制输出结果相乘得到最终的特征图。5.如权利要求3所述的一种基于多模态数据融合的风机叶片状态检测方法，其特征在于，所述进行特征级融合，是将叶片可见光图像和叶片红外图像的特征进行融合，具体为：(1)通过红外成像的方式，获得叶片红外图像b(i,j)，通过灰度处理方式得到叶片红外图像的灰度图c(i,j)，i、j表示像素点位置；(2)设置一个与灰度图c等大小的待耦合零矩阵d(i,j)，设置阈值t，当c(i,j)大于t时，取叶片红外图像对应点的像素值，即令d(i,j)等于b(i,j)；当c(i,j)小于等于t时，取可见光图对应点的像素值，即令d(i,j)等于a(i,j)。6.如权利要求1所述的一种基于多模态数据融合的风机叶片状态检测方法，其特征在于，所述模态模型，包括：基于图像的故障检测模型、基于声学的故障检测模型和基于振动信号的故障检测模型。7.如权利要求1所述的一种基于多模态数据融合的风机叶片状态检测方法，其特征在于，所述决策级融合，通过训练好的决策感知机，将各模态模型的检测结果进行加权融合，得到最终的风机叶片状态检测结果。8.一种基于多模态数据融合的风机叶片状态检测系统，其特征在于，包括特征生成模块、模态检测模块和决策融合模块：特征生成模块，被配置为：获取待检测叶片的多个模态数据，从中提取各个模态数据的特征，进行特征级融合，生成新的多模态融合特征；模态检测模块，被配置为：将多模态融合特征输入到训练好的各模态模型中，得到各模
态模型的检测结果；决策融合模块，被配置为：对各模态模型的检测结果进行决策级融合，得到最终的风机叶片状态检测结果。9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于多模态数据融合的风机叶片状态检测方法中的步骤。10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于多模态数据融合的风机叶片状态检测方法中的步骤。

技术总结
本发明提出了一种基于多模态数据融合的风机叶片状态检测方法及系统，涉及风力发电技术领域,具体方案包括：获取待检测叶片的多个模态数据，从中提取各个模态数据的特征，进行特征级融合，生成新的多模态融合特征；将多模态融合特征输入到训练好的各模态模型中，得到各模态模型的检测结果；对各模态模型的检测结果进行决策级融合，得到最终的风机叶片状态检测结果；本发明结合特征级融合和决策级融合的多模态数据融合方式，减轻任务量、减少冗余数据的同时，又增强可解释性、提高数据利用率，从总体上提升叶片检测的准确性、便捷性和实时性。性。性。


技术研发人员：陈少雨 卜令国 王金根 王昕炜 项武 赵阳 胡友龙 贺振华
受保护的技术使用者：山东大学
技术研发日：2023.01.30
技术公布日：2023/5/16