一种基于协同神经网络算法的港口设备运维故障声音监测方法与流程

1.本发明属于港口设备运维技术领域，尤其是涉及一种基于协同神经网络算法的港口设备运维故障声音监测方法。


背景技术：

2.目前，随着新型信息化技术的飞速发展，国内外港口企业将信息化技术积极应用到港口实际生产。随着大型设备自动化水平的不断提升，大型设备运维难的问题日益突显。为提高设备运维效率，保障大型设备可靠、安全、长期稳定运行，突破人工巡检，简易机械运维流程，逐渐出现了基于传感器的物联网智能运维系统，其中声音传感器在运维应用中最为广泛，在皮带机、堆取料机、门机、卸船机等大型设备的电机、皮带、托辊、钢丝绳、大车以及其他部位运行过程中，可通过声音进行判断该部位是否发生故障，以及故障等级，指导维保作业。
3.目前在设备运维的声音监测中，主要将传感器安装至设备单一部位进行监测，之后传入物联网系统进行检测，受制于系统后台数据处理能力的不足，存在问题有：(1)声音嘈杂，无法对设备部位故障进行准确识别；(2)无法对同一部位不同声音故障程度等级划分监测；(3)系统的声音数据处理算法单一，处理效率低且准确性较差。


技术实现要素：

4.有鉴于此，本发明提出一种基于协同神经网络算法的港口设备运维故障声音监测方法，以期部分的解决上述技术问题之一。
5.为达到上述目的，本发明的技术方案是这样实现的：
6.一方面，本发明提供了一种基于协同神经网络算法的港口设备运维故障声音监测方法，包括：
7.预采集声音数据，声音数据包括设备正常运行的声音数据和故障声音数据；
8.提取预采集声音数据中的音频特征；
9.基于提取的音频特征创建声音识别模型，利用声音识别模型识别故障声音。
10.进一步的，所述故障声音数据包括不同等级的故障声音数据。
11.进一步的，在提取预采集声音数据中的音频特征之前还需要对预采集声音数据进行预处理，方法如下：
12.对预采集声音数据进行去噪、切割分帧、预加重和加窗处理。
13.进一步的，提取预采集声音数据中的音频特征，包括：
14.采集的声音数据经预处理后，利用短时傅里叶变换为频谱参数，然后通过梅尔频率滤波器做卷积运算，再对各个频带数据结果进行对数运算处理，得到一组对数能量x(t)，t＝[1,30]，为得到梅尔倒谱系数，还需要对得到的参数进行离散余弦变换(dct)，所述梅尔倒谱系数为港口设备运行声音特征参数，公式如下：
[0015][0016]
其中，n为系数的个数，qi(n)为第i帧的第n个梅尔系数，x(t)为log对数能量模块的输出，m为mel滤波器的个数。
[0017]
进一步的，基于提取的音频数据创建声音识别模型，利用声音识别模型识别故障声音，包括：
[0018]
对预采集的不同等级的故障声音数据经预处理和音频特征提取后作为声音故障等级分类的原型量向量vk；
[0019]
对采集的设备实时运行的声音数据进行预处理和音频特征提取，作为待识别量q；
[0020]
将待识别量q从中间状态q(t)进入故障等级原型量vk中，进而实现对待识别量q的识别。
[0021]
进一步的，包括如下步骤：
[0022]
1、利用待识别量q和原型量vk组成一定量的序参量，作为算法模型的参数；
[0023]
其中，满足声音识别的动力学方式为：
[0024][0025]
式中，q为状态向量；γk》0；
[0026]
2、设计归一化和零均值条件的声音原型量向量vk，并计算伴随向量其中vk＝(v
k1
,v
k2
,...,v
kn
)
′
，n为原型量向量的维数；
[0027]
设计归一化和均值条件时，要求：和伴随向量满足：
[0028][0029]
3、状态向量q由vk和剩余向量w表示：
[0030][0031]
其中，q的伴随向量为：
[0032][0033]
为序参量；
[0034]
4、根据选取的声音待识别量原值的特征向量q(0)，且利用公式4、根据选取的声音待识别量原值的特征向量q(0)，且利用公式即得到
[0035]
5、利用序参量动力学方程对系统进行演化；
[0036]
认为式(2)为得到势函数的极值，若不考虑式(2)中的f(t)和暂态量，则得到协同势函数：
[0037][0038]
将序参量代入式(5)时，得到与协同势函数相关的2个方程，即序参量动力学方程式和势函数：
[0039][0040][0041]
(6)根据序参量演化过程的稳定性情况，若实际效果稳定，则执行下一步；否则，跳转至上一步；
[0042]
随着系统动力学能量降为0时，此时系统处于稳定状态即：
[0043][0044]
其中
[0045][0046]
此时，经过系统离散化过程，序参量的动力学方程变为：
[0047][0048]
其中r为迭代步长，协同神经网络算法系统的稳定性由r的大小来决定；
[0049]
(7)故障识别及等级分类定案
‑‑‑
将协同神经网络系统稳定的序参量按式(11)进行展现，以此最终完成声音的识别过程；
[0050]
。
[0051][0052]
另一方面，本发明提供了一种基于协同神经网络算法的港口设备运维故障声音监测装置，包括：
[0053]
声音采集模块，用于实时采集和预采集声音数据，其中预采集声音数据包括设备正常运行的声音数据和故障声音数据；
[0054]
预处理模块，用于对实时采集和预采集声音数据进行预处理；
[0055]
提取模块，用于提取实时采集和预采集声音数据中的音频特征；
[0056]
创建模块，基于提取的预采集声音数据中的音频特征创建声音识别模型，利用声音识别模型识别故障声音。
[0057]
相对于现有技术，本发明所述的基于协同神经网络算法的港口设备运维故障声音
监测方法具有以下优势：
[0058]
(1)本发明所述的基于协同神经网络算法的港口设备运维故障声音监测方法，提出了一种港口设备运行故障检测方案，对声音故障分级识别，进而分层次提出处理方法。
[0059]
(2)本发明所述的基于协同神经网络算法的港口设备运维故障声音监测方法，提出协同神经网络算法基于待测声音特征参数进行快速识别方法，具有较强的鲁棒性，提高港口设备运维效率。
[0060]
(3)本发明所述的基于协同神经网络算法的港口设备运维故障声音监测方法，采用梅尔倒谱系数法在频域中快速获取了设备声音的特征值，提高了系统诊断的准确性。
附图说明
[0061]
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0062]
图1为本发明所述的基于协同神经网络算法的港口设备运维故障声音监测方法流程图；
[0063]
图2为本发明所述的音频数据预处理流程图。
具体实施方式
[0064]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0065]
下面将参考附图并结合实施例来详细说明本发明。
[0066]
本实施例提供了一种基于协同神经网络算法的港口设备运维故障声音监测方法，根据港口设备运维管理方式，分级管理设备运行过程中的声音故障量，包括：正常运行声音对应不做处理、一级故障声音对应继续监测、二级故障声音对应作业后检修、三级故障声音对应立即停机检修等量。如图1所示，包括如下步骤：
[0067]
1、港口设备运行声音数据预采集
[0068]
采用但不限于声音传感器采集港口设备部位正常作业声音数据及故障声音数据。
[0069]
2、音频预处理
‑‑‑
降噪、无监督切割
[0070]
港口设备在实际作业过程中除自身产生声音之外，还有周围其他设备产生的噪声。对采集到的声音数据进行去噪处理，之后进行切割分帧处理，每个帧长为20ms，同时包含预加重和加窗处理，具体流程参见图2。
[0071]
3、音频特征提取
‑‑‑
梅尔频率倒谱系数方法
[0072]
(1)对预采集的不同等级声音状态处理之后作为声音故障等级分类的原型量向量vk；对设备实时运行声音状态进行特征值提取，作为待识别量q。将待识别量q从中间状态q(t)进入故障等级原型量vk中，进而实现对q的识别。
[0073]
(2)本方法中采用梅尔频率倒谱系数量进行不同状态下声音特征的提取。
[0074]
港口设备运行时的声音信号在处理时，由于在时域中不稳定，同时避免从时域直接提取特征参数时间较长，不能有效的逼近时域信号，会使信号太过平滑，因此将信号通过短时傅里叶变换由时域转换到频域中进行提取。声音信号通过步骤1,2处理之后，经短时傅里叶变换为频谱参数，然后通过梅尔频率滤波器做卷积运算，再对各个频带数据结果进行
对数运算处理，可得到了一组对数能量x(t)，t＝[1,30]，为得到梅尔倒谱系数，还需要对得到的参数进行离散余弦变换(dct)，梅尔倒谱系数即港口设备运行声音特征参数，如式：
[0075][0076]
其中，n为系数的个数，qi(n)为第i帧的第n个梅尔系数，x(t)为log对数能量模块的输出，m为mel滤波器的个数。
[0077]
4、基于协同神经网络算法模型训练
‑‑‑
建立协同神经网络算法模型，采用不同状态下故障分级提取的特征数据进行算法模型训练。
[0078]
(1)根据序参量动力学方程对系统进行演化。在算法模型中，利用待识别量q和原型量vk组成一定量的序参量，作为算法模型的重要参数。满足声音识别的动力学方式为：
[0079][0080]
其中：q为状态向量；γk》0。
[0081]
(2)设计归一化和零均值条件的声音原型量向量vk，并计算伴随向量其中vk＝(v
k1
,v
k2
,...,v
kn
)
′
，n为原型量向量的维数。
[0082]
设计归一化和均值条件时，要求：和伴随向量满足：
[0083][0084]
(3)状态向量q可由vk和w(剩余向量)表示：
[0085][0086]
其中，q的伴随向量为
[0087][0088]
为序参量。
[0089]
(4)根据选取的声音待识别量原值的特征向量q(0)，且利用公式(4)根据选取的声音待识别量原值的特征向量q(0)，且利用公式即即可得到
[0090]
(5)利用序参量动力学方程对系统进行演化。
[0091]
可认为式(2)为得到势函数的极值，若不考虑式(2)中的f(t)和暂态量，则可得到协同势函数：
[0092][0093]
将序参量代入式(5)时，可得到与协同势函数相关的2个方程，即序参量动力学方
程式和势函数：
[0094][0095][0096]
(6)根据序参量演化过程的稳定性情况，若实际效果稳定，则执行下一步；否则，跳转至上一步。
[0097]
随着系统动力学能量降为0时，此时系统处于稳定状态即：
[0098][0099]
其中
[0100][0101]
此时，经过系统离散化过程，序参量的动力学方程变为：
[0102][0103]
其中r为迭代步长，协同神经网络算法系统的稳定性由r的大小来决定。
[0104]
(7)故障识别及等级分类定案
‑‑‑
将协同神经网络系统稳定的序参量按式(11)进行展现，以此最终完成声音的识别过程。
[0105][0106]
5、港口设备实时声音采集
[0107]
将声音传感器安装于港口设备部位之中，分别采集不同状态下运行时的声音信号数据。
[0108]
6、港口设备实时声音预处理
[0109]
港口设备运行时实时采集的声音信号采用步骤2中的方法进行数据预处理。
[0110]
7、港口设备实时声音特征提取
[0111]
将预处理后的港口设备运行声音数据按梅尔频率倒谱系数法进行特征值提取，方法与步骤3中的样本数据特征提取方法一致。
[0112]
8、港口设备实时声音带入模型
[0113]
实时数据经过预处理和特征提取后被送进训练后的动力学方程中，同时设定b、c以及r的值进行识别。
[0114]
9、港口设备实时声音故障鉴定
[0115]
经过协同神经网络算法可将采集的声音分为不同等级的预警信息，进而做出对应的故障诊断，实现故障分级及提出解决方案。
[0116]
另一方面，本发明提供了一种基于协同神经网络算法的港口设备运维故障声音监测装置，包括：
[0117]
声音采集模块，用于实时采集和预采集声音数据，其中预采集声音数据包括设备正常运行的声音数据和故障声音数据；
[0118]
预处理模块，用于对实时采集和预采集声音数据进行预处理；
[0119]
提取模块，用于提取实时采集和预采集声音数据中的音频特征；
[0120]
创建模块，基于提取的预采集声音数据中的音频特征创建声音识别模型，利用声音识别模型识别故障声音。
[0121]
需要说明的是，本实施例中的各模块既可以是硬件也可以是软件，亦可以是软件、硬件的结合形式，各模块的执行方法可参考上述实施例，本装置的主要目的是实现上述的一种基于协同神经网络算法的港口设备运维故障声音监测方法。
[0122]
本发明通过在港口设备部位中安装声音传感器，以设备运行声音状态为依据，以正常运行、一级故障运行、二级故障运行、三级故障运行等为原始参考标准，基于协同神经网络算法对不同状态下声音识别模型进行训练，以一定的鲁棒性对港口设备实时运行声音状态进行监测，克服了无法对设备部位故障进行准确识别的弊端，同时提出了对不同故障等级划分监测的方法。声音识别算法收敛速度快，稳定性强，具有很强的适用行和延续性。通过一种基于协同神经网络算法的港口设备运维故障声音监测方法，在传感器监测设备运行状态的基础上使用高级数据处理算法进行数据整合识别的研究，对港口大型设备运维智能化的提升有很大的积极意义。
[0123]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0124]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0125]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
[0126]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于协同神经网络算法的港口设备运维故障声音监测方法，其特征在于，包括：预采集声音数据，声音数据包括设备正常运行的声音数据和故障声音数据；提取预采集声音数据中的音频特征；基于提取的音频特征创建声音识别模型，利用声音识别模型识别故障声音。2.根据权利要求1所述的基于协同神经网络算法的港口设备运维故障声音监测方法，其特征在于：所述故障声音数据包括不同等级的故障声音数据。3.根据权利要求1所述的基于协同神经网络算法的港口设备运维故障声音监测方法，其特征在于：在提取预采集声音数据中的音频特征之前还需要对预采集声音数据进行预处理，方法如下：对预采集声音数据进行去噪、切割分帧、预加重和加窗处理。4.根据权利要求1所述的基于协同神经网络算法的港口设备运维故障声音监测方法，其特征在于：提取预采集声音数据中的音频特征，包括：采集的声音数据经预处理后，利用短时傅里叶变换为频谱参数，然后通过梅尔频率滤波器做卷积运算，再对各个频带数据结果进行对数运算处理，得到一组对数能量x(t)，t＝[1,30]，为得到梅尔倒谱系数，还需要对得到的参数进行离散余弦变换(dct)，所述梅尔倒谱系数为港口设备运行声音特征参数，公式如下：其中，n为系数的个数，q
i
(n)为第i帧的第n个梅尔系数，x(t)为log对数能量模块的输出，m为mel滤波器的个数。5.根据权利要求1所述的基于协同神经网络算法的港口设备运维故障声音监测方法，其特征在于，基于提取的音频数据创建声音识别模型，利用声音识别模型识别故障声音，包括：对预采集的不同等级的故障声音数据经预处理和音频特征提取后作为声音故障等级分类的原型量向量v
k
；对采集的设备实时运行的声音数据进行预处理和音频特征提取，作为待识别量q；将待识别量q从中间状态q(t)进入故障等级原型量v
k
中，进而实现对待识别量q的识别。6.根据权利要求1所述的基于协同神经网络算法的港口设备运维故障声音监测方法，其特征在于：包括如下步骤：
①
利用待识别量q和原型量v
k
组成一定量的序参量，作为算法模型的参数；其中，满足声音识别的动力学方式为：式中，q为状态向量；γ
k
>0；
②
设计归一化和零均值条件的声音原型量向量v
k
，并计算伴随向量其中v
k
＝(v
k1
,v
k2
,...,v
kn
)
′
，n为原型量向量的维数；设计归一化和均值条件时，要求：和伴随向
量满足：
③
状态向量q由v
k
和剩余向量w表示：其中，q的伴随向量为：其中，q的伴随向量为：为序参量；
④
根据选取的声音待识别量原值的特征向量q(0)，且利用公式根据选取的声音待识别量原值的特征向量q(0)，且利用公式即得到
⑤
利用序参量动力学方程对系统进行演化；认为式(2)为得到势函数的极值，若不考虑式(2)中的f(t)和暂态量，则得到协同势函数：将序参量代入式(5)时，得到与协同势函数相关的2个方程，即序参量动力学方程式和势函数：势函数：
⑥
根据序参量演化过程的稳定性情况，若实际效果稳定，则执行下一步骤；否则，跳转至上一步骤；随着系统动力学能量降为0时，此时系统处于稳定状态即：其中此时，经过系统离散化过程，序参量的动力学方程变为：
其中r为迭代步长，协同神经网络算法系统的稳定性由r的大小来决定；
⑦
故障识别及等级分类定案；将协同神经网络系统稳定的序参量按式(11)进行展现，以此最终完成声音的识别过程；7.一种基于协同神经网络算法的港口设备运维故障声音监测装置，其特征在于，包括：声音采集模块，用于实时采集和预采集声音数据，其中预采集声音数据包括设备正常运行的声音数据和故障声音数据；预处理模块，用于对实时采集和预采集声音数据进行预处理；提取模块，用于提取实时采集和预采集声音数据中的音频特征；创建模块，基于提取的预采集声音数据中的音频特征创建声音识别模型，利用声音识别模型识别故障声音。

技术总结
本发明提供了一种基于协同神经网络算法的港口设备运维故障声音监测方法，包括：预采集声音数据，声音数据包括设备正常运行的声音数据和故障声音数据；提取预采集声音数据中的音频特征；基于提取的音频特征创建声音识别模型，利用声音识别模型识别故障声音。本发明所述的基于协同神经网络算法的港口设备运维故障声音监测方法提出了一种港口设备运行故障检测方案，对声音故障分级识别，进而分层次提出处理方法。出处理方法。出处理方法。


技术研发人员：于洋 芦浩楠 孙煊 邹君鹏 左军 刘玉海 付强 刘子铭 张川 杨多兵 罗威强 王米换 宋远
受保护的技术使用者：天津港远航国际矿石码头有限公司
技术研发日：2023.04.17
技术公布日：2023/7/13