一种热电厂安全隐患自动预警方法及系统与流程

1.本发明属于图像识别领域，具体涉及一种热电厂安全隐患自动预警方法及系统。


背景技术：

2.采用输煤皮带对煤料进行输送是火电厂燃料进行运输的重要方式，输煤皮带具有线路长、环境差等特点，传统输煤皮带巡检常采用人工巡视、手工记录的方式，存在运维费用高、工作量大、环境恶劣等问题，如果对现情况判断不准或皮带缺陷不能及时发现，将会对企业的安全生产造成重大影响。近年来，利用图像分析实现输煤皮带的安全故障检测与诊断是一种较为有效的方式，因其安装简单，应用成本低，受到广大企业关注。
3.目前大多数热电厂的燃机机组均安装近200路高清数字摄像头，且有系统独立控制室，系统通常运用200万像素的数字摄像头，为符合对图像摄取设备的基本要求，在重点区域增设50路高清数字摄像头，基于此基础，我们进行热电厂安全隐患自动预警系统的集成，能够实现该系统的全功能运用，不仅可以缩短施工工期，还能大大降低建设成本，能够早日投入使用，为企业安全生产护航。
4.中国专利cn114120109a公开了一种基于神经网络的皮带纵撕检测方法，在该方法中通过构建卷积神经网络，对预设训练集进行边框标注，然后采集输煤皮带区域的图像信息输入卷积神经网络算法模型进行判断。但该方法只针对皮带撕裂进行检测，适用范围过于狭隘。
5.中国专利cn114860893b公开了一种基于多模态数据融合与强化学习的智能决策方法及装置，获取包括语言指令和视觉信息的智能决策任务，对语言指令和视觉信息进行编码，得到多模态数据；基于多模态融合方法，根据多模态数据，得到多模态融合数据，将多模态融合数据输入到强化学习算法中，基于强化学习算法和即时语言奖励，输出动作并完成智能决策。但是该方法需要大量的训练和调试，对数据量和计算资源要求较高，对实际应用来说存在一定的难度和成本。


技术实现要素：

6.为解决现有技术中存在的不足，本发明提供一种热电厂安全隐患自动预警方法及系统。以大型燃煤机组输煤皮带为对象，研究开发以输煤智能巡检和安全工作常态化开展为基础，通过深度学习，多模态数据融合、强化学习等先进技术配合人防、物防、技防，形成多维度立体化的安全防护，实现利用视频ai智能分析在输煤皮带状态监测预警、输煤人员反违章自动管理等方面建立智能应用，提高企业生产效率、实现减员减强度、助力电厂安全生产和安保应急响应能力，打造现代化智慧电厂。
7.本发明采用如下的技术方案。
8.一种热电厂安全隐患自动预警方法，包括：
9.步骤1，根据输煤场景以及人员安全指标生成多模态数据集；
10.步骤2，使用卷积自动编码器对不同形式图像数据集进行融合，得到融合图像；
11.步骤3，通过融合注意力机制、循环卷积网络与强化学习的方式对步骤2生成的融合图像进行特征提取；
12.步骤4，基于融合图像的特征，采用深度卷积神经网络模型对输煤皮带异常情况进行分类，并基于输煤皮带运行过程中传感器采集到的时间序列数据进行异常检测。
13.优选地，步骤1中，所述输煤场景包括输煤皮带跑偏与断裂数据，异物数据，烟雾数据。
14.所述人员安全指标包括安全帽数据，越界数据，明火数据。
15.8、根据权利要求1所述的一种热电厂安全隐患自动预警方法，其特征在于：
16.步骤2中，卷积自编码器网络结构分为编码层和解码层；编码层包括4组卷积层+池化层和两组全连接层，解码层包括4组卷积+上采样层和一个卷积层。
17.优选地，步骤2中，同一图像的彩色图和深度图,作为卷积自编码器输入,经过编码层之后,得到两组1504维的向量；将两组1504维的向量进行串行结合得到3008维的向量,并将融合后的向量作为解码层的输入，得到融合图像。
18.优选地，步骤3中，将输入的图像进行线性回归处理，得到图像中每个像素点的位置信息和提取出的显著特征；所述融合注意力机制，采用自适应池化方法生成每个模态的注意力图，将每个模态的特征图与相应的注意力图进行点乘操作，得到该模态的加权融合特征图。
19.步骤3中，使用双向lstm网络对加权融合的特征图进行序列化。
20.一种热电厂安全隐患自动预警系统，包括多模态数据集构建模块、融合模块、强化学习模块。
21.多模态数据集构建模块构建输煤场景、人员安全多模态数据集，包括输煤皮带跑偏、断裂识别；异物识别；烟雾识别；安全帽识别；越界识别；明火识别；
22.融合模块使用卷积自动编码器对不同形式图像进行融合，得到融合图像；
23.强化学习模块通过融合注意力机制、循环卷积网络与强化学习的方式对融合图像进行特征提取。
24.本发明的有益效果在于，与现有技术相比，本发明主要是针对燃机机组在安全生产过程中的一些安全隐患利用物联网智能技术进行提前预防预警，设置智能危险识别手段，大大降低人为疏忽的一些安全事故，将全厂区进行物联网智能化覆盖与实时监控，对每个存在安全隐患的区域利用智能传感器集成到后台中央处理器当中，实现了系统自动识别是否安全，系统智能警报。该系统能对穿戴行为，火灾预警，违规动作，区域划分，离岗监测，摄像头异常等进行准确识别，全程实现人工智能化，安全生产科技化管理，为管理者提供了高效的管理工具。
附图说明
25.图1为本发明中一种热电厂安全隐患自动预警方法流程示意图；
26.图2为本发明中强化学习特征提取原理图。
具体实施方式
27.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附
图，对本发明的技术方案进行清楚、完整地描述。本技术所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。
28.一种热电厂安全隐患自动预警方法，如图1所示，包括以下具体步骤：
29.步骤1，构建输煤场景、人员安全多模态数据集；
30.步骤1中，所述输煤场景数据集包括：
31.1)输煤皮带跑偏、断裂数据
32.通过在输煤线路上安装摄像头，进行多角度拍摄，对输煤皮带运行状况进行实时数据采集，对异常数据进行识别，并上传至数据采集中心。
33.2)异物数据
34.通过在输煤线路上易出现异物掉落位置安装摄像头，对摄像头的视频图像种出现的物体进行分析，当出现石头、铁器、木材或其他异物时进行识别。
35.3)烟雾数据
36.针对镜头分析区域进行烟雾识别，及时发现监控区域内的异常烟雾和火灾苗头，进行告警和提供有用信息。
37.所述人员安全数据集包括：
38.1)安全帽数据
39.对镜头分析区域内进行安全帽识别，支持对行人头部安全帽进行检测，未佩戴安全帽，则进行声光报警。
40.2)越界数据
41.区域内进行人员的检测与跟踪，在视频拍摄范围内设定非安全区进行检测，当有人入侵时产生报警，同时对视频人员翻越输煤机、不戴防尘口罩等不安全行为进行检测，以及在既定的时间段内，对视频图像中出现的人脸进行检测及识别，自动记录人员到岗情况，在640x360的画面中，行人尺寸不小于150x60像素。
42.3)明火数据
43.镜头内进行火焰识别，发现火焰后报警。在640x360的画面中，火焰检测尺寸不小于40x40像素。
44.步骤2，使用卷积自动编码器对不同形式图像进行融合，得到融合图像；
45.步骤2中，卷积自编码器网络结构分为编码层和解码层。编码层包括4组卷积层+池化层和两组全连接层。解码层包括4组卷积+上采样层和一个卷积层。原始图像r和d分别是同一图像的彩色图和深度图,具有互补的关系。彩色图和深度图同时作为卷积自编码器输入,经过编码层之后,得到两组1504维的向量。将两组向量分别输入到解码器中可以得到两张重构图像，这两张图像可以看作是两组向量所表达的图像的近似重构。将两组1504维的向量进行串行结合得到3008维的向量,并将融合后的向量作为解码层的输入，得到融合图像。具体地，向量的融合过程包括以下步骤：
46.步骤2.1：对向量进行标准化处理，以确保向量之间的相似度具有可比性，利用基于相似度融合对两组向量进行加权融合；
47.步骤2.2：将加权融合后的向量作为输入，通过解码器进行解码，得到融合图像；
48.步骤2.2中，解码器的具体实现包括多层神经网络，其内部参数通过训练得到，可
以实现对输入向量的逐层解码和重构，最终得到一张合成的融合图像。公式表示如下:
49.min(r-d_r(e_r(r)))
50.min(d-d_d(e_d(d)))
51.以图像r为例,e_r是图像r的编码过程,从r中提取特征,d_r是图像r的解码过程,通过特征解码出重构图像。图像r和d分别学习各自的特征,在编码层末端将特征进行串联,解码层共享权重,实现不同模态特征的联合统一表达。损失函数是原始图像与重构图像之间的差值,损失函数公式表示如下:
[0052][0053]
其中,m表示共有m组数据,ri和di分别表示原始的彩色图和深度图,和表示重构的彩色图和深度图。在使用卷积自编码进行多模态数据融合时，不能将全连接层删除或使用卷积层替代，否则无法学习到有用特征，导致图像无法正常生成。
[0054]
通过对热电厂数据集进行多模态融合能够在光效不好的情况下增强图片质量，提升输煤皮带识别准确率与精度，由于热电厂输煤环境昏暗，异物容易被遮挡等特点，因此本发明提出的方法适用于在热电厂环境下进行工作。
[0055]
步骤3，通过融合注意力机制、循环卷积网络与强化学习的方式对步骤2生成的融合图像进行特征提取。
[0056]
如图2所示，linear表示线性回归处理后的特征，loc表示位置信息，fx表示提取的特征，td表示强化学习的差分算法。具体规则如下：
[0057]
线性回归处理得到位置信息和提取显著特征：将输入的图像进行线性回归处理，得到图像中每个像素点的位置信息和提取出的显著特征。这些显著特征包括颜色、纹理、形状等信息，能够对图像进行有效的区分和分类。
[0058]
使用强化学习的差分算法td奖励分类正确的位置，不断迭代遍历整张图片的所有显著特征，并将位置、颜色和层次空间相关信息合并传入对抗网络模型进行训练，使用机器翻译技术对异常情况进行标注，实现实时提醒；该步骤利用强化学习算法对图像的每个像素进行分类，根据差分算法td奖励分类正确的位置，从而优化分类结果。使用机器翻译技术对异常情况进行标注，实现对输煤场景中异物、皮带断裂、皮带跑偏及人员安全特征分类的实时提醒。
[0059]
融合注意力机制，采用自适应池化方法生成每个模态的注意力图，将每个模态的特征图与相应的注意力图进行点乘操作，得到该模态的加权融合特征图：该步骤使用注意力机制，可以将不同模态的特征图按照其在融合过程中的重要性进行加权处理。通过自适应池化方法生成每个模态的注意力图，并将其与相应的特征图进行点乘操作，即可得到该模态的加权融合特征图。
[0060]
使用双向lstm网络对加权融合的特征图进行序列化，以获取更具判别性的特征表示；该步骤使用双向lstm网络对加权融合的特征图进行序列化，以获取更加抽象、更具判别性的特征表示。lstm网络能够有效地学习特征图中的长期依赖关系，这有助于进一步提高分类或回归任务的准确度。
[0061]
采用q-learning算法训练一个智能体，使其能够根据当前状态选择最优的动作，并获得相应的奖励。智能体的状态由多模态特征表示，动作包括修改神经网络结构和参数，
奖励基于分类或回归任务的表现；该步骤使用q-learning算法训练一个智能体，使其能够根据当前状态选择最优的动作，并获得相应的奖励。智能体的状态由多模态特征表示，动作包括修改神经网络结构和参数。奖励基于分类或回归任务的表现，通过迭代优化神经网络，进一步提高分类或回归任务的准确度。最后将序列化后的特征映射到一个全连接层中，以完成分类或回归任务。
[0062]
步骤4，采用深度卷积神经网络模型对输煤皮带异常情况进行分类，并基于输煤皮带运行过程中传感器采集到的时间序列数据进行异常检测。
[0063]
通过构建一个实时监测系统。具体而言，可以使用gpu加速的计算机集群，将多模态特征输入分配给不同的计算节点进行处理，以提高处理速度。同时，可以采用深度卷积神经网络(dcnn)模型对输煤皮带进行分类，并基于时间序列数据进行异常检测。在分类任务中，直接将步骤3提取的特征输入到dcnn网络中进行分类即可。而在异常检测任务中，则需要考虑时间上下文信息，比如前一段时间内输煤皮带的状态等，以更准确地判断当前是否存在异常情况。最终，通过设置阈值来判断是否触发报警机制。
[0064]
最后，需要将每次监测的数据和异常情况记录下来，并保存到数据库中。同时，还可以将监测结果反馈给热电厂管理部门，以帮助他们更好地掌握输煤皮带的运行状况。此外，还可以采用数据挖掘和机器学习技术对历史数据进行分析，进一步优化监测算法和神经网络模型，以提高预警准确率和降低误报率。
[0065]
一种热电厂安全隐患自动预警系统，包括多模态数据集构建模块、融合模块、强化学习模块。
[0066]
多模态数据集构建模块构建输煤场景、人员安全多模态数据集，包括输煤皮带跑偏、断裂识别；异物识别；烟雾识别；安全帽识别；越界识别；明火识别；
[0067]
融合模块使用卷积自动编码器对不同形式图像进行融合，得到融合图像；
[0068]
强化学习模块通过融合注意力机制、循环卷积网络与强化学习的方式对融合图像进行特征提取。
[0069]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0070]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0071]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关
计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0072]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0073]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

技术特征：
1.一种热电厂安全隐患自动预警方法，其特征在于，包括：步骤1，根据输煤场景以及人员安全指标生成多模态数据集；步骤2，使用卷积自动编码器对不同形式图像数据集进行融合，得到融合图像；步骤3，通过融合注意力机制、循环卷积网络与强化学习的方式对步骤2生成的融合图像进行特征提取；步骤4，基于融合图像的特征，采用深度卷积神经网络模型对输煤皮带异常情况进行分类，并基于输煤皮带运行过程中传感器采集到的时间序列数据进行异常检测。2.根据权利要求1所述的一种热电厂安全隐患自动预警方法，其特征在于：步骤1中，所述输煤场景包括输煤皮带跑偏与断裂数据，异物数据，烟雾数据。3.根据权利要求1所述的一种热电厂安全隐患自动预警方法，其特征在于：步骤1中，所述人员安全指标包括安全帽数据，越界数据，明火数据。4.根据权利要求1所述的一种热电厂安全隐患自动预警方法，其特征在于：步骤2中，卷积自编码器网络结构分为编码层和解码层；编码层包括4组卷积层+池化层和两组全连接层，解码层包括4组卷积+上采样层和一个卷积层。5.根据权利要求1所述的一种热电厂安全隐患自动预警方法，其特征在于：步骤2中，同一图像的彩色图和深度图,作为卷积自编码器输入,经过编码层之后,得到两组1504维的向量；将两组1504维的向量进行串行结合得到3008维的向量,并将融合后的向量作为解码层的输入，得到融合图像。6.根据权利要求1所述的一种热电厂安全隐患自动预警方法，其特征在于：步骤3中，将输入的图像进行线性回归处理，得到图像中每个像素点的位置信息和提取出的显著特征；所述融合注意力机制，采用自适应池化方法生成每个模态的注意力图，将每个模态的特征图与相应的注意力图进行点乘操作，得到该模态的加权融合特征图。7.根据权利要求1或6所述的一种热电厂安全隐患自动预警方法，其特征在于：步骤3中，使用双向lstm网络对加权融合的特征图进行序列化。8.一种热电厂安全隐患自动预警系统，用于实现根据权力要求1-7所述的一种热电厂安全隐患自动预警方法，包括多模态数据集构建模块、融合模块、强化学习模块，其特征在于：多模态数据集构建模块构建输煤场景、人员安全多模态数据集，包括输煤皮带跑偏、断裂识别；异物识别；烟雾识别；安全帽识别；越界识别；明火识别；融合模块使用卷积自动编码器对不同形式图像进行融合，得到融合图像；强化学习模块通过融合注意力机制、循环卷积网络与强化学习的方式对融合图像进行特征提取。9.一种终端，包括处理器及存储介质；其特征在于：所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1-7任一项所述方法的步骤。10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行
时实现权利要求1-7任一项所述方法的步骤。

技术总结
本发明提供一种热电厂安全隐患自动预警方法及系统。以大型燃煤机组输煤皮带为对象，研究开发以输煤智能巡检和安全工作常态化开展为基础，通过深度学习，多模态数据融合、强化学习等先进技术配合人防、物防、技防，形成多维度立体化的安全防护，实现利用视频AI智能分析在输煤皮带状态监测预警、输煤人员反违章自动管理等方面建立智能应用，提高企业生产效率、实现减员减强度、助力电厂安全生产和安保应急响应能力，打造现代化智慧电厂。打造现代化智慧电厂。打造现代化智慧电厂。


技术研发人员：贾顺杰 赵菊 米路中 周越 张艳萍 李洋 樊怡
受保护的技术使用者：国能信控互联技术有限公司
技术研发日：2023.04.27
技术公布日：2023/8/14