一种监测地下作业面渗漏水的方法及装置与流程

1.本发明涉及安全监测技术领域，具体而言，涉及一种监测地下作业面渗漏水的方法及装置。


背景技术：

2.在地铁工程的地下作业面施工过程中，当下穿河湖时，会导致对土层的扰动，从而形成裂隙，水体会通过裂隙侵入隧道，形成渗、滴、漏水等情形，导致发生小面积渗漏水、大规模涌水涌沙的风险隐患，进而还可能造成隧道内掌子面处发生土体垮塌的安全风险。因而，对轨道交通施工过程中的已开挖土体和开挖掌子面等地下作业面进行监测，以监测是否发生地下作业面渗漏水、涌水涌沙现象，从而能够在无人值守的情况下，对地下作业面出现隧道坍塌、持续性渗水、滴水等情况自动识别，并实时推动报警信息，避免出现重大事故。
3.当前的渗漏水监测方法，一般通过设计电路进行监测。例如，通过在地下作业面的不同位置分别设置第一检测电极和第二检测电极，当地下作业面发生漏水时，不同位置的第一检测电极和第二检测电极在水中导通，从而通过第一检测电极和第二检测电极是否导通，检测地下作业面是否漏水。但该方法，只有在地下作业面发生漏水且集聚有一定的水量后，才会触发告警，使得渗漏水监测滞后，监测效率较低，不能有效预防出现的重大事故。


技术实现要素：

4.有鉴于此，本发明的目的在于提供监测地下作业面渗漏水的方法及装置，以提高渗漏水监测效率。
5.第一方面，本发明实施例提供了监测地下作业面渗漏水的方法，包括：
6.获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，所述当前帧图像包括可见光图像及红外热成像图像；
7.从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；
8.基于相关性显著图像，获取渗漏水区域语义特征图像；
9.对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；
10.基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；
11.基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。
12.结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取包括当前帧图像及历史帧图像的图像序列，包括：
13.获取当前帧图像；
14.获取当前帧图像前的第一阈值帧图像，及，获取当前帧图像前的第二阈值帧图像，
其中，第一阈值小于第二阈值；
15.获取当前帧图像前的第一阈值和第二阈值之和的第三阈值帧图像。
16.结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述显著图像集包括：可见光显著图像集，从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像，包括：
17.从可见光显著图像集中，提取当前帧图像以及第二阈值帧图像，基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像；以及，
18.提取第一阈值帧图像以及第三阈值帧图像，基于第一阈值帧图像及第三阈值帧图像，获取第二相关性显著图像。
19.结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像，包括：
20.基于当前帧图像及第二阈值帧图像，获取相对相关性差异；
21.对相对相关性差异进行绝对值运算，获取当前帧图像及第二阈值帧图像的绝对相关性差异图像；
22.依据预先设置的非显著信息噪声剔除阈值，对绝对相关性差异图像进行阈值化，获取阈值化图像，将所述阈值化图像作为所述第一相关性显著图像。
23.结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：
24.计算1与当前帧图像的像素值的第一差；
25.计算1与第二阈值图像的像素值的第二差；
26.获取第一差与第二差的第一乘积；
27.获取第一乘积与阈值化图像的像素值的乘积，得到所述第一相关性显著图像。
28.结合第一方面的第二种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述基于相关性显著图像，获取渗漏水区域语义特征图像，包括：
29.针对第一相关性显著图像中的每一像素点，计算该像素点的像素值与对应位置的第二相关性显著图像中像素点的像素值的乘积，得到渗漏水区域语义特征图像中对应像素点的像素值。
30.结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测，包括：
31.将当前时刻的残差深度特征隐变量输入面向循环视频序列异常事件检测器，基于输入的残差深度特征隐变量、面向循环视频序列异常事件检测器上一时刻输出的第一内置隐变量及第二内置隐变量，获取面向循环视频序列异常事件检测器输出的第二内置更新隐变量；
32.对第二内置更新隐变量进行变量映射处理，得到渗漏水评分，基于渗漏水评分及预先设置的渗漏水异常事件判定门限阈值，确定是否发生渗漏水异常事件。
33.第二方面，本发明实施例还提供了一种监测地下作业面渗漏水的装置，包括：
34.干扰剔除模块，用于获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，所述当前帧图像包括可见光图像及红外热成像图像；
35.相关性提取模块，用于从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；
36.语义提取模块，用于基于相关性显著图像，获取渗漏水区域语义特征图像；
37.形态滤波模块，用于对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；
38.特征获取模块，用于基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；
39.渗漏检测模块，用于基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。
40.第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
41.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
42.本发明实施例提供的监测地下作业面渗漏水的方法及装置，通过获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，所述当前帧图像包括可见光图像及红外热成像图像；从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；基于相关性显著图像，获取渗漏水区域语义特征图像；对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。这样，在采集当前帧图像后，结合历史帧图像进行相关显著性分析，再结合当前帧图像及历史帧图像进行深度特征提取，基于深度特征进行渗漏水检测，可以提高渗漏水监测效率。
43.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
44.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
45.图1示出了本发明实施例所提供的监测地下作业面渗漏水的方法流程示意图；
46.图2示出了本发明实施例所提供的监测地下作业面渗漏水的装置结构示意图；
47.图3为本技术实施例提供的一种计算机设备300的结构示意图。
具体实施方式
48.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.现有通过电路检测进行地下作业面的渗漏水监测方法，需要在地下作业面集聚有一定量的漏水时，通过导通布设在不同位置的第一检测电极和第二检测电极，实现漏水告警，使得渗漏水监测滞后，监测效率较低。本发明实施例中，针对地下作业面的渗漏水形式复杂、光照条件复杂、训练样本数据较少，提出基于时空语义融合的渗漏水监测方法，通过融合可见光与红外光的多谱段信息，进行图像形态学特征与深度特征分析，从而实现各种复杂条件下的渗漏水区域监测。具体来说，通过图像的形态特征提取，根据可见光和红外热成像等不同成像波段、不同背景材质等多种条件下，坑道渗水场景中多光谱图像数据之间的差异与联系，进行面向不规则渗水区域的时序语义分割，获得剔除场景复杂干扰因素的初步渗漏水区域语义特征图，对语义特征图进行形态学滤波，获得优化的渗漏水区域语义特征图以及渗漏水区域形态学特征图，依据优化的渗漏水区域语义特征图以及渗漏水区域形态学特征图进行渗漏水监测。
50.本发明实施例提供了一种监测地下作业面渗漏水的方法及装置，下面通过实施例进行描述。
51.图1示出了本发明实施例所提供的监测地下作业面渗漏水的方法流程示意图。如图1所示，该方法包括：
52.步骤101，获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，所述当前帧图像包括可见光图像及红外热成像图像；
53.本发明实施例中，在作业面的墙壁背景或掌子面背景中，由于渗漏导致的渗漏水异常事件，会在掌子面土体、混凝土侧壁表面形成可见光水渍痕迹，或在红外热成像波段下，具有明显不同于掌子面的土体温度、混凝土侧壁表面的土体温度，是一逐渐变化的高温区域或低温区域。但在实际的应用场景中，地下作业面会存在灯带、行人等非渗漏水区域，构成渗漏水监测的复杂干扰因素，从而直接影响渗漏水异常事件的监测有效性。因而，为了实现渗漏水异常事件的高效、快速检测，需要有效剔除可见光图像和红外热成像图像中的复杂干扰因素，以提升渗漏水异常事件的监测效率。
54.本发明实施例中，作为一可选实施例，获取包括当前帧图像及历史帧图像的图像序列，包括：
55.获取当前帧图像；
56.获取当前帧图像前的第一阈值帧图像，及，获取当前帧图像前的第二阈值帧图像，其中，第一阈值小于第二阈值；
57.获取当前帧图像前的第一阈值和第二阈值之和的第三阈值帧图像。
58.本发明实施例中，设当前帧图像对应的采集时刻为t时刻，预设数为3，每一单位时刻对应一采集时刻，分别将第t时刻、t-d
t
时刻、t-d
t
时刻和t-d
t-d
t
时刻的4个不同时刻所采集到的图像，分别记为i
t
、i
t-dt
、i
t-dt
、i
t-dt-dt
，分别输入预先训练构建的复杂干扰剔除网络，获得第t时刻、t-d
t
时刻、t-d
t
时刻和t-d
t-d
t
时刻对应的显著图像：m
t
、m
t-dt
、m
t-dt
、i
t-dt-dt
。其中，d
t
为第一阈值，d
t
为第二阈值，(d
t
+d
t
)为第三阈值。作为一可选实施例，第一阈值设置为20，第二阈值设置为50。
59.本发明实施例中，作为一可选实施例，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，包括：
60.a11，将图像序列输入包含紧密连接的densenet-121卷积网络的深度抽象特征提取模型，所述densenet-121卷积网络的最后一层全连接层输出的特征图通道维度设置为64维，得到图像序列的深度抽象特征；
61.本发明实施例中，作为一可选实施例，复杂干扰因素剔除算法包括深度抽象特征提取模型和多类干扰目标检测及语义分割模型，其中，以包含红外热成像图像(序列)或可见光图像序列的图像序列为复杂干扰因素剔除算法(模型)的输入，输出为输入图像对应的标记有复杂干扰因素对应区域的语义图，便于后续处理流程中有针对性地剔除复杂干扰因素对异常检测的干扰。
62.本发明实施例中，预先构建的深度抽象特征提取模型以紧密连接的densenet-121卷积网络为基本骨架，设置densenet-121网络最后一层的全连接层输出的通道维度为64维，这样，可以满足深度抽象特征提取的需要，从而在输入形状为(3,256,256)的可见光图像或热成像图像后，可输出形状为(64,256,256)的深度抽象特征。
63.本发明实施例中，图像序列中的每一图像对应有一深度抽象特征，分别对图像进行运算，得到对应的深度抽象特征。
64.a12，利用基于swin-transformer网络的多类干扰目标检测及语义分割模型，依据深度抽象特征进行复杂干扰因素检测，得到以二值标记复杂干扰因素的显著图像集。
65.本发明实施例中，多类干扰目标检测及语义分割模型以swin-transformer网络为基本骨架，通过将输入图像(深度抽象特征)分割成多个不重叠的块(patch)，引入基于滑动窗口的机制，能够实现从局部到全局的感受野逐渐增大的效果，进而捕获全图全局范围内的多类目标(干扰因素)信息，实现更加精准的多目标检测与语义分割的效果。
66.本发明实施例中，在输入形状为(64,256,256)的深度抽象特征后，多类干扰目标检测及语义分割模型的输出端，输出对应的标记有复杂干扰因素对应区域的语义图，即显著图像。显著图像中，包含有各类别的复杂干扰因素的检测信息，例如，检测到的各个类别对应的各目标复杂干扰因素的检测框、检测到的所有类别所有目标复杂干扰因素的像素级mask。其中，作为一可选实施例，像素级mask是一张二值图，其中检出的目标复杂干扰因素所对应的区域像素数值为1，其他区域像素数值为0。
67.本发明实施例中，深度抽象特征提取模型和多类干扰目标检测及语义分割模型采用自监督学习的方法，利用ms-coco数据集进行联合训练，从而可以获得检测多类复杂干扰目标并提供像素级mask的能力。
68.本发明实施例中，以当前帧图像为例，对于复杂干扰因素剔除算法，以t时刻的摄像机所采集到的图像i
t
，输入复杂干扰因素剔除算法，获取图像i
t
中标记复杂干扰因素对应
的显著图像m
t
。作为一可选实施例，利用下式获取显著图像：
69.m
t
＝复杂干扰因素剔除算法(i
t
，condition)
70.其中，condition为待剔除的复杂干扰因素类别，包括但不限于：人、运输工具。例如，condition＝[person(人),car(运输工具),
…
]等。
[0071]mt
为显著图像，为二值图，表征所有被列为复杂干扰因素的像素级mask图像，其中，检测到有复杂干扰因素的区域的像素数值为1，其他非复杂干扰因素对应的区域的像素数值为0。
[0072]
本发明实施例中，针对图像序列中的每一图像，分别利用复杂干扰因素剔除算法进行运算，获取对应的显著图，获取的显著图构成显著图像集。
[0073]
步骤102，从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；
[0074]
本发明实施例中，显著图像集包括：可见光显著图像集和红外热成像显著图像集。作为一可选实施例，显著图像集包括：可见光显著图像集，从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像，包括：
[0075]
从可见光显著图像集中，提取当前帧图像以及第二阈值帧图像，基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像；以及，
[0076]
提取第一阈值帧图像以及第三阈值帧图像，基于第一阈值帧图像及第三阈值帧图像，获取第二相关性显著图像。
[0077]
本发明实施例中，作为一可选实施例，分别计算第t帧图像和第t-d
t
帧图像(第一帧图像与第50帧图像)之间的第一相关性显著图像，以及，第t-d
t
帧图像和t-d
t-d
t
帧图像(第20帧图像与第70帧图像)之间的第二相关性显著图像。
[0078]
本发明实施例中，作为一可选实施例，基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像，包括：
[0079]
a21，基于当前帧图像及第二阈值帧图像，获取相对相关性差异；
[0080]
本发明实施例中，计算第t帧图像和第t-d
t
帧图像之间的相对相关性差异，即计算两帧图像中，同一位置的像素点的像素值的差值。
[0081]
a22，对相对相关性差异进行绝对值运算，获取当前帧图像及第二阈值帧图像的绝对相关性差异图像；
[0082]
本发明实施例中，对相对相关性差异取绝对值，基于绝对值，获得两帧图像之间的绝对相关性差异图像。
[0083]
a23，依据预先设置的非显著信息噪声剔除阈值，对绝对相关性差异图像进行阈值化，获取阈值化图像，将所述阈值化图像作为所述第一相关性显著图像。
[0084]
本发明实施例中，基于非显著信息噪声剔除阈值(thh)，对绝对相关性差异图像进行阈值化，这样，可以有效剔除非显著信息噪声造成的绝对相关性差异图像上的弱小背景噪声。
[0085]
本发明实施例中，阈值化图像包含显著信息的强相关性，为二值图，具有显著信息噪声的区域像素取值1，其他不具有显著信息噪声的像素区域取值0。作为一可选实施例，利用下式获取阈值化图像：
[0086]
[0087]
其中，d1为阈值化图像，为强相关性图像，thh为非显著信息噪声剔除阈值，用于剔除非显著信息的弱小背景噪声。若绝对相关性差异图像中，一像素点取绝对值的相对相关性差异大于非显著信息噪声剔除阈值，设置该像素点的像素值为1。
[0088]
本发明实施例中，强相关性图像中，对于像素值取1的区域，表示具有与渗漏水异常事件相关的显著信息，其中，对于少部分像素取值1的区域，可能是由于强噪声造成的。通过分析，强噪声造成的像素取值为1的区域，相对于真正具有显著信息的像素取值1的区域，呈现出分布分散的状态，因此，作为一可选实施例，该方法还包括：
[0089]
对阈值化图像进行中值滤波。
[0090]
本发明实施例中，采用中值滤波算法，以滤除掉强噪声对应的像素取值1的区域，只保留下真正具有显著信息的区域。作为一可选实施例，利用下式进行中值滤波：
[0091]
d1＝medianfilter(d1,kernel)
[0092]
式中，kernel是中值滤波算法medianfilter的核，通常可以选3x3或者5x5。
[0093]
本发明实施例中，对于进行中值滤波得到的图像，其中一部分强相关性还会是除复杂干扰因素之外的异常干扰因素造成的，因此，还需要进一步剔除异常干扰因素所对应区域产生的显著区域。作为一可选实施例，该方法还包括：
[0094]
计算1与当前帧图像的像素值的第一差；
[0095]
计算1与第二阈值图像的像素值的第二差；
[0096]
获取第一差与第二差的第一乘积；
[0097]
获取第一乘积与进行中值滤波的阈值化图像的像素值的乘积，得到所述第一相关性显著图像。
[0098]
本发明实施例中，作为一可选实施例，利用下式获取第一相关性显著图像：
[0099][0100]
其中，
[0101]
当前帧图像m
t
和第二阈值图像中，复杂干扰因素对应区域的像素值为1，背景区域的像素值为0，则通过(1-m
t
)和运算的图像中，背景区域的像素值为1，干扰因素对应区域的像素值为0。通过该运算，能够使得最后得到的第一相关性显著图像中，所有出现干扰因素的对应区域的像素值置0，从而获得真正发生在隧道背景上的潜在渗漏水事件造成的相关性显著图。
[0102]
本发明实施例中，同样，利用下式计算第二相关性显著图像：
[0103][0104]
d2＝medianfilter(d2,kernel)
[0105][0106]
步骤103，基于相关性显著图像，获取渗漏水区域语义特征图像；
[0107]
本发明实施例中，基于图像序列获取渗漏水区域语义特征图像，渗漏水区域语义特征图像中，剔除了复杂干扰因素。作为一可选实施例，基于相关性显著图像，获取渗漏水区域语义特征图像，包括：
[0108]
针对第一相关性显著图像中的每一像素点，计算该像素点的像素值与对应位置的第二相关性显著图像中像素点的像素值的乘积，得到渗漏水区域语义特征图像中对应像素点的像素值。
[0109]
本发明实施例中，作为一可选实施例，利用下式计算渗漏水区域语义特征图像：
[0110]dt
＝d1*d2
[0111]
步骤104，对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；
[0112]
本发明实施例中，在利用面向不规则渗水区域的时序语义分割算法，获得第t帧图像对应的剔除掉场景复杂干扰因素的渗漏水区域语义特征图像后，为了进一步滤除渗漏水区域语义特征图像中的弱小背景噪声等非渗漏水区域的目标响应，提升所获得的语义特征的质量，结合弱小背景噪声等非渗漏水区域响应的形态学特点，对渗漏水区域语义特征图像进行形态学滤波，以优化所获得的渗漏水区域语义特征图像的质量。
[0113]
本发明实施例中，作为一可选实施例，用于形态学滤波的形态学滤波算法包括但不限于：腐蚀运算、膨胀运算、开运算、闭运算、顶帽运算和底帽运算。
[0114]
本发明实施例中，利用中值滤波算法和形态学闭运算进行形态学滤波，其中，中值滤波算法对于相对分散的背景噪点具有较好的抑制与滤除作用，而形态学闭运算不仅能够进一步将中值滤波可能不能滤除的背景噪声去除，还能够使得处于潜在渗漏水区域的相对集中的噪点之间的连接变得更加的紧密，从而达到抑制背景噪声、加强前景目标的效果。
[0115]
本发明实施例中，作为一可选实施例，对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像，包括：
[0116]
对渗漏水区域语义特征图像进行中值滤波运算，得到中值滤波图像；
[0117]
对中值滤波图像进行形态学闭运算，得到形态学滤波图像。
[0118]
本发明实施例中，对渗漏水区域语义特征图进行二维图像中值滤波操作，可以较好抑制和滤除渗漏水区域语义特征图中相对分散的背景噪点，进一步提升图像质量。作为一可选实施例，利用下式进行中值滤波：
[0119]dt
＝median filter(d
t
,kernel
mid
)
[0120]
其中，kernel
mid
是中值滤波操作的运算核，通常为3x3或5x5。
[0121]
本发明实施例中，对中值滤波后的语义特征图(中值滤波图像)d
t
采用二维图像形态学闭运算操作，以将中值滤波未能滤除的背景噪声去除，此外，通过形态学闭运算操作，还能使得处于潜在渗漏水区域的相对集中的噪点之间的连接变得更加紧密，一定程度上起到了抑制背景噪声、加强前景目标的效果。作为一可选实施例，利用下式进行形态学闭运算：
[0122]dt
＝morphy
close
(d
t
,ernel
close
)
[0123]
其中，kernel
close
是形态学闭运算的操作核，通常采用圆形核或者矩形核，核大小可选择为15x15。
[0124]
步骤105，基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；
[0125]
本发明实施例中，将图像序列中的可见光图像序列、红外热成像图像序列以及形态学滤波图像作为预先构造的多层残差深度特征提取模型的输入，获得残差深度特征隐变量。
[0126]
本发明实施例中，多层残差深度特征提取模型采用的特征提取算法中的特征算子，包括但不限于：方向梯度直方图(hog，histogram of oriented gradient)特征、局部二值模式(lbp，local binary patterns)特征、尺度不变特征变换(sift，scale invariant feature transform)特征。
[0127]
本发明实施例中，由于渗漏水区域在可见光图像和红外热成像图像中的特征，相比于背景区域的特征，不具有显著差异，其中，渗漏水区域的可见光特征和热成像特征，呈现出可见光灰度分布非常复杂、区域边缘非常不规则、热成像温度分布区间多变、背景无关因素干扰非常严重等多种难点。本发明实施例中，利用深度神经网络，进行高质量的深度特征提取，通过在深度神经网络中引入跳连接(skip connection)结构，构造多层残差深度神经网络，依据样本数据进行训练，得到多层残差深度特征提取模型，其中，深度神经网络采用resnet50网络。
[0128]
本发明实施例中，作为一可选实施例，多层残差深度特征提取模型利用下式进行深度特征提取：
[0129]
deepfeature
t
＝odule
res
(hl
rgb
,chl
inf
,chl
morphology
)
[0130]
其中，deepfeature
t
为残差深度特征隐变量，module
res
为多层残差深度特征提取模型，channel
rgb
,channel
inf
,channel
morphology
分别是可见光特征通道、红外热成像特征通道和形态学特征通道，分别对应输入可见光图像、红外热成像图像以及形态学滤波图像。
[0131]
本发明实施例中，可见光特征通道和红外热成像特征通道的输入均为通道(channel)为1的灰度图，取值为[0,1]之间的连续数值，形态学特征通道是channel为1的二值图，取值为0或1。3个特征通道的特征图的长和宽尺寸均一致，通过将3个特征通道的特征图直接堆叠为一个3通道的特征图，作为多层残差深度特征提取模型(module
res
)的输入，可以从输出端获得一长度为256维度的残差深度特征隐变量。
[0132]
步骤106，基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。
[0133]
本发明实施例中，利用面向循环视频序列的异常事件检测器，结合当前帧及历史帧序列中的有效信息(残差深度特征隐变量)，输出渗漏水异常事件的发生概率，从而对渗漏水进行有效监控。
[0134]
本发明实施例中，由于地下作业面渗漏水异常事件的发生、发展与结束是一个较为漫长的过程，时间跨度较大，需要持续观察，才能判断是否发生渗漏水异常事件。因而，利用面向循环视频序列的异常事件检测方法，充分比对当前待处理图像帧的残差深度特征隐变量以及历史视频序列中所包含信息之间的相关性。作为一可选实施例，面向循环视频序列的异常事件检测器利用长-短时间记忆算法进行构建。
[0135]
本发明实施例中，基于长-短时间记忆算法，搭建循环视频序列异常检测器，标记为module
recurrent
，核心为一长-短时间记忆单元lstm-unit，其中，lstm-unit的输入有3个，其中，内置的lstm-unit第一内置隐变量长度为256维，内置的lstm-unit第二内置隐变量长度为256维，外部输入的残差深度特征隐变量deepfeature
t
长度为256维；lstm-unit的输出变量有2个，分别是更新后的lstm-unit第一内置隐变量和lstm-unit第二内置隐变量在0到t时刻，面向循环视频序列异常检测器对残差深度特征隐变量的
处理，包括：
[0136]
在t＝0时刻，初始化lstm-unit第一内置隐变量和lstm-unit第二内置隐变量
[0137]
在t＝1时刻，输入deepfeature1，可以得到：
[0138][0139]
在t＝2时刻，输入deepfeature2则可以得到：
[0140][0141]
在t＝3时刻，输入deepfeature3则可以得到：
[0142][0143]
……
[0144]
在t＝t-1时刻，输入deepfeature
t-1
则可以得到：
[0145][0146]
在t＝t时刻，输入deepfeature
t
则可以得到：
[0147][0148]
本发明实施例中，随着时间的推移，当输入一系列的残差深度特征隐变量(deepfeature0、deepfeature1、
…
、deepfeature
t-2
、deepfeature
t-1
)后，lstm-unit输出的zc和zh也在不断的更新和迭代，因而，输出的和包含了t《t所有过去时刻的deepfeature0、deepfeature1、
…
、deepfeature
t-2
、deepfeature
t-1
，lstm-unit中，将t《t所有过去时刻的残差深度特征隐变量和表示为:
[0149][0150]
因而，本发明实施例中，作为一可选实施例，基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测，包括：
[0151]
a31，将当前时刻的残差深度特征隐变量输入面向循环视频序列异常事件检测器，基于输入的残差深度特征隐变量、面向循环视频序列异常事件检测器上一时刻输出的第一内置隐变量及第二内置隐变量，获取面向循环视频序列异常事件检测器输出的第二内置更新隐变量；
[0152]
本发明实施例中，渗漏水异常事件检测具体过程可如下所示。
[0153][0154]
其中，deepfeature
t
为残差深度特征隐变量，h
＜t
为面向循环视频序列异常事件检测器上一时刻输出的第一内置隐变量及第二内置隐变量。
[0155]
a32，对第二内置更新隐变量进行变量映射处理，得到渗漏水评分，基于渗漏水评分及预先设置的渗漏水异常事件判定门限阈值，确定是否发生渗漏水异常事件。
[0156]
本发明实施例中，作为一可选实施例，利用sigmoid()函数进行变量映射处理。将lstm-unit第二内置隐变量进行sigmoid()函数操作，可以得到取值范围在[0,1]区间
的输出值(渗漏水评分)，作为一可选实施例，利用下式计算渗漏水评分：
[0157][0158]
score
t
为渗漏水评分，基于历史帧与当前帧分析确定的在t时刻是否发生渗漏水异常事件的分数，取值在[0,1]区间。
[0159]
本发明实施例中，在获取渗漏水评分后，利用分数判断器，对渗漏水评分进行判断，可以得到最终输出的渗漏水异常事件检测结果h
t
，作为一可选实施例，利用下式进行渗漏水异常事件检测：
[0160][0161]
其中，v为渗漏水异常事件判定门限阈值，作为一可选实施例，可以设置为0.5。
[0162]
当score
t
取值高于v时，表明t时刻存在渗漏水异常事件，确定t时刻最终检测输出的h
t
取值为1，发生渗漏水异常事件；当score
t
取值不超过v时，表明当前分数不足以判定t时刻发生了异常事件，因此t时刻最终检测输出的h
t
取值为0，表明当前帧不存在渗漏水异常事件。
[0163]
本发明实施例中，利用长-短时间记忆算法，计算当前帧与历史帧的分数，通过输出当前帧与历史帧的分数，确定是否发生渗漏水异常事件，其中，分数取值在0～1之间，若取值(相似度值)大于预先设置的渗漏水异常事件判定门限阈值，表明当前不存在渗漏水异常事件，若取值小于或等于预先设置的渗漏水异常事件判定门限阈值，表明当前存在渗漏水异常事件，进行告警。
[0164]
本发明实施例中，考虑到渗漏水区域不规则，且渗漏过程发展相对缓慢，采用在较长时间窗口(历史帧)，利用时序语义分割算法，对不同的成像图像、不同背景材质等多种条件下的渗漏水区域的图像，进行语义特征识别，以对地下作业面场景中正在发生的渗漏水异常事件进行检测和识别，通过采集红外热成像图像与可见光图像，通过将获得的红外热成像图像及可见光图像输入预先构建的复杂干扰剔除网络，进行复杂干扰因素剔除，获取标记有干扰因素的语义图，对语义图进行时序语义分割，利用时序信息提取渗漏水区域的语义特征，对提取的语义特征进行形态学滤波处理后，得到形态学特征图像，将形态学特征、可见光图像与红外热成像图像，输入基于密集连接的卷积网络densenet构建的多层残差深度特征提取网络(模型)与面向循环视频序列，进行渗漏水异常事件的异常检测，从而对渗漏水隐患进行检测。其中，可见光，形态学特征图像、红外热成像图像中包含的多源信息能够表征原始数据中的更多细节，从而增强了数据的稳定性与鲁棒性，利用多层残差深度特征提取网络与面向循环视频序列，进行渗漏水异常事件的检测，实现对渗漏水区域的异常变化的实时检测，提升了渗漏水区域异常事件监测的性能，从而更及时输出告警信息，以采取措施进行维修加固，可以很好地适应地下作业面的复杂环境场景处理需要，能够在地下作业面的复杂环境中，更准确快速的对渗漏水区域进行监测。
[0165]
图2示出了本发明实施例所提供的监测地下作业面渗漏水的装置结构示意图。如图2所示，该装置包括：
[0166]
干扰剔除模块201，用于获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，所述当前
帧图像包括可见光图像及红外热成像图像；
[0167]
本发明实施例中，作为一可选实施例，干扰剔除模块201具体用于：
[0168]
获取当前帧图像；
[0169]
获取当前帧图像前的第一阈值帧图像，及，获取当前帧图像前的第二阈值帧图像，其中，第一阈值小于第二阈值；
[0170]
获取当前帧图像前的第一阈值和第二阈值之和的第三阈值帧图像。
[0171]
本发明实施例中，作为一可选实施例，显著图像为二值图像，当前帧图像及历史帧图像为连续图像。
[0172]
相关性提取模块202，用于从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；
[0173]
本发明实施例中，作为一可选实施例，显著图像集包括：可见光显著图像集，相关性提取模块202具体用于：
[0174]
从可见光显著图像集中，提取当前帧图像以及第二阈值帧图像，基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像；以及，
[0175]
提取第一阈值帧图像以及第三阈值帧图像，基于第一阈值帧图像及第三阈值帧图像，获取第二相关性显著图像。
[0176]
本发明实施例中，作为一可选实施例，基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像，包括：
[0177]
基于当前帧图像及第二阈值帧图像，获取相对相关性差异；
[0178]
对相对相关性差异进行绝对值运算，获取当前帧图像及第二阈值帧图像的绝对相关性差异图像；
[0179]
依据预先设置的非显著信息噪声剔除阈值，对绝对相关性差异图像进行阈值化，获取阈值化图像，将所述阈值化图像作为所述第一相关性显著图像。
[0180]
本发明实施例中，作为另一可选实施例，相关性提取模块202还具体用于：
[0181]
对阈值化图像进行中值滤波。
[0182]
本发明实施例中，作为再一可选实施例，相关性提取模块202还具体用于：
[0183]
计算1与当前帧图像的像素值的第一差；
[0184]
计算1与第二阈值图像的像素值的第二差；
[0185]
获取第一差与第二差的第一乘积；
[0186]
获取第一乘积与阈值化图像的像素值的乘积，得到所述第一相关性显著图像。
[0187]
语义提取模块203，用于基于相关性显著图像，获取渗漏水区域语义特征图像；
[0188]
本发明实施例中，作为一可选实施例，语义提取模块203具体用于：
[0189]
针对第一相关性显著图像中的每一像素点，计算该像素点的像素值与对应位置的第二相关性显著图像中像素点的像素值的乘积，得到渗漏水区域语义特征图像中对应像素点的像素值。
[0190]
形态滤波模块204，用于对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；
[0191]
本发明实施例中，形态学滤波算法包括但不限于：腐蚀运算、膨胀运算、开运算、闭运算、顶帽运算和底帽运算。作为一可选实施例，形态滤波模块204具体用于：
[0192]
对渗漏水区域语义特征图像进行中值滤波运算，得到中值滤波图像；
[0193]
对中值滤波图像进行形态学闭运算，得到形态学滤波图像。
[0194]
特征获取模块205，用于基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；
[0195]
渗漏检测模块206，用于基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。
[0196]
本发明实施例中，作为一可选实施例，渗漏检测模块206具体用于：
[0197]
将当前时刻的残差深度特征隐变量输入面向循环视频序列异常事件检测器，基于输入的残差深度特征隐变量、面向循环视频序列异常事件检测器上一时刻输出的第一内置隐变量及第二内置隐变量，获取面向循环视频序列异常事件检测器输出的第二内置更新隐变量；
[0198]
对第二内置更新隐变量进行变量映射处理，得到渗漏水评分，基于渗漏水评分及预先设置的渗漏水异常事件判定门限阈值，确定是否发生渗漏水异常事件。
[0199]
如图3所示，本技术一实施例提供了一种计算机设备300，用于执行图1中的监测地下作业面渗漏水的方法，该设备包括存储器301、与存储器301通过总线相连的处理器302及存储在该存储器301上并可在该处理器302上运行的计算机程序，其中，上述处理器302执行上述计算机程序时实现上述监测地下作业面渗漏水的方法的步骤。
[0200]
具体地，上述存储器301和处理器302能够为通用的存储器和处理器，这里不做具体限定，当处理器302运行存储器301存储的计算机程序时，能够执行上述监测地下作业面渗漏水的方法。
[0201]
对应于图1中的监测地下作业面渗漏水的方法，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述监测地下作业面渗漏水的方法的步骤。
[0202]
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述监测地下作业面渗漏水的方法。
[0203]
在本技术所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0204]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0205]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0206]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0207]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0208]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种监测地下作业面渗漏水的方法，其特征在于，包括：获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，所述当前帧图像包括可见光图像及红外热成像图像；从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；基于相关性显著图像，获取渗漏水区域语义特征图像；对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。2.根据权利要求1所述的方法，其特征在于，所述获取包括当前帧图像及历史帧图像的图像序列，包括：获取当前帧图像；获取当前帧图像前的第一阈值帧图像，及，获取当前帧图像前的第二阈值帧图像，其中，第一阈值小于第二阈值；获取当前帧图像前的第一阈值和第二阈值之和的第三阈值帧图像。3.根据权利要求2所述的方法，其特征在于，所述显著图像集包括：可见光显著图像集，从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像，包括：从可见光显著图像集中，提取当前帧图像以及第二阈值帧图像，基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像；以及，提取第一阈值帧图像以及第三阈值帧图像，基于第一阈值帧图像及第三阈值帧图像，获取第二相关性显著图像。4.根据权利要求3所述的方法，其特征在于，所述基于当前帧图像及第二阈值帧图像，获取第一相关性显著图像，包括：基于当前帧图像及第二阈值帧图像，获取相对相关性差异；对相对相关性差异进行绝对值运算，获取当前帧图像及第二阈值帧图像的绝对相关性差异图像；依据预先设置的非显著信息噪声剔除阈值，对绝对相关性差异图像进行阈值化，获取阈值化图像，将所述阈值化图像作为所述第一相关性显著图像。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：计算1与当前帧图像的像素值的第一差；计算1与第二阈值图像的像素值的第二差；获取第一差与第二差的第一乘积；获取第一乘积与阈值化图像的像素值的乘积，得到所述第一相关性显著图像。6.根据权利要求3至5任一项所述的方法，其特征在于，所述基于相关性显著图像，获取渗漏水区域语义特征图像，包括：
针对第一相关性显著图像中的每一像素点，计算该像素点的像素值与对应位置的第二相关性显著图像中像素点的像素值的乘积，得到渗漏水区域语义特征图像中对应像素点的像素值。7.根据权利要求1至5任一项所述的方法，其特征在于，所述基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测，包括：将当前时刻的残差深度特征隐变量输入面向循环视频序列异常事件检测器，基于输入的残差深度特征隐变量、面向循环视频序列异常事件检测器上一时刻输出的第一内置隐变量及第二内置隐变量，获取面向循环视频序列异常事件检测器输出的第二内置更新隐变量；对第二内置更新隐变量进行变量映射处理，得到渗漏水评分，基于渗漏水评分及预先设置的渗漏水异常事件判定门限阈值，确定是否发生渗漏水异常事件。8.一种监测地下作业面渗漏水的装置，其特征在于，包括：干扰剔除模块，用于获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集，所述当前帧图像包括可见光图像及红外热成像图像；相关性提取模块，用于从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；语义提取模块，用于基于相关性显著图像，获取渗漏水区域语义特征图像；形态滤波模块，用于对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；特征获取模块，用于基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；渗漏检测模块，用于基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的监测地下作业面渗漏水的方法的步骤。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的监测地下作业面渗漏水的方法的步骤。

技术总结
本发明提供了一种监测地下作业面渗漏水的方法及装置，方法包括：获取包括当前帧图像及历史帧图像的图像序列，按照预设的复杂干扰因素剔除算法，对图像序列进行复杂干扰因素剔除，得到显著图像集；从显著图像集中，按照预先设置的显著差异策略提取两帧显著图像，获取该两帧显著图像的相关性显著图像；基于相关性显著图像，获取渗漏水区域语义特征图像；对渗漏水区域语义特征图像进行形态学滤波，得到形态学滤波图像；基于形态学滤波图像、图像序列及预先构建的多层残差深度特征提取模型，获取残差深度特征隐变量；基于残差深度特征隐变量，利用面向循环视频序列异常事件检测器，进行渗漏水异常事件检测。可以提高渗漏水监测效率。可以提高渗漏水监测效率。可以提高渗漏水监测效率。


技术研发人员：刘天正 宣晶 刘魁刚 曹伍富 田桂艳 赵静 朱厚喜 张瑜 廉瑞军 蒲豫园 齐航 李克飞 倪集忠 李元凯 伊建峰 麻海涛 赵猛 刘昊 王泽宇 庞博
受保护的技术使用者：北京市基础设施投资有限公司 北京市轨道交通建设管理有限公司
技术研发日：2023.03.24
技术公布日：2023/7/13