基于特征掩码和YOLO模型的运动目标检测方法、装置、介质与流程

基于特征掩码和yolo模型的运动目标检测方法、装置、介质
技术领域
1.本技术涉及但不限于图像处理技术领域，尤其涉及一种基于特征掩码和yolo模型的运动目标检测方法、装置、介质。


背景技术：

2.得益于卷积神经网络的准确率相对于传统计算机视觉算法的准确率有大幅提升，卷积神经网络已普遍应用到计算机视觉的各个领域当中，例如智能安防、自动驾驶、无人机、医疗、军事。然而，卷积神经网络高准确率的代价是需要耗费非常大的计算资源和存储资源，通用中央处理器(central processing unit，cpu)已经不能胜任处理卷积乘加的计算，常用的做法是使用图形处理器(graphic processing unit，gpu)来加速计算卷积神经网络，但是gpu存在功耗较大和价格昂贵的问题。因此，有必要提出一种运动目标检测方法，能够提升硬件终端运行卷积神经网络的计算速度的同时，降低硬件终端的运行功耗。


技术实现要素：

3.本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测方法、装置、介质，能够提升硬件终端运行神经网络的计算速度的同时，降低硬件终端的运行功耗。
4.第一方面，本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测方法，包括：
5.获取连续帧图像，根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像；
6.根据预设的背景减除算法对所述目标连续帧图像进行背景提取，得到所述目标连续帧图像的前景图像；
7.获取预先训练好的yolo模型，所述yolo模型包括特征掩码生成模块和运动目标检测模块；
8.将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码；
9.将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果。
10.在一些实施例中，所述运动目标检测模块至少包括依次连接的第一卷积层和第二卷积层，所述特征掩码生成模块依次连接的第一最大池化层和第二最大池化层，所述目标前景特征掩码至少包括第一前景特征掩码和第二前景特征掩码，所述第一前景特征掩码为所述第一卷积层的前景特征掩码，所述第二前景特征掩码为所述第二卷积层的前景特征掩码，所述将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码，包括：
11.确定第一卷积参数和第二卷积参数，所述第一卷积参数为所述第一卷积层的卷积参数，所述第二卷积参数为所述第二卷积层的卷积参数；
12.基于所述第一卷积参数，将所述前景图像输入至所述第一最大池化层进行最大池化处理，得到第一前景特征掩码；
13.基于所述第二卷积参数，将所述第一前景特征掩码输入至所述第二最大池化层进行最大池化处理得到第二前景特征掩码。
14.在一些实施例中，所述特征掩码生成模块还包括排序位于所述第二最大池化层之后的第三最大池化层，在所述基于所述第二卷积参数，将所述第一前景特征掩码输入至所述最大池化层进行最大池化处理得到第二前景特征掩码之后，所述方法还包括：
15.确定排序位于所述第二卷积层之后的网络层的属性信息；
16.当所述属性信息表征所述网络层为卷积层，确定所述网络层的第三卷积参数，基于所述第三卷积参数，将所述第二前景特征掩码输入至所述第三最大池化层进行最大池化处理得到第三前景特征掩码，所述第三前景特征掩码为所述网络层的前景特征掩码；
17.或者，
18.当所述属性信息表征所述网络层为上采样层，将所述第一前景特征掩码和所述第二前景特征掩码确定为所述目标前景特征掩码。
19.在一些实施例中，所述运动目标检测模块还包括上采样层、第一预设网络层、第二预设网络层和第三预设网络层，所述第一预设网络层位于所述第一卷积层与所述第二卷积层之间，所述第二预设网络层排序位于所述第二卷积层之后，所述将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果，包括：
20.将所述目标连续帧图像和所述第一前景特征掩码输入至所述第一卷积层进行卷积处理，得到第一特征映射图像；
21.将所述第一特征映射图像输入至所述第一预设网络层进行图像处理，得到第一中间特征图像；
22.将所述第一中间特征图像和所述第二前景特征掩码输入至所述第二卷积层进行卷积处理，得到第二特征映射图像；
23.将所述第二特征映射图像输入至所述第二预设网络层进行图像处理，得到第二中间特征图像；
24.当排序位于所述第二预设网络层之后的网络层为上采样层，将所述第二中间特征映射图像输入至所述上采样层进行上采样处理，得到第三中间特征图像；
25.将所述第三中间特征图像输入至所述第三预设网络层进行图像处理，得到所述运动目标检测结果。
26.在一些实施例中，所述第一特征映射图像包括多个像素点，所述第一前景特征掩码包括多个掩码值，各个所述像素点对应一个所述掩码值，在所述将所述目标连续帧图像和所述第一前景特征掩码输入至所述第一卷积层进行卷积处理，得到第一特征映射图像之后，所述方法还包括：
27.从多个所述像素点中确定目标像素点，所述目标像素点对应的掩码值为1；
28.计算各个所述目标像素点对应的所有通道数的输出特征映射值；
29.根据各个所述输出特征映射值重新确定所述第一特征映射图像。
30.在一些实施例中，所述背景减除算法为混合高斯模型方法。
31.在一些实施例中，在所述根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像之前，所述方法还包括：
32.根据预设的图像预处理规则对所述连续帧图像进行图像预处理，得到预处理后的连续帧图像。
33.第二方面，本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测装置，包括：
34.图像获取模块，所述图像获取模块用于获取连续帧图像，根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像；
35.前景图像提取模块，所述前景图像提取模块用于根据预设的背景减除算法对所述目标连续帧图像进行背景提取，得到所述目标连续帧图像的前景图像；
36.模型获取模块，所述模型获取模块用于获取预先训练好的yolo模型，所述yolo模型包括特征掩码生成模块和运动目标检测模块；
37.目标前景特征掩码确定模块，所述目标前景特征掩码确定模块用于将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码；
38.运动目标检测结果确定模块，所述运动目标检测结果确定模块用于将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果。
39.第三方面，本技术实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于特征掩码和yolo模型的运动目标检测方法。
40.第四方面，本技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于特征掩码和yolo模型的运动目标检测方法。
41.本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测方法、装置、介质，方法包括：获取连续帧图像，根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像；根据预设的背景减除算法对所述目标连续帧图像进行背景提取，得到所述目标连续帧图像的前景图像；获取预先训练好的yolo模型，所述yolo模型包括特征掩码生成模块和运动目标检测模块；将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码；将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果。本技术实施例基于前景特征掩码和yolo模型对连续帧图像进行运动目标检测，使得只有连续帧图像的前景区域参与了神经网络运算，而背景区域被掩码剔除而跳过了神经网络运算，能够提升执行该运动目标检测操作的硬件终端运行神经网络的计算速度的同时，降低硬件终端的运行功耗。
附图说明
42.图1是本技术一个实施例提供的基于特征掩码和yolo模型的运动目标检测方法的步骤流程图；
43.图2是本技术另一个实施例提供的计算目标前景特征掩码的步骤流程图；
44.图3是本技术另一个实施例提供的计算目标前景特征掩码的步骤流程图；
45.图4是本技术另一个实施例提供的得到运动目标检测结果的步骤流程图；
46.图5是本技术另一个实施例提供的得到第一特征映射图像的步骤流程图；
47.图6是本技术另一个实施例提供的对连续帧图像进行图像预处理的步骤流程图；
48.图7是本技术另一个实施例提供的基于特征掩码和yolo模型的运动目标检测装置的模块示意图；
49.图8是本技术另一个实施例提供的电子设备的硬件示意图；
50.图9是本技术另一个实施例提供的目标连续帧图像的示意图；
51.图10是图9对应的背景图像的示意图；
52.图11是图9-(c)对应的前景图像的示意图；
53.图12是本技术另一个实施例提供的yolo模型的网络结构图。
具体实施方式
54.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
55.可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
56.本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测方法、装置、介质，方法包括：获取连续帧图像，根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像；根据预设的背景减除算法对所述目标连续帧图像进行背景提取，得到所述目标连续帧图像的前景图像；获取预先训练好的yolo模型，所述yolo模型包括特征掩码生成模块和运动目标检测模块；将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码；将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果。本技术实施例基于前景特征掩码和yolo模型对连续帧图像进行运动目标检测，使得只有连续帧图像的前景区域参与了神经网络运算，而背景区域被掩码剔除而跳过了神经网络运算，能够提升执行该运动目标检测操作的硬件终端运行神经网络的计算速度的同时，降低硬件终端的运行功耗。
57.下面结合附图，对本技术实施例作进一步阐述。
58.如图1所示，图1是本技术一个实施例提供的基于特征掩码和yolo模型的运动目标检测方法的步骤流程图，本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测方法，该方法包括但不限于有以下步骤：
59.步骤s110，获取连续帧图像，根据预设的图像缩放算法对连续帧图像进行图像缩放，得到目标连续帧图像；
60.步骤s120，根据预设的背景减除算法对目标连续帧图像进行背景提取，得到目标连续帧图像的前景图像；
61.步骤s130，获取预先训练好的yolo模型，yolo模型包括特征掩码生成模块和运动目标检测模块；
62.步骤s140，将前景图像输入至特征掩码生成模块进行图像处理，得到目标前景特征掩码；
63.步骤s150，将目标前景特征掩码和目标连续帧图像输入至运动目标检测模块进行目标检测处理，得到运动目标检测结果。
64.可以理解的是，得益于卷积神经网络的准确率相对于传统计算机视觉算法的准确率有大幅提升，卷积神经网络已普遍应用到计算机视觉的各个领域当中，例如智能安防、自动驾驶、无人机、医疗、军事。然而，卷积神经网络高准确率的代价是需要耗费非常大的计算资源和存储资源，cpu已经不能胜任处理卷积乘加的计算，常用的做法是使用gpu来加速计算卷积神经网络，但是gpu存在功耗较大和价格昂贵的问题。基于此，本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测方法，包括：获取连续帧图像，根据预设的图像缩放算法对连续帧图像进行图像缩放，得到目标连续帧图像；根据预设的背景减除算法对目标连续帧图像进行背景提取，得到目标连续帧图像的前景图像；获取预先训练好的yolo模型，yolo模型包括特征掩码生成模块和运动目标检测模块；将前景图像输入至特征掩码生成模块进行图像处理，得到目标前景特征掩码；将目标前景特征掩码和目标连续帧图像输入至运动目标检测模块进行目标检测处理，得到运动目标检测结果，需要说明的是，本技术实施例并不限制运动目标检测结果的具体内容，可以包括运动目标的位置信息和运动目标的类别信息。本技术实施例基于前景特征掩码和yolo模型对连续帧图像进行运动目标检测，使得只有连续帧图像的前景区域参与了神经网络运算，而背景区域被掩码剔除而跳过了神经网络运算，能够实现运动目标检测的同时，提升执行该运动目标检测操作的硬件终端运行神经网络的计算速度，以及降低硬件终端的运行功耗。
65.可以理解的是，由于yolo模型对应的图像输入分辨率是固定的，例如本技术实施例的yolo模型的图像输入分辨率为416*416，而初始的连续帧图像的分辨率取决于图像采集设备，例如从图像采集设备采集到的初始的连续帧图像的分辨率为1280*720，因此需要根据预设的图像缩放算法将分辨率为1280*720的连续帧图像进行图像缩放，得到满足yolo模型的图像输入分辨率的目标连续帧图像。需要说明的是，本技术实施例并不限制具体的图像缩放算法，可以是双线性插值算法或者是最临近点插值算法，本领域技术人员根据实际情况选用即可。
66.需要说明的是，本技术实施例并不限制具体的背景减除算法，可以是使用常用的背景建模技术，如本技术实施例使用混合高斯模型方法，对目标连续帧图像进行背景建模，目标连续帧图像包括多帧时间连续的图像，如图9所示，图9表征两辆汽车行驶在公路上的连续帧图像，其中，帧间只有汽车是运动的，马路上的人行横道，车道线和路面均为静止，图9-(a)、9-(b)和9-(c)为目标连续帧图像中基于时间先后排序的3帧图像。通过混合高斯模型方法对多帧图像，例如图9-(a)、9-(b)和9-(c)进行迭代更新后，会得到较稳定的背景图像，背景图像如图10所示，本技术实施例也会根据预设的权重更新背景图像；基于此，对于目标连续帧图像中每一帧新来的图像，通过与该背景图像进行比对运算，就能得到该帧图像的前景图像如图11所示，图11中白色区域为车辆占据的像素位置，白色区域的像素位置对应的值为1，表示运动区域，其余的黑色区域对应的像素位置的值为0，表示静止区域。
67.另外，在一实施例中，运动目标检测模块至少包括依次连接的第一卷积层和第二卷积层，特征掩码生成模块依次连接的第一最大池化层和第二最大池化层，目标前景特征掩码至少包括第一前景特征掩码和第二前景特征掩码，第一前景特征掩码为第一卷积层的前景特征掩码，第二前景特征掩码为第二卷积层的前景特征掩码，参照图2，图1所示实施例中的步骤s140还包括但不限于有以下步骤：
68.步骤s210，确定第一卷积参数和第二卷积参数，第一卷积参数为第一卷积层的卷积参数，第二卷积参数为第二卷积层的卷积参数；
69.步骤s220，基于第一卷积参数，将前景图像输入至第一最大池化层进行最大池化处理，得到第一前景特征掩码；
70.步骤s230，基于第二卷积参数，将第一前景特征掩码输入至第二最大池化层进行最大池化处理得到第二前景特征掩码。
71.另外，在一实施例中，特征掩码生成模块还包括排序位于第二最大池化层之后的第三最大池化层，参考图3，在执行图2所示实施例中的步骤s230之后，本技术实施例提供的基于特征掩码和yolo模型的运动目标检测方法包括但不限于有以下步骤：
72.步骤s310，确定排序位于第二卷积层之后的网络层的属性信息；
73.步骤s320，当属性信息表征网络层为卷积层，确定网络层的第三卷积参数，基于第三卷积参数，将第二前景特征掩码输入至第三最大池化层进行最大池化处理得到第三前景特征掩码，第三前景特征掩码为网络层的前景特征掩码；
74.或者，
75.步骤s330，当属性信息表征网络层为上采样层，将第一前景特征掩码和第二前景特征掩码确定为目标前景特征掩码。
76.可以理解的是，在运行yolo模型的运动目标检测模块的情况下，每当完成一次卷积层的卷积运算之后，需要判断排序位于当前卷积层之后的下一层网络层的属性信息，当属性信息表征网络层为卷积层，重复基于上述实施例的方案执行卷积运算得到前景特征掩码，例如当排序位于第二卷积层之后的网络层为卷积层，确定该网络层的第三卷积参数，基于第三卷积参数，将第二前景特征掩码输入至第三最大池化层进行最大池化处理得到第三前景特征掩码；当属性信息表征网络层为上采样层，最大池化层将无法继续计算出后续卷积层的感受野，因此结束前景特征掩码的生成，当前的目标前景特征掩码仅包括第一前景特征掩码和第二前景特征掩码，即当排序位于第二卷积层之后的网络层为上采样层，结束遍历计算前景特征掩码的步骤，以及排序于上采样层之后的所有网络层均没有前景特征掩码参与运算。
77.另外，在一实施例中，参考图12，运动目标检测模块1210还包括上采样层、第一预设网络层、第二预设网络层和第三预设网络层，第一预设网络层位于特征掩码生成模块1220中的第一卷积层与第二卷积层之间，第二预设网络层排序位于第二卷积层之后，参考图4，图1步骤s150包括但不限于有以下步骤：
78.步骤s410，将目标连续帧图像和第一前景特征掩码输入至第一卷积层进行卷积处理，得到第一特征映射图像；
79.步骤s420，将第一特征映射图像输入至第一预设网络层进行图像处理，得到第一中间特征图像；
80.步骤s430，将第一中间特征图像和第二前景特征掩码输入至第二卷积层进行卷积处理，得到第二特征映射图像；
81.步骤s440，将第二特征映射图像输入至第二预设网络层进行图像处理，得到第二中间特征图像；
82.步骤s450，当排序位于第二预设网络层之后的网络层为上采样层，将第二中间特征映射图像输入至上采样层进行上采样处理，得到第三中间特征图像；
83.步骤s460，将第三中间特征图像输入至第三预设网络层进行图像处理，得到运动目标检测结果。
84.可以理解的是，在计算得到目标前景特征掩码(目标前景特征掩码包括第一前景特征掩码和第二前景特征掩码)之后，将目标连续帧图像和第一前景特征掩码输入至第一卷积层进行卷积处理，得到第一特征映射图像，将第一特征映射图像输入至第一预设网络层进行图像处理，得到第一中间特征图像，将第一中间特征图像和第二前景特征掩码输入至第二卷积层进行卷积处理，得到第二特征映射图像，当排序位于第二预设网络层之后的网络层为上采样层，将第二中间特征映射图像输入至上采样层进行上采样处理，得到第三中间特征图像，将第三中间特征图像输入至第三预设网络层进行图像处理，得到运动目标检测结果，使得只有连续帧图像的前景区域参与了神经网络运算，而背景区域被掩码剔除而跳过了神经网络运算，能够有效提升yolo模型计算运动目标检测结果的效率。
85.需要说明的是，本技术实施例并不限制运动目标检测结果的具体内容，可以包括携带预测框和运动目标位置标识的目标连续帧图像。
86.另外，在一实施例中，第一特征映射图像包括多个像素点，第一前景特征掩码包括多个掩码值，各个像素点对应一个掩码值，参考图5，图4步骤s410之后，本技术实施例提供的基于特征掩码和yolo模型的运动目标检测方法还包括但不限于有以下步骤：
87.步骤s510，从多个像素点中确定目标像素点，目标像素点对应的掩码值为1；
88.步骤s520，计算各个目标像素点对应的所有通道数的输出特征映射值；
89.步骤s530，根据各个输出特征映射值重新确定第一特征映射图像。
90.需要说明的是，从多个像素点中确定目标像素点的具体方式可以是基于空间维度遍历该第一特征映射图像的全部像素点，并根据各个像素点对应的掩码值进行筛选得到，本技术实施例中，第一特征映射图像所包含的像素点对应的掩码值可以是0或1，目标像素点对应的掩码值为1。
91.可以理解的是，基于空间维度遍历该第一特征映射图像的全部像素点，空间维度表征该第一特征映射图像的各个像素位置信息，可以表示为(i，j)，各个像素点对应一个掩码值，该掩码值可以表示为msk(i,j)，i的取值范围为(0，width-1)和j的取值范围为(0，height-1),width和height的取值根据第一特征映射图像的图像尺寸决定，当遍历到某个像素位置(i，j)时，若该像素位置对应的掩码值msk(i,j)＝1，表示该像素位置对应的感受野包含原始输入图像，即前景图像的运动像素，将msk(i,j)＝1的掩码值对应的像素点确定为目标像素点，计算该目标像素点对应的所有通道数的输出特征映射值out(i,j,k)，其中输出通道数为channel，k的范围为0到(channel-1)，根据各个输出特征映射值重新确定第一特征映射图像；当遍历到某个像素位置(i，j)时，若该像素位置对应的像素点对应的掩码值msk(i,j)＝0，表示该像素位置对应的感受野仅包含前景图像的静止像素，跳过对该像素
点的卷积运算，继续遍历下一个像素点；若基于空间维度遍历到第一特征映射图的像素位置(width-1,height-1)，则表示第一卷积层输出的第一特征映射图中所有的像素位置遍历完毕；否则，继续遍历下一个像素位置。通过计算卷积层的前景特征掩码作为指导该卷积层输出的目标特征映射图像中各个像素点是否可以跳过卷积计算步骤的依据，使其跳过各层卷积层中对原始输入图像，即前景图像中静止区域的输出结果的计算，所跳过的计算，能节省硬件终端运行yolo模型所带来的内存数据读写带宽资源、网络运行时间以及两者带来的功耗。当yolo模型的中间网络层的通道数较大，基于上述实施例中基于前景特征掩码进行卷积处理的方法能够掩去所有通道的数据，这在一些场景将会省去50％以上的读写数据带宽，另外通过输入前景特征掩码还将会对旁路的卷积核省去乘累加计算，从而也加快了硬件终端运行yolo模型的计算速度，这些对于实时运动目标检测的硬件终端来说能够做到更低的功耗和成本。
92.需要说明的是，本技术实施例并不限制第一卷积参数和第二卷积参数的具体内容，特征掩码生成模块的卷积层的卷积参数可以包括卷积核尺寸和卷积步长，并且，本实施例中运动目标检测模块中各个卷积层输出的特征映射图像的具体特征信息，依赖于输入至yolo模型的原始图像的局部区域，该局部区域的大小称为感受野，感受野根据以下公式得到：
[0093][0094]
其中，r
n+1
为运动目标检测模块的第n+1个卷积层的感受野，rn为运动目标检测模块的第n个卷积层的感受野，k
n+1
为卷积核尺寸，k
n+1
的取值为大于或等于1的整数；si为卷积步长，si的取值为大于或等于1的整数，n为大于或等于0的整数，r0＝1，s0＝1。运动目标检测模块的卷积层的数量本领域技术人员可以根据实际情况设定，在此不多做限制。
[0095]
需要说明的是，由于最大池化层的运算量远小于卷积层：一个卷积层计算输出特征映射图像的计算量为(kernel_w*kernel_h*channel_in)次乘法与(kernel_w*kernel_h*channel_in
–
1)次加法，其中kernel_w是水平方向的核大小，kernel_h是垂直方向的核大小，channel_in是输入通道的个数，yolo模型中的channel_in的取值为32到1024；一个最大池化层的计算量仅为(kernel_w*kernel_h)次比较。因此通过额外的最大池化层计算得到的前景特征掩码，来减少静止区域的卷积层计算，能够有效实现节省yolo模型的运算时间，进而节省硬件终端的存取资源和功耗。
[0096]
另外，参照图6，在一实施例中，在执行图1所示实施例中的步骤s110之前，本技术实施例提供的基于特征掩码和yolo模型的运动目标检测方法还包括但不限于有以下步骤：
[0097]
步骤s610，根据预设的图像预处理规则对连续帧图像进行图像预处理，得到预处理后的连续帧图像。
[0098]
可以理解的是，对连续帧图像进行图像预处理主要目的是消除连续帧图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而提高后续连续帧图像应用的可靠性。
[0099]
需要说明的是，本技术实施例并不限制对连续帧图像进行图像预处理的具体方法，可以对连续帧图像进行图像随机数旋转处理、归一化处理或图像二值化处理等等，本领域技术人员可以根据实际情况进行选用图像预处理的具体方式。
[0100]
另外，参照图7，图7是本技术另一个实施例提供的基于特征掩码和yolo模型的运动目标检测装置的模块示意图，在一实施例中，本技术实施例提供了一种基于特征掩码和yolo模型的运动目标检测装置700，该基于特征掩码和yolo模型的运动目标检测装置700包括：
[0101]
图像获取模块710，图像获取模块710用于获取连续帧图像，根据预设的图像缩放算法对连续帧图像进行图像缩放，得到目标连续帧图像；
[0102]
前景图像提取模块720，前景图像提取模块720用于根据预设的背景减除算法对目标连续帧图像进行背景提取，得到目标连续帧图像的前景图像；
[0103]
模型获取模块730，模型获取模块730用于获取预先训练好的yolo模型，yolo模型包括特征掩码生成模块和运动目标检测模块；
[0104]
目标前景特征掩码确定模块740，目标前景特征掩码确定模块740用于将前景图像输入至特征掩码生成模块进行图像处理，得到目标前景特征掩码；
[0105]
运动目标检测结果确定模块750，运动目标检测结果确定模块750用于将目标前景特征掩码和目标连续帧图像输入至运动目标检测模块进行目标检测处理，得到运动目标检测结果。
[0106]
该基于特征掩码和yolo模型的运动目标检测装置的具体实施方式与上述基于特征掩码和yolo模型的运动目标检测方法的具体实施例基本相同，在此不再赘述。
[0107]
另外，参考图8，图8是本技术另一个实施例提供的电子设备的硬件结构图，本技术的一个实施例还提供了一种电子设备800，该电子设备800包括：存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序。
[0108]
处理器820和存储器810可以通过总线或者其他方式连接。
[0109]
实现上述实施例的基于特征掩码和yolo模型的运动目标检测方法所需的非暂态软件程序以及指令存储在存储器810中，当被处理器820执行时，执行上述实施例中的基于特征掩码和yolo模型的运动目标检测方法，例如，执行以上描述的图1中的方法步骤s110至步骤s150、图2中的方法步骤s210至步骤s230、图3中的方法步骤s310至步骤s330、图4中的方法步骤s410至步骤s460、图5中的方法步骤s510至步骤s530和图6中的方法步骤s610。
[0110]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0111]
此外，本技术的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述电子设备800实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的基于特征掩码和yolo模型的运动目标检测方法，例如，执行以上描述的图1中的方法步骤s110至步骤s150、图2中的方法步骤s210至步骤s230、图3中的方法步骤s310至步骤s330、图4中的方法步骤s410至步骤s460、图5中的方法步骤s510至步骤s530和图6中的方法步骤s610。本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读
介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

技术特征：
1.一种基于特征掩码和yolo模型的运动目标检测方法，其特征在于，包括：获取连续帧图像，根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像；根据预设的背景减除算法对所述目标连续帧图像进行背景提取，得到所述目标连续帧图像的前景图像；获取预先训练好的yolo模型，所述yolo模型包括特征掩码生成模块和运动目标检测模块；将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码；将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果。2.根据权利要求1所述的基于特征掩码和yolo模型的运动目标检测方法，其特征在于，所述运动目标检测模块至少包括依次连接的第一卷积层和第二卷积层，所述特征掩码生成模块依次连接的第一最大池化层和第二最大池化层，所述目标前景特征掩码至少包括第一前景特征掩码和第二前景特征掩码，所述第一前景特征掩码为所述第一卷积层的前景特征掩码，所述第二前景特征掩码为所述第二卷积层的前景特征掩码，所述将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码，包括：确定第一卷积参数和第二卷积参数，所述第一卷积参数为所述第一卷积层的卷积参数，所述第二卷积参数为所述第二卷积层的卷积参数；基于所述第一卷积参数，将所述前景图像输入至所述第一最大池化层进行最大池化处理，得到第一前景特征掩码；基于所述第二卷积参数，将所述第一前景特征掩码输入至所述第二最大池化层进行最大池化处理得到第二前景特征掩码。3.根据权利要求2所述的基于特征掩码和yolo模型的运动目标检测方法，其特征在于，所述特征掩码生成模块还包括排序位于所述第二最大池化层之后的第三最大池化层，在所述基于所述第二卷积参数，将所述第一前景特征掩码输入至所述最大池化层进行最大池化处理得到第二前景特征掩码之后，所述方法还包括：确定排序位于所述第二卷积层之后的网络层的属性信息；当所述属性信息表征所述网络层为卷积层，确定所述网络层的第三卷积参数，基于所述第三卷积参数，将所述第二前景特征掩码输入至所述第三最大池化层进行最大池化处理得到第三前景特征掩码，所述第三前景特征掩码为所述网络层的前景特征掩码；或者，当所述属性信息表征所述网络层为上采样层，将所述第一前景特征掩码和所述第二前景特征掩码确定为所述目标前景特征掩码。4.根据权利要求2所述的基于特征掩码和yolo模型的运动目标检测方法，其特征在于，所述运动目标检测模块还包括上采样层、第一预设网络层、第二预设网络层和第三预设网络层，所述第一预设网络层位于所述第一卷积层与所述第二卷积层之间，所述第二预设网络层排序位于所述第二卷积层之后，所述将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果，包括：
将所述目标连续帧图像和所述第一前景特征掩码输入至所述第一卷积层进行卷积处理，得到第一特征映射图像；将所述第一特征映射图像输入至所述第一预设网络层进行图像处理，得到第一中间特征图像；将所述第一中间特征图像和所述第二前景特征掩码输入至所述第二卷积层进行卷积处理，得到第二特征映射图像；将所述第二特征映射图像输入至所述第二预设网络层进行图像处理，得到第二中间特征图像；当排序位于所述第二预设网络层之后的网络层为上采样层，将所述第二中间特征映射图像输入至所述上采样层进行上采样处理，得到第三中间特征图像；将所述第三中间特征图像输入至所述第三预设网络层进行图像处理，得到所述运动目标检测结果。5.根据权利要求4所述的基于特征掩码和yolo模型的运动目标检测方法，其特征在于，所述第一特征映射图像包括多个像素点，所述第一前景特征掩码包括多个掩码值，各个所述像素点对应一个所述掩码值，在所述将所述目标连续帧图像和所述第一前景特征掩码输入至所述第一卷积层进行卷积处理，得到第一特征映射图像之后，所述方法还包括：从多个所述像素点中确定目标像素点，所述目标像素点对应的掩码值为1；计算各个所述目标像素点对应的所有通道数的输出特征映射值；根据各个所述输出特征映射值重新确定所述第一特征映射图像。6.根据权利要求1所述的基于特征掩码和yolo模型的运动目标检测方法，其特征在于，所述背景减除算法为混合高斯模型方法。7.根据权利要求1所述的基于特征掩码和yolo模型的运动目标检测方法，其特征在于，在所述根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像之前，所述方法还包括：根据预设的图像预处理规则对所述连续帧图像进行图像预处理，得到预处理后的连续帧图像。8.一种基于特征掩码和yolo模型的运动目标检测装置，其特征在于，包括：图像获取模块，所述图像获取模块用于获取连续帧图像，根据预设的图像缩放算法对所述连续帧图像进行图像缩放，得到目标连续帧图像；前景图像提取模块，所述前景图像提取模块用于根据预设的背景减除算法对所述目标连续帧图像进行背景提取，得到所述目标连续帧图像的前景图像；模型获取模块，所述模型获取模块用于获取预先训练好的yolo模型，所述yolo模型包括特征掩码生成模块和运动目标检测模块；目标前景特征掩码确定模块，所述目标前景特征掩码确定模块用于将所述前景图像输入至所述特征掩码生成模块进行图像处理，得到目标前景特征掩码；运动目标检测结果确定模块，所述运动目标检测结果确定模块用于将所述目标前景特征掩码和所述目标连续帧图像输入至所述运动目标检测模块进行目标检测处理，得到运动目标检测结果。9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算
机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于特征掩码和yolo模型的运动目标检测方法。10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于特征掩码和yolo模型的运动目标检测方法。

技术总结
本申请公开了一种基于特征掩码和YOLO模型的运动目标检测方法、装置、介质，方法包括：根据图像缩放算法对连续帧图像进行图像缩放，得到目标连续帧图像；根据背景减除算法对目标连续帧图像进行背景提取，得到前景图像；获取包括特征掩码生成模块和运动目标检测模块的YOLO模型；将前景图像输入至特征掩码生成模块进行图像处理，得到目标前景特征掩码；将目标前景特征掩码和目标连续帧图像输入至运动目标检测模块进行目标检测，得到运动目标检测结果。本申请基于前景特征掩码和YOLO模型对连续帧图像进行运动目标检测，使得连续帧图像的背景区域被掩码剔除，仅前景区域参与神经网络运算，提升了执行该运动目标检测操作的硬件终端运行神经网络的计算速度。运行神经网络的计算速度。运行神经网络的计算速度。


技术研发人员：郑伟坚 孔文海
受保护的技术使用者：珠海亿智电子科技有限公司
技术研发日：2023.02.13
技术公布日：2023/7/21