一种基于初级视觉皮层卷积的目标检测方法及设备与流程

1.本发明属于人工智能目标检测技术领域，尤其涉及一种基于初级视觉皮层卷积的目标检测方法及设备。


背景技术：

2.目标检测的任务是在静态图像(或者动态视频)中检测出感兴趣的目标对象，可以为后续的目标跟踪、行为预测等提供良好的条件，目标检测任务是计算机视觉的一个重要环节，被广泛应用于无人驾驶、机器人导航、视频监控、工业检测、航空航天等诸多领域。
3.现有的目标检测方法主要有faster-rcnn、ssd、centernet和yolov1～yolov5等，但现有方法仍存在易受噪声干扰，环境适应性差的问题。


技术实现要素：

4.鉴于上述的分析，本发明旨在提供一种基于初级视觉皮层卷积的目标检测方法及设备，用于改善现有技术中目标检测方法易受噪声干扰，环境适应性差的问题。
5.本发明的目的主要是通过以下技术方案实现的：
6.一方面，本发明提供了一种基于初级视觉皮层卷积的目标检测方法，该方法包括：
7.获取待检测图像；
8.基于所述待检测图像依次进行多次初级视觉皮层机理的特征图尺寸压缩和特征提取，得到多个不同尺寸的骨干特征图；
9.基于多个所述骨干特征图进行多次初级视觉皮层机理的卷积特征提取和通道聚合，得到多个尺寸的目标特征图；
10.融合多个所述目标特征图得到目标检测结果。
11.进一步的，通过预设的骨干网络进行骨干特征图提取；
12.所述骨干网络包括依次连接的n+1个包括初级视觉皮层卷积模块的特征图压缩提取模块，用于对接收到的特征图进行多次初级视觉皮层机理的特征图尺寸压缩和特征提取，得到n个不同尺寸的骨干特征图。
13.进一步的，通过预设的头部网络进行初级视觉皮层机理的卷积特征提取和通道聚合；
14.所述头部网络包括多个初级视觉皮层卷积模块和通道聚合模块；基于多个所述骨干特征图进行多次初级视觉皮层机理的卷积特征提取或特征图尺寸压缩；并通过所述聚合模块基于所述骨干特征图和所述初级视觉皮层卷积模块输出的特征图进行通道聚合，得到n个目标特征图；所述卷积特征提取和特征图尺寸压缩通过对所述初级视觉皮层卷积模块不同的参数设置实现。
15.进一步的，所述初级视觉皮层卷积模块包括：第一conv层、voneblock层、第二conv层、第三conv层和特征融合层；
16.所述第一conv层、voneblock层和第二conv层依次串行连接后，与所述第三conv层
并行连接；
17.所述特征融合层用于对所述第二conv层和第三conv层输出的特征图进行特征融合。
18.进一步的，所述第一conv层、第二conv层和第三conv层用于对接收到的特征图进行卷积操作和通道数调整；
19.所述voneblock层用于对接收到的特征图进行视觉皮层特征提取；
20.所述第一conv层和第三conv层输出的特征图尺寸和通道数均相同。
21.进一步的，所述第一conv层输出的特征图通道数为8通道、16通道或32通道。
22.进一步的，利用所述初级视觉皮层卷积模块进行初级视觉皮层机理的特征图尺寸压缩时，所述第一conv层和第三conv层的卷积核尺寸设置为3x3，滑动窗口步长为2或4；
23.利用所述初级视觉皮层卷积模块进行初级视觉皮层机理的卷积特征提取时，所述第一conv层和第三conv层的卷积核尺寸设置为1*1，滑动窗口步长为1。
24.进一步的，所述n为3；
25.第1-3个特征图压缩提取模块均包括依次连接的初级视觉皮层卷积模块和c3层；分别通过初级视觉皮层卷积模块对输入的特征图进行尺寸压缩后，将压缩后的特征图输入对应的c3层进行特征提取，得到对应特征图压缩提取模块的输出；基于第2个特征图压缩提取模块和第3个特征图压缩提取模块的输出，得到第一骨干特征图和第二骨干特征图；
26.第4个特征图压缩提取模块包括依次连接的初级视觉皮层卷积模块、spp层和c3层；用于第3个特征图压缩提取模块输出的特征图依次进行特征图尺寸压缩、特征图空间信息融合和特征提取，得到第三骨干特征图。
27.进一步的，基于多个所述骨干特征图进行多次初级皮层机理的卷积特征提取和通道聚合，得到多个尺寸的目标特征图，包括：
28.对第三骨干特征图进行视觉皮层卷积特征提取和尺寸扩充后，与第二骨干特征图进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第一融合特征图；
29.对所述第一融合特征图进行视觉皮层卷积特征提取和尺寸扩充后，与第一骨干特征图进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第一目标特征图；
30.对第一目标特征图和第一融合特征图分别进行视觉皮层卷积特征提取后进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第二目标特征图；
31.对第二目标特征图和第三骨干特征图分别进行视觉皮层卷积特征提取后进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第三目标特征图。
32.另一方面，还提供一种电子设备，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；
33.所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现前述的基于初级视觉皮层卷积的目标检测方法。
34.本技术方案的有益效果：
35.1.本发明采用初级视觉皮层的voneblock模块对待检测图像进行多次基于大脑初级视觉皮层机理的卷积特征提取和特征图尺寸压缩，可以更加有效的模拟大脑初级视觉皮层的信息处理过程，提升目标检测方法在噪声干扰下的环境适应性。
36.2.本发明采用预设的初级视觉皮层卷积模块解决了voneblock模块在高计算量应
用中处理效率低的问题，实现了voneblock模块进行多尺寸多通道特征提取的功能，进一步提升目标检测性能。
37.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
38.附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
39.图1是本发明实施例的基于初级视觉皮层卷积的目标检测方法流程图；
40.图2是本发明实施例的基于初级视觉皮层卷积的目标检测流程结构示意图；
41.图3是是本发明实施例的初级视觉皮层卷积模块结构图。
具体实施方式
42.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施案例一起用于阐释本发明的原理，并非用于限定本发明的范围。
43.本发明的一个实施例，提供了一种基于初级视觉皮层卷积的目标检测方法，如图1所示，包括以下步骤：
44.步骤s1，获取待检测图像。
45.具体的，待检测图像可以为任意方式拍摄的图像，如无人机航拍得到的包括地面车辆、人员、机动装备、基础设施等待检测目标的图像。
46.步骤s2，基于所述待检测图像依次进行多次初级视觉皮层机理的特征图尺寸压缩和特征提取，得到多个不同尺寸的骨干特征图。
47.具体的，通过预设的骨干网络进行骨干特征图提取；骨干网络包括依次连接的n+1个包括初级视觉皮层卷积模块的特征图压缩提取模块，用于对接收到的特征图进行多次初级视觉皮层机理的特征图尺寸压缩和特征提取，得到n个不同尺寸的骨干特征图。
48.更具体的，本实施例中n值取3；
49.如图2所示，骨干网络中第1-3个特征图压缩提取模块均包括依次连接的初级视觉皮层卷积模块和c3层；分别通过初级视觉皮层卷积模块对输入的特征图进行尺寸压缩后，将压缩后的特征图输入对应的c3层进行特征提取，得到对应特征图压缩提取模块的输出；基于第2个特征图压缩提取模块和第3个特征图压缩提取模块的输出，得到第一骨干特征图和第二骨干特征图；
50.第4个特征图压缩提取模块包括依次连接的初级视觉皮层卷积模块、spp层和c3层；用于第3个特征图压缩提取模块输出的特征图依次进行特征图尺寸压缩、特征图空间信息融合和特征提取，得到第三骨干特征图。
51.优选的，如图3所示，初级视觉皮层卷积模块包括：第一conv层、voneblock层、第二conv层、第三conv层和特征融合层；其中，第一conv层、voneblock层和第二conv层依次串行连接后，与第三conv层并行连接；特征融合层用于对第二conv层和第三conv层输出的特征图进行特征融合。第一conv层、第二conv层和第三conv层用于对接收到的特征图进行卷积
操作和通道数调整；voneblock层用于对接收到的特征图进行视觉皮层特征提取；第一conv层和第三conv层输出的特征图尺寸和通道数均相同。
52.需要说明的是，voneblock层是根据灵长类动物的初级视觉皮层构建的神经网络层，采用gabor滤波器为核心组件，模拟人类视觉感知皮层信息处理机理对输入图像进行生视觉特征提取，可以得到更接近人脑视觉处理后特征的特征图。现有技术中，由于voneblock层对高计算量的计算效率限制，通常只能采用voneblock层对采集得到的3通道的彩色图像或1通道的灰度图像进行初步特征提取。本实施例中，通过预设的初级视觉皮层卷积模块，在voneblock层之前添加第一conv层，用于对输入voneblock层的特征图通道数进行调整；优选的，第一conv层输出的特征图通道数可设置为8通道、16通道或32通道，以实现适用于voneblock层的计算量，平衡特征提取精度和计算效率的问题。
53.优选的，利用初级视觉皮层卷积模块进行初级视觉皮层机理的特征图尺寸压缩时，第一conv层和第三conv层的卷积核尺寸设置为3x3，滑动窗口步长为2或4。
54.作为一个具体的实施例，获取得到的待检测图像及特征提取后得到的特征图的尺寸可表示为hi
×
wi
×
ci，其中，hi为特征图的高度，wi为特征图的宽度，ci为特征图的通道数；本实施例骨干网络中第1个特征图压缩提取模块接收到的待检测图像尺寸为h
×w×
3，将第1个特征图压缩提取模块中的初级视觉皮层卷积模块中的第一conv层和第三conv层的卷积核尺寸设置为3x3，滑动窗口步长设置为4，经过初级视觉皮层卷积模块进行尺寸压缩和通道数调整，得到尺寸为h/4
×
w/4
×
128的特征图；将得到的特征图经过c3注意力层进行特征提取后输入第2个特征图压缩提取模块；将第2个特征图压缩提取模块中初级视觉皮层卷积模块的第一conv层和第三conv层的卷积核尺寸设置为3x3，滑动窗口步长设置为2，经过初级视觉皮层卷积模块进行尺寸压缩和通道数调整，并通过c3层进行特征提取，得到尺寸为h/8
×
w/8
×
256的第一骨干特征图；将第一骨干特征图输入第3个特征图压缩提取模块，依次经过初级视觉皮层卷积模块和c3层进行尺寸压缩、通道数调整及特征提取，得到尺寸为h/16
×
w/16
×
512的第二骨干特征图。将第二骨干特征图输入第4个特征图压缩提取模块，依次经过初级视觉皮层卷积模块和c3层进行尺寸压缩和通道数调整及特征提取，得到尺寸为h/32
×
w/32
×
1024的第三骨干特征图。
55.本实施例成功将voneblock模块应用于骨干网络的中间层，实现了多次更接近人脑视觉处理的特征提取，提高了抗噪声干扰的性能。
56.步骤s3：基于多个骨干特征图进行多次初级视觉皮层机理的卷积特征提取和通道聚合，得到多个尺寸的目标特征图。
57.具体的，通过预设的头部网络进行初级视觉皮层机理的卷积特征提取和通道聚合；其中头部网络包括多个初级视觉皮层卷积模块和通道聚合模块；基于多个骨干特征图进行多次初级视觉皮层机理的卷积特征提取或特征图尺寸压缩；并通过聚合模块基于骨干特征图和初级视觉皮层卷积模块输出的特征图进行通道聚合，得到n个目标特征图；卷积特征提取和特征图尺寸压缩通过对初级视觉皮层卷积模块不同的参数设置实现。
58.优选的，利用初级视觉皮层卷积模块进行初级视觉皮层机理的卷积特征提取时，第一conv层和第三conv层的卷积核尺寸设置为1*1，滑动窗口步长为1。
59.更具体的，如图2所示，基于多个骨干特征图进行多次初级皮层机理的卷积特征提取和通道聚合，得到多个尺寸的目标特征图，包括：
60.对第三骨干特征图通过初级视觉皮层卷积模块v1进行视觉皮层卷积特征提取，得到尺寸为h/32
×
w/32
×
512的特征图，进一步通过第一upsample层进行尺寸扩充，得到尺寸为h/16
×
w/16
×
512的特征图；将尺寸扩充后的特征图与第二骨干特征图通过第一concat层进行通道聚合，得到尺寸为h/16
×
w/16
×
1024的特征图，对通道聚合后的特征图通过第五c3层进行特征提取，得到尺寸为h/16
×
w/16
×
512的第一融合特征图。
61.对第一融合特征图通过初级视觉皮层卷积模块v6进行视觉皮层卷积特征提取得到尺寸为h/16
×
w/16
×
256的特征图，进一步通过第二upsample层进行尺寸扩充，并将得到尺寸为h/8
×
w/8
×
256的特征图与第一骨干特征图通过第二concat层进行通道聚合，得到尺寸为h/8
×
w/8
×
512的特征图，对通道聚合后的特征图通过第六c3层进行特征提取和通道调整，得到尺寸为h/8
×
w/8
×
256的第一目标特征图；
62.对第一目标特征图通过初级视觉皮层卷积模块v7进行尺寸压缩，并对第一融合特征图通过第六初级视觉皮层卷积模块进行视觉皮层卷积特征提取，均得到尺寸均为h/16
×
w/16
×
256的特征图，将得到的两个特征图通过第三concat层进行通道聚合得到尺寸为h/16
×
w/16
×
512的特征图；进一步通过第七c3层对通道聚合后的特征图进行特征提取，得到尺寸为h/16
×
w/16
×
512的第二目标特征图；
63.对第二目标特征图通过初级视觉皮层卷积模块v8进行尺寸压缩，并对第三骨干特征图通过第五初级视觉皮层卷积模块进行视觉皮层卷积特征提取，均得到尺寸均为h/32
×
w/32
×
512的特征图，将得到的两个特征图通过第四concat层进行通道聚合得到尺寸为h/32
×
w/32
×
1024的特征图，对通道聚合后的特征图通过第八c3层进行特征提取，得到尺寸为h/32
×
w/32
×
1024的第三目标特征图。
64.步骤s4：融合多个目标特征图得到目标检测结果。
65.具体的，将三个目标特征图通过detect层进行特征融合，实现目标分类和坐标定位，本实施例采用现有的yolov5模型自带的detect层进行目标分类和坐标定位，得到目标检测结果。
66.综上，本发明通过初级视觉皮层的voneblock模块对待检测图像进行多次基于大脑初级视觉皮层机理的卷积特征提取和特征图尺寸压缩，可以更加有效的模拟大脑初级视觉皮层的信息处理过程，提升目标检测方法在噪声干扰下的环境适应性。且创造性的提出初级视觉皮层卷积模块，解决了voneblock模块在高计算量应用中处理效率低的问题，实现了voneblock模块进行多尺寸多通道特征提取的功能，进一步提升目标检测性能。
67.本发明的第二个实施例，还公开了一种电子设备，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；
68.所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现前述实施例的基于初级视觉皮层卷积的目标检测方法。
69.本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
70.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于初级视觉皮层卷积的目标检测方法，其特征在于，包括：获取待检测图像；基于所述待检测图像，依次进行多次初级视觉皮层机理的特征图尺寸压缩和特征提取，得到多个不同尺寸的骨干特征图；基于多个所述骨干特征图进行多次初级视觉皮层机理的卷积特征提取和通道聚合，得到多个尺寸的目标特征图；融合多个所述目标特征图得到目标检测结果。2.根据权利要求1所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，通过预设的骨干网络进行骨干特征图提取；所述骨干网络包括依次连接的n+1个包括初级视觉皮层卷积模块的特征图压缩提取模块，用于对接收到的特征图进行多次初级视觉皮层机理的特征图尺寸压缩和特征提取，得到n个不同尺寸的骨干特征图。3.根据权利要求2所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，通过预设的头部网络进行初级视觉皮层机理的卷积特征提取和通道聚合；所述头部网络包括多个初级视觉皮层卷积模块和通道聚合模块；基于多个所述骨干特征图进行多次初级视觉皮层机理的卷积特征提取或特征图尺寸压缩；并通过所述聚合模块基于所述骨干特征图和所述初级视觉皮层卷积模块输出的特征图进行通道聚合，得到n个目标特征图；所述卷积特征提取和特征图尺寸压缩通过对所述初级视觉皮层卷积模块进行不同的参数设置实现。4.根据权利要求3所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，所述初级视觉皮层卷积模块包括：第一conv层、voneblock层、第二conv层、第三conv层和特征融合层；所述第一conv层、voneblock层和第二conv层依次串行连接后，与所述第三conv层并行连接；所述特征融合层用于对所述第二conv层和第三conv层输出的特征图进行特征融合。5.根据权利要求4所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，所述第一conv层、第二conv层和第三conv层用于对接收到的特征图进行卷积操作和通道数调整；所述voneblock层用于对接收到的特征图进行视觉皮层特征提取；所述第一conv层和第三conv层输出的特征图尺寸和通道数均相同。6.根据权利要求4所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，所述第一conv层输出的特征图通道数为8通道、16通道或32通道。7.根据权利要求4所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，利用所述初级视觉皮层卷积模块进行初级视觉皮层机理的特征图尺寸压缩时，所述第一conv层和第三conv层的卷积核尺寸设置为3x3，滑动窗口步长为2或4；利用所述初级视觉皮层卷积模块进行初级视觉皮层机理的卷积特征提取时，所述第一conv层和第三conv层的卷积核尺寸设置为1*1，滑动窗口步长为1。8.根据权利要求2所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，所述n为3；第1-3个特征图压缩提取模块均包括依次连接的初级视觉皮层卷积模块和c3层；分别
通过初级视觉皮层卷积模块对输入的特征图进行尺寸压缩后，将压缩后的特征图输入对应的c3层进行特征提取，得到对应特征图压缩提取模块的输出；基于第2个特征图压缩提取模块和第3个特征图压缩提取模块的输出，得到第一骨干特征图和第二骨干特征图；第4个特征图压缩提取模块包括依次连接的初级视觉皮层卷积模块、spp层和c3层；用于第3个特征图压缩提取模块输出的特征图依次进行特征图尺寸压缩、特征图空间信息融合和特征提取，得到第三骨干特征图。9.根据权利要求8所述的基于初级视觉皮层卷积的目标检测方法，其特征在于，基于多个所述骨干特征图进行多次初级皮层机理的卷积特征提取和通道聚合，得到多个尺寸的目标特征图，包括：对第三骨干特征图进行视觉皮层卷积特征提取和尺寸扩充后，与第二骨干特征图进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第一融合特征图；对所述第一融合特征图进行视觉皮层卷积特征提取和尺寸扩充后，与第一骨干特征图进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第一目标特征图；对第一目标特征图和第一融合特征图分别进行视觉皮层卷积特征提取后进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第二目标特征图；对第二目标特征图和第三骨干特征图分别进行视觉皮层卷积特征提取后进行通道聚合，并对通道聚合后的特征图进行特征提取，得到第三目标特征图。10.一种电子设备，其特征在于，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-9任一项所述的基于初级视觉皮层卷积的目标检测方法。

技术总结
本发明提供一种基于初级视觉皮层卷积的目标检测方法及设备。其中检测方法包括：获取待检测图像；基于待检测图像依次进行多次初级视觉皮层机理的特征图尺寸压缩和特征提取，得到多个不同尺寸的骨干特征图；基于多个骨干特征图进行多次初级视觉皮层机理的卷积特征提取和通道聚合，得到多个尺寸的目标特征图；融合多个目标特征图得到目标检测结果。本发明改善了现有技术中的目标检测的方法容易受到噪声干扰，环境适应性差的问题。环境适应性差的问题。环境适应性差的问题。


技术研发人员：史津竹 赵小川 陈路豪 王子彻 刘华鹏 樊迪 李陈
受保护的技术使用者：中国兵器工业计算机应用技术研究所
技术研发日：2023.03.22
技术公布日：2023/7/12