一种极度轻量级的实时显著性目标检测方法

salient object detection via hierarchical visual perception learning.ieee transactions on cybernetics,vol.51,no.9,pp.4439-4449.2021.》、文献《y.liu,x.-y.zhang,j.-w.bian,l.zhang and m.-m.cheng.samnet:stereoscopically attentive multi-scale network for lightweight salient object detection.ieee transactions on image processing,vol.30,pp.3804-3814,2021.》和文献《y.liu,x.-y.zhang,j.-w.bian,l.zhang and m.-m.cheng.edn:salient object detection via extremely-downsamplednetwork.ieee transactions on image processing,vol.31,pp.3125-3136,2022.》提出了三个具有代表性的轻量级显著性目标检测模型，虽然检测性能与重量级的显著性检测模型有一定的竞争性，但是他们的串行(以图像一帧一帧的形式传给模型)处理数据实时性较弱，往往难以满足对串行处理实时性高的应用场景。文献《m.-m.cheng,s.-h.gao,a.borji,y.-q.tan,z.lin and m.wang.a highly efficient model to study the semantics of salient object detection.ieee transactions on pattern analysis and machine intelligence,vol.44,no.11,pp.8006-8021,2022.》提出的极度轻量级模型csnet及其变体csnet*，虽然模型所需的计算资源很低，但是其检测性能与串行处理数据的实时性不高。综上所述，当前的研究无法很好地平衡轻量级、准确性和实时性三者的关系。


技术实现要素：

5.针对现有技术的不足，本发明提供一种极度轻量级的实时显著性目标检测方法。提出一种极度轻量级的实时显著性目标检测模型，实现轻量化、准确度和实时性三者的较好平衡，同时凭借其极度轻量化的特性使得显著性目标检测模型可以轻易的嵌入到各种计算机视觉任务中，有效的提高他们的任务性能。
6.一种极度轻量级的实时显著性目标检测方法，包括以下步骤：
7.步骤1：建立小波变换模块wtm，利用小波变换理论设计极度轻量级的显著性目标检测编码器；
8.所述显著性目标检测编码器通过小波变换模块wtm堆积得到；显著性目标检测编码器实现了五个级别的不同分辨率特征的输出，分辨率从高到低分别表示为f
out1
、f
out2
、f
out3
、f
out4
和f
out5
。借助小波变换模块wtm的2倍下采样功能生成了多层次特征，wtm的输出分为两部分：(1)输出f
out
被用作下一个小波变换模块wtm的输入以继续特征提取；(2)子带映射x
ll
、x
lh
、x
hl
和x
hh
通过残差机制增强了解码器的解码能力；所述小波变换模块wtm的建立过程包括以下步骤：
9.步骤s1：输入x被2d dwt分解为4个子带图，子带映射x
ll
为低频分量并表示输入x的基本特征。子带映射x
lh
、x
hl
和x
hh
为高频分量并表示输入x的细节特征；
10.步骤s2：低频分量x
ll
和融合的高频分量x
high
分别通过卷积被进一步学习和提取以任务进行驱动的有用信息，融合后的低频特征f
low
和高频特征f
high
分别表示为：
11.f
low
＝dsconv(x
ll
)
12.f
high
＝dsconv(concat(x
lh
,x
hl
,x
hh
))
13.其中dsconv表示深度可分离卷积，concat表示通道维度的特征级联。
14.步骤s3：f
low
和f
high
通过卷积集成，其中低频和高频特征相互补充，从而形成下采
样特征图；输出f
out
表示为：
15.f
out
＝dsconv(f
low
+f
high
)
16.步骤2：建立小波变换融合模块wtfm，利用小波变换理论设计极度轻量级的显著性目标检测解码器；
17.所述显著性目标检测解码器通过小波变换模块wtfm堆积得到；
18.所述小波变换融合模块wtfm的建立过程包括以下步骤：
19.步骤d1：对输入x
in
进行上采样操作后进行离散小波变换dwt，离散小波变换dwt的高频特征g
ll
和低频特征g
hl
、g
hl
和g
hh
的输出分别表示为：
20.g
ll
,g
hl
,g
hl
,g
hh
＝dwt[up(dsconv(x
in
))]
[0021]
步骤d2：通过残差机制在频率层面增强当前特征；增强特征e
ll
、e
hl
、e
hl
和e
hh
表示为：
[0022]ei
＝dsconv(gi+xi),i＝{ll,hl,lh,hh}
[0023]
步骤d3：低频e
ll
分量和高频e
hl
、e
hl
和e
hh
的融合分量经过离散小波逆变换idwt处理后得到上采样特征g
out
：
[0024]gout
＝idwt(e
ll
.e
hl
.e
lh
,e
hh
)
[0025]
步骤3：建立显著性目标检测模型；
[0026]
所述显著性目标检测模型为，通过级联小波变换模块wtm和级联小波变换融合模块wtfm构建编码器以及解码器，然后建立“编码器-解码器”架构；
[0027]
步骤4：使用摄像头进行图像采集，完成实时显著性目标检测；
[0028]
将采集到的rgb图像逐帧传输到显著性目标检测模型中，通过离散小波变换和卷积操作，即wtm和wtfm完成特征在频域和时域上的交互融合，输出显著性目标的掩码图，实现了以像素级别对显著性目标进行检测与分割。
[0029]
采用上述技术方案所产生的有益效果在于：
[0030]
本发明提供一种极度轻量级的实时显著性目标检测方法。针对当前轻量级显著性模型比较于重量级模型性能下降的同时串行处理数据的实时性差的问题，本发明提出了一种极度轻量级的显著性目标检测算法，实现了轻量化、准确度和实时性三者的平衡。首先提出了一种新颖的小波变换模块wtm，它通过融合小波变换理论和cnn实现特征下采样。通过wtm的级联构建编码器，使用有限的参数实现高质量的多级编码，同时无需进行预训练操作。然后提出了一种新颖的小波变换融合模块wtfm，它可以通过小波变换、cnn和一种残差机制实现特征上采样和融合操作。通过wtfm级联构建解码器，实现高质量解码，最终只需要通过常规的bce+iou混合损失函数就可以实现模型的高质量训练。该发明凭借其极度轻量化程度、较好的准确率和较高的串行数据处理实时性可以轻易的嵌入到其他计算机视觉任务中以提高他们的性能，不再受到计算资源的限制。
附图说明
[0031]
图1为本发明实施例中网络流程图；
[0032]
图2为本发明实施例中小波变换模块(wtm)结构图；
[0033]
图3为本发明实施例中小波变换融合模块(wtfm)结构图。
具体实施方式
[0034]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0035]
一种极度轻量级的实时显著性目标检测方法，图1是本发明技术方案的主流程图。如图1所示，包括以下步骤：
[0036]
步骤1：建立小波变换模块wtm，利用小波变换理论设计极度轻量级的显著性目标检测编码器；
[0037]
小波变换继承了傅里叶变换的优点，同时克服了其缺点。小波变换可以提供随频率变化的“时频”窗口，在分析(非)平稳信号时占据主导地位。由于小波变换的可逆性，小波变换被广泛应用于信号处理、图像处理和其他领域。因此，本实施例利用haar小波变换来实现高效的特征编码器。如图1所示；
[0038]
所述显著性目标检测编码器通过小波变换模块wtm堆积得到；如图1所示，在wtm的帮助下，提出了一种类似于resnet和vgg的显著性目标检测编码器，实现了五个级别的不同分辨率特征的输出，分辨率从高到低分别表示为f
out1
、f
out2
、f
out3
、f
out4
和f
out5
。编码器的架构非常高效，借助小波变换模块wtm的2倍下采样功能生成了多层次特征，wtm的输出分为两部分：(1)输出f
out
被用作下一个小波变换模块wtm的输入以继续特征提取；(2)子带映射x
ll
、x
lh
、x
hl
和x
hh
通过残差机制增强了解码器的解码能力。该编码器专为极度轻量级的显著性目标检测方法而设计，不需要进行模型的预训练，有效的降低了多层次特征的冗余度，且能够更准确地捕捉显著对象的深层含义。
[0039]
编码器需要对输入特征进行编码并产生多级特征，本发明受到离散小波变换dwt的分解过程的启发，提出了一种小波变换模块wtm，它将离散小波变换dwt与卷积运算相结合，以实现特征下采样。如图2所示，所述小波变换模块wtm的建立过程包括以下步骤：
[0040]
步骤s1：输入x被2d dwt分解为4个子带图，子带映射x
ll
为低频分量并表示输入x的基本特征。子带映射x
lh
、x
hl
和x
hh
为高频分量并表示输入x的细节特征(例如边缘轮廓等)。
[0041]
步骤s2：低频分量x
ll
和融合的高频分量x
high
分别通过卷积被进一步学习和提取以任务进行驱动的有用信息，融合后的低频特征f
low
和高频特征f
high
分别表示为：
[0042]flow
＝dsconv(x
ll
)
[0043]fhigh
＝dsconv(concat(x
lh
,x
hl
,x
hh
))
[0044]
其中dsconv表示深度可分离卷积，concat表示通道维度的特征级联。
[0045]
步骤s3：f
low
和f
high
通过卷积集成，其中低频和高频特征相互补充，从而形成下采样特征图(具有完整的高频和低频信息)。输出f
out
表示为：
[0046]fout
＝dsconv(f
low
+f
high
)
[0047]
步骤2：建立小波变换融合模块wtfm，利用小波变换理论设计极度轻量级的显著性目标检测解码器；
[0048]
所述显著性目标检测解码器通过小波变换模块wtfm堆积得到；
[0049]
由于小波变换是可逆的，离散小波逆变换idwt就是dwt的逆运算。由于解码器需要对编码器生成的多级特征进行解码，因此利用小波变换理论实现高质量的上采样和融合操作。为此，提出了一种小波变换融合模块wtfm，解码器通过小波变换模块wtfm堆积得到，通过wtfm的级联搭建了高效的解码器，如图3所示，所述小波变换融合模块wtfm的建立过程包
括以下步骤：
[0050]
步骤d1：对输入x
in
(具有完整的频率特性)进行上采样操作后进行离散小波变换dwt，实现了输入特征的低频和高频特征解。该操作不仅可以利用残差结构实现与多频特征输入的匹配，还可以通过上采样操作提高网络的抗干扰能力。离散小波变换dwt的高频特征g
ll
和低频特征g
hl
、g
hl
和g
hh
的输出分别表示为：
[0051]gll
,g
hl
,g
hl
,g
hh
＝dwt[up(dsconv(x
in
))]
[0052]
步骤d2：编码器阶段、解码器阶段和第一阶段的上采样操作会引入一些不确定因素(比如插值不准确)，所以之前的特征通过残差机制在频率层面增强当前特征；增强特征e
ll
、e
hl
、e
hl
和e
hh
表示为：
[0053]ei
＝dsconv(gi+xi),i＝{ll,hl,lh,hh}
[0054]
步骤d3：得益于小波变换的可逆性，低频e
ll
分量和高频e
hl
、e
hl
和e
hh
的融合分量经过离散小波逆变换idwt处理后得到上采样特征g
out
：
[0055]gout
＝idwt(e
ll
.e
hl
.e
lh
,e
hh
)
[0056]
如图1所示，本专利提出了一种适用于编码器的解码器，采用了与编码器结构不对称的解码器结构。这种非对称解码结构既可以保持网络性能，又可以控制网络参数(少用一个wtfm来单独解码f
out4
的特征)。使用wtfm和残差机制，所提出的解码器可以很好地解码编码器产生的信息量有限的编码特征，并输出预期的显著图。
[0057]
由于整体网络架构设计的优越性，本专利只使用二元交叉熵(bce)和交集并集(iou)的混合损失函数来优化像素和对象级别的网络便获得了优越的性能。
[0058]
步骤3：建立显著性目标检测模型；
[0059]
所述显著性目标检测模型为，通过级联小波变换模块wtm和级联小波变换融合模块wtfm构建编码器以及解码器，然后建立“编码器-解码器”架构；
[0060]
步骤4：使用摄像头进行图像采集，完成实时显著性目标检测；
[0061]
将采集到的rgb图像逐帧传输到显著性目标检测模型中，通过离散小波变换和卷积操作，即wtm和wtfm完成特征在频域和时域上的交互融合，输出显著性目标的掩码图，实现了以像素级别对动态目标进行检测与分割。
[0062]
显著性目标检测模型对无人驾驶领域中的视觉信息进行实时处理，高效的以像素级别对周围环境中的动态目标(人和车辆等)进行检测与分割，同时对于小目标也实现了较高的检测精度，有效的提高无人驾驶汽车对周围环境感知的准确度和鲁棒性，并且该模型可以轻易的加入到资源有限的设备之中，达到了即插即用的效果。
[0063]
为了验证本方法能够实现在轻量化、准确性和实时性三者之间的较好权衡，本发明分别在duts-te、dut-omron、ecssd、pascal-s、hku-is五个数据集上进行了测试，实验设备平台为nvidia rtx3090 gpu和intel(r)xeon(r)platinum 8260c cpu@2.30ghz。本发明的模型凭借76k的模型参数、0.38g的floating-point operations(flops)和gpu:70(cpu：19)fps的轻量化指标性能在duts-te、dut-omron、ecssd、pascal-s、hku-is五个数据集上的m-fmeasure(精度和召回的加权组合)指标分别为0.696、0.669、0.858、0.746、0.850，mae(平均绝对误差)指标分别为0.075、0.083、0.061、0.102、0.051,可见我们的算法在不同复杂度的环境下均展现出了较好的检测性能，与此同时76k的模型参数和0.38g的flops指标使得模型可以轻易的嵌入到其他的视觉任务中，而且也不增加计算负担。同时在gpu上和
cpu上的高实时性也保证了模型的效率。
[0064]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种极度轻量级的实时显著性目标检测方法，其特征在于，包括以下步骤：步骤1：建立小波变换模块wtm，利用小波变换理论设计极度轻量级的显著性目标检测编码器；步骤2：建立小波变换融合模块wtfm，利用小波变换理论设计极度轻量级的显著性目标检测解码器；步骤3：建立显著性目标检测模型；步骤4：使用摄像头进行图像采集，完成实时显著性目标检测。2.根据权利要求1所述的一种极度轻量级的实时显著性目标检测方法，其特征在于，步骤1中所述显著性目标检测编码器通过小波变换模块wtm堆积得到；显著性目标检测编码器实现了五个级别的不同分辨率特征的输出，分辨率从高到低分别表示为f
out1
、f
out2
、f
out3
、f
out4
和f
out5
；借助小波变换模块wtm的2倍下采样功能生成了多层次特征，wtm的输出分为两部分：(1)输出f
out
被用作下一个小波变换模块wtm的输入以继续特征提取；(2)子带映射x
ll
、x
lh
、x
hl
和x
hh
通过残差机制增强了解码器的解码能力。3.根据权利要求1所述的一种极度轻量级的实时显著性目标检测方法，其特征在于，步骤1中所述小波变换模块wtm的建立过程包括以下步骤：步骤s1：输入x被2d dwt分解为4个子带图，子带映射x
ll
为低频分量并表示输入x的基本特征；子带映射x
lh
、x
hl
和x
hh
为高频分量并表示输入x的细节特征；步骤s2：低频分量x
ll
和融合的高频分量x
high
分别通过卷积被进一步学习和提取以任务进行驱动的有用信息，融合后的低频特征f
low
和高频特征f
high
分别表示为：f
low
＝dsconv(x
ll
)f
high
＝dsconv(concat(x
lh
,x
hl
,x
hh
))其中dsconv表示深度可分离卷积，concat表示通道维度的特征级联；步骤s3：f
low
和f
high
通过卷积集成，其中低频和高频特征相互补充，从而形成下采样特征图；输出f
out
表示为：f
out
＝dsconv(f
low
+f
high
)。4.根据权利要求1所述的一种极度轻量级的实时显著性目标检测方法，其特征在于，步骤2中所述显著性目标检测解码器通过小波变换模块wtfm堆积得到。5.根据权利要求1所述的一种极度轻量级的实时显著性目标检测方法，其特征在于，步骤2中所述小波变换融合模块wtfm的建立过程包括以下步骤：步骤d1：对输入x
in
进行上采样操作后进行离散小波变换dwt，离散小波变换dwt的高频特征g
ll
和低频特征g
hl
、g
hl
和g
hh
的输出分别表示为：g
ll
,g
hl
,g
hl
,g
hh
＝dwt[up(dsconv(x
in
))]步骤d2：通过残差机制在频率层面增强当前特征；增强特征e
ll
、e
hl
、e
hl
和e
hh
表示为：e
i
＝dsconv(g
i
+x
i
),i＝{ll,hl,lh,hh}步骤d3：低频e
ll
分量和高频e
hl
、e
hl
和e
hh
的融合分量经过离散小波逆变换idwt处理后得到上采样特征g
out
：g
out
＝idwt(e
ll
.e
hl
.e
lh
,e
hh
)。6.根据权利要求1所述的一种极度轻量级的实时显著性目标检测方法，其特征在于，步骤3中所述显著性目标检测模型为，通过级联小波变换模块wtm和级联小波变换融合模块
wtfm构建编码器以及解码器，然后建立“编码器-解码器”架构。7.根据权利要求1所述的一种极度轻量级的实时显著性目标检测方法，其特征在于，所述步骤4具体为：将采集到的rgb图像逐帧传输到显著性目标检测模型中，通过离散小波变换和卷积操作，即wtm和wtfm完成特征在频域和时域上的交互融合，输出显著性目标的掩码图，实现了以像素级别对显著性目标进行检测与分割。

技术总结
本发明提供一种极度轻量级的实时显著性目标检测方法，涉及目标检测技术领域。本发明首先提出了一种新颖的小波变换模块WTM，它通过融合小波变换理论和CNN实现特征下采样。通过WTM的级联构建编码器，使用有限的参数实现高质量的多级编码，同时无需进行预训练操作。然后提出了一种新颖的小波变换融合模块WTFM，它可以通过小波变换、CNN和一种残差机制实现特征上采样和融合操作。通过WTFM级联构建解码器，实现高质量解码，最终只需要通过常规的BCE+IOU混合损失函数就可以实现模型的高质量训练。该发明凭借其极度轻量化程度、较好的准确率和较高的串行数据处理实时性可以轻易的嵌入到其他计算机视觉任务中以提高他们的性能，不再受到计算资源的限制。不再受到计算资源的限制。不再受到计算资源的限制。


技术研发人员：张云洲 王震宇 暴吉宁 赵新歌
受保护的技术使用者：东北大学
技术研发日：2023.04.21
技术公布日：2023/7/22