基于掩码可分离注意力机制的伪装目标分割方法及系统

1.本发明属于图像处理技术领域，尤其涉及基于掩码可分离注意力机制的伪装目标分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.近年来，深度学习算法给伪装目标检测任务带来了快速的发展；然而，伪装目标与其周围背景的高度相似性，令伪装目标检测相较于传统的目标检测更具挑战性；因此，为了提升对伪装目标的检测精度，近年来出现很多使用更为复杂的深度学习技术来解决这一问题的方法；在伪装目标检测的训练中，使用像素级的标注作为监督来训练网络；早期传统的伪装目标检测提取伪装目标和背景间的手工特征来进行预测，仅能处理较为简单的场景；后来基于卷积神经网络的方法成为了主流，分为三个类别：多尺度特征融合、多阶段训练与检测和多任务协同训练；多尺度特征融合，mingchengzhuge等在“cubenet:x-shape connection for camouflaged object detection”结合注意力融合以及x型连接来有效聚合多层级特征；youwei pang等在“zoom in and out:a mixed-scale triplet network for camouflaged object detection”输入三个不同尺度的图片，分别在不同尺度上处理，之后按中间尺度聚合特征，之后将特征进行分组交互融合；多阶段训练与检测，deng-ping fan等在“camouflaged object detection”中提出先定位目标再进行检测来优化模型性能；qijia等在“segment,magnify and reiterate:detecting camouflaged objects the hard way”构建了一个多阶段训练与检测的框架，定位到目标后进一步放大再逐步检测伪装目标；miao zhang等在“preynet:preying on camouflaged objects”中模仿捕食过程，将伪装目标的检测过程分为初始检测和捕食者学习，据此增加对于伪装目标的捕捉能力；deng-ping fan等在“concealed object detection”采用分组反转注意力和周围连接解码器提高了性能；多任务协同训练，aixuan li在“uncertainty-aware joint salient object and camouflaged object detection”通过显著目标与伪装目标的对比来同时提升模型在两个任务上的性能；yunqiulv等人在“simultaneously localize,segment and rank the camouflaged objects”中组合伪装排名和伪装目标检测来构建联合训练框架。
4.近来，随着transformer在视觉任务中的飞速发展，基于transformer的方法变得越来越流行；与传统的卷积神经网络方法相比，transformer能够有效地编码全局信息，因此在大量的视觉任务中广泛应用；在伪装目标检测中基于transformer的方法成为了一种新的趋势；在transformer框架下，fan yang等人在“uncertainty-guided transformer reasoning for camouflaged object detection”明确利用概率表示模型来学习伪装对象的不确定性，以此提升对于目标的分割质量；zhengyi liu等在“boosting camouflaged object detection with dual-task interactive transformer.”中设计了一个双任务交互式transformer来分割伪装的物体及其详细信息边界，来同时提升两个任务上的检测精
度；qiao zhang等在“tprnet:camouflaged object detection via transformer-induced progressive refinement network”提出了一种基于transfomer的渐进细化网络，它利用来自高级特征的语义信息来指导检测伪装目标；此外，在基于transformer的框架下，xuelian cheng等在“implicit motion handling for video camouflaged object detection.”利用短期动态和长期时间一致性来捕获动态视频中的伪装对象。
5.上述方法均把细化注意力图像的任务放在全局的视角下完成，存在的问题是：现有方法不加区分得地处理前景与背景信息，而在伪装目标检测的场景中，周围背景往往与目标高度相似，这令网络难以从高度相似的背景中区分出伪装目标；因此，亟需一种分别处理前景与背景信息的伪装目标检测方法，提高伪装目标分割的精准性。


技术实现要素：

6.为克服上述现有技术的不足，本发明提供了基于掩码可分离注意力机制的伪装目标分割方法及系统，设置掩码可分离注意力机制，利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，前景和背景注意力分别关注前景和背景区域，全局注意力机制提取全局信息，再利用前景注意力分数在全局信息中发现伪装对象，利用背景注意力确定背景，进而分割出精确的伪装目标。
7.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
8.本发明第一方面提供了基于掩码可分离注意力机制的伪装目标分割方法；
9.基于掩码可分离注意力机制的伪装目标分割方法，包括：
10.构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练；
11.利用训练好的编码器对输入图像进行编码，得到初始特征；
12.将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割；
13.在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；
14.其中，所述掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分。
15.进一步的，所述掩码可分离注意力机制，是利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，分别提取前景区域信息、背景区域信息和全局信息。
16.进一步的，所述对初始分割进行渐进式地优化分割，具体为：
17.将前一个生成的中间分割作为掩码来将前景注意力和背景注意力限制在前景和背景上，结合全局信息以及更大分辨率的特征来生成下一个中间分割，重复上述过程，最后生成最终的伪装目标分割结果。
18.进一步的，所述解码器中，采用元素乘法及加和连接的特征融合方式。
19.进一步的，所述对伪装目标分割模型进行训练，是采用图像的真实标注监督中间分割和最终分割的训练，直到满足训练停止条件。
20.本发明第二方面提供了一种对分割质量的评价方法。
21.一种对分割质量的评价方法，用于对第一方面提供的基于掩码可分离注意力机制的伪装目标分割方法的分割质量的评价，包括：
22.从图像的真实标注中提取目标的边缘，得到边缘区域；
23.在边缘区域内进行真实标注和预测间的平均绝对误差和f-measure两个指标的计算，将得到的指标值作为分割质量的评价结果。
24.进一步的，所述得到边缘区域，具体为：用边缘搜索方法在真实标注上确定目标的边缘，再利用扩张操作将边缘扩张为边缘区域。
25.本发明第三方面提供了基于掩码可分离注意力机制的伪装目标分割系统。
26.基于掩码可分离注意力机制的伪装目标分割系统，包括模型构建模块、图像编码模块、初始分割模块和优化分割模块：
27.模型构建模块，被配置为：构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练；
28.图像编码模块，被配置为：利用训练好的编码器对输入图像进行编码，得到初始特征；
29.初始分割模块，被配置为：将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割；
30.优化分割模块，被配置为：在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；
31.其中，所述掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分。
32.本发明第四方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于掩码可分离注意力机制的伪装目标分割方法中的步骤。
33.本发明第五方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于掩码可分离注意力机制的伪装目标分割方法中的步骤。
34.以上一个或多个技术方案存在以下有益效果：
35.本发明设计了掩码可分离注意力机制，其中背景和前景注意力用于分别获取前背景区域信息，而全局注意力提取全局信息，模型通过在全局信息中捕捉前背景信息来增强对于前背景的分辨能力，进而生成精准的伪装目标分割。
36.本发明通过融合不同的注意力，深入发掘图像中的前背景线索，通过在全局特征中捕捉前景和背景信息，促使模型对于前背景有着强大的分辨能力，所提出的掩码可分离注意力在各种分割任务上都能发挥作用。
37.本发明通过生成边缘区域掩码，来在进行两种边缘区域限定的指标计算，进而评价方法在边缘上的分割效果。
38.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
39.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
40.图1为第一个实施例的方法流程图。
41.图2为第一个实施例的伪装目标分割模型结构图。
42.图3为第一个实施例掩码可分离注意力机制中前景注意力的示意图。
43.图4为第一个实施例掩码可分离注意力操作msa的示意图。
44.图5为第一个实施例的伪装目标分割效果图。
45.图6为第一个实施例的息肉分割效果图。
46.图7为第二个实施例的方法流程图。
47.图8是第二个实施例的扩张操作示意图。
48.图9是第二个实施例的部分图像及其标注、边缘、边缘区域的示意图。
49.图10为第三个实施例的系统结构图。
具体实施方式
50.下面结合附图与实施例对本发明作进一步说明。
51.实施例一
52.本实施例公开了基于掩码可分离注意力机制的伪装目标分割方法；
53.如图1所示，基于掩码可分离注意力机制的伪装目标分割方法，包括：
54.步骤s101：构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练。
55.伪装目标分割模型的结构，如图2所示，由编码器和解码器构成，编码器编码输入图像，提取多层级的初始特征，解码器利用多层级的初始特征生成一个粗略的初始分割，之后利用这个初始分割作为掩码，使用掩码可分离注意力机制，分别提取前景信息和背景信息，并在全局信息中检索目标，再融合多尺度的特征，渐进式地优化分割结果。
56.构建训练样本集对伪装目标分割模型进行训练，训练样本集包括图像及图像的真实标注，伪装目标分割模型以图像为输入、图像的分割结果为输出，在训练的过程中，用图像的真实标注监督中间分割和最终分割，直到满足训练停止条件。
57.这里的训练停止条件，可以用损失函数表征的误差来判断，也可以用实施例二公开的一种对分割质量的评价方法得到的评价结果来判断。
58.步骤s102：利用训练好的编码器对输入图像进行编码，得到初始特征。
59.如图2中所示的编码器，基于骨干网络构建，本实施例采用作为骨干网络之一的transformer来提取初始特征，编码器由堆叠的4个transformer和1个卷积模块组成。
60.将原始图像i∈rh×w×3，输入到编码器中，首先通过4个transformer的下采样生成4个多层级的特征，表示为然后通过卷积模块对特征e2、e3、e4矩阵合并后的结果进行卷积，生成特征e5，特征e5对图像内容具有更为全面的理解，最后再利用e5去增强e2到e4，编码器输出特征
61.步骤s103：将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割。
62.步骤s104：在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果。
63.在解码器中，伪装目标的初始分割p5由e5通过一层卷积操作生成，采用渐进的方式对初始分割进行优化分割，优化分割分为四个阶段，每个阶段使用掩码可分离注意力机制来增强模型对于前景和背景的区分能力，其中，第一阶段的特征融合表示为：
64.d4＝msa(e5)
·fup
(e4)+f
up
(e4)
ꢀꢀꢀꢀ
(1)
65.其中，msa(
·
)表示掩码可分离注意力操作，f
up
(
·
)表示用于形状匹配的上采样操作，后面三个阶段的特征融合表示为：
66.di＝f
up
(msa(d
i+1
))
·ei
+eiꢀꢀꢀꢀꢀ
(2)
67.本实施例采用元素乘法及矩阵加和的特征融合方式，具体为：先计算特征之间的逐元素乘积，然后使用加和；相比于使用元素求和操作或合并操作来融合来自不同特征级别的特征的现有方法，本实施例的特征融合方法会带来0.2％的相对提升。
68.每个阶段的分割是由本阶段生成的特征融合通过一层卷积操作生成，也就是说，中间分割pi(i＝4、3、2)和最终的伪装目标分割结果p1分别是由特征融合di(i＝4、3、2)和d1通过一层卷积操作生成。
69.掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分，具体为：利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，分别提取前景区域信息、背景区域信息和全局信息；将前一个生成的中间分割作为掩码来将前景注意力和背景注意力限制在前景和背景上，结合全局信息以及更大分辨率的特征来生成下一个中间分割，重复上述过程，最后生成最终的伪装目标分割结果。
70.掩码可分离注意力机制利用不同的头来负责不同的功能，分别感知前景和背景信息，并在全局进行比对，能够更好地区分目标。本实施例采用自注意力机制的轻量级变体multi-dconv head transposed attention,简写为ta，可表示为：
[0071][0072]
其中，q,k,v是查询矩阵query关键词矩阵key和价值矩阵value，t是矩阵转置操作，α是一个训练过程中可学习的参数。
[0073]
图3给出了掩码可分离注意力机制中的前景注意力(f-ta)，其定义为：
[0074][0075]
其中，αf是一个训练过程中可学习的参数，qf、kf、vf是前景注意力的查询矩阵query、关键词矩阵key和价值矩阵value，是由输入d分别通过三组不同的两层卷积得到的，之后将同一阶段的中间分割作为前景掩码mf，对qf和kf进行遮盖。
[0076]
相似的，给定背景掩码mb＝1-mf，mf中的数值是由0和1组成的，1-mf就是对前景数值进行反转，即取反，得到背景掩码mb；经过背景掩码mb的遮盖，背景注意力会更加关注背景区域，因此，背景注意力(b-ta)表示为：
[0077][0078]
其中，αb是一个训练过程中可学习的参数，qb、kb、vb是背景注意力的查询矩阵query、关键词矩阵key和价值矩阵value，是由输入d分别通过三组不同的两层卷积得到的，之后会对qb和kb使用背景掩码mb进行遮盖。
[0079]
掩码可分离注意力操作msa(
·
)，如图4所示，是将前景注意力、背景注意力和全景注意力这三组不同注意力机制生成的特征进行合并，再经过一个卷积操作进行特征融合；图5展示了部分分割效果图。
[0080]
本实施例的分割方法可扩展到各种分割任务上，包括但不限于：息肉分割、透明物体分割、语义分割；以息肉分割为例，图6展示了息肉分割效果图。
[0081]
实施例二
[0082]
本实施例公开了一种对分割质量的评价方法。
[0083]
如图7所示，一种对分割质量的评价方法，用于对实施例一公开的基于掩码可分离注意力机制的伪装目标分割方法的分割质量的评价，包括：
[0084]
步骤s701：从图像的真实标注中提取目标的边缘，得到边缘区域。
[0085]
边界通过二值图像的边缘搜索算法确定，再利用扩张操作将边缘
[0086]
∈{0,1}h×w扩张为边缘区域br∈{0,1}h×w，图8展示了扩张操作的示意图，图9展示了边缘以及边缘区域(不同扩张核大小)的示意图，在点(i，j)扩张操作可定义为：
[0087]
br(i,j)＝max(b((i,j),r))
ꢀꢀꢀꢀꢀ
(6)
[0088]
其中，r为扩张操作的核大小，边缘区域的大小取决于扩张操作的核大小r。
[0089]
步骤s702：在边缘区域内进行真实标注和预测间的平均绝对误差和f-measure两个指标的计算，将得到的指标值作为分割质量的评价结果。
[0090]
两个指标分别为边缘区域限定的平均绝对误差(br-m)和边缘区域限定的f-measure(br-f)，可以评价模型在边缘区域上的表现。
[0091]
平均绝对误差(br-m)定义为：
[0092][0093]
其中，p和g是预测结果和图像的真实标注，br是边缘区域，p、g和br都是h*w分辨率的图片，br中属于边缘区域位置的点设为1，其他为0；|p-g|是p与g的绝对值差，|p-g|与br相乘后在h*w上求和，得到一个数字，分母则是表明br区域的面积。
[0094]
边缘区域限定的f-measure(br-f)，是在边界区域内计算准确率和召回率，br-f定义为：
[0095][0096]
其中，precision
br
是边界区域上分割的准确率，recall
br
是边界区域上的召回率，β是权衡准确率与召回率的一个指标，常设置为1，以上两个指标可以很好地反映分割结果在边界区域的分割效果。
[0097]
实施例三
[0098]
本实施例公开了基于掩码可分离注意力机制的伪装目标分割系统；
[0099]
如图10所示，基于掩码可分离注意力机制的伪装目标分割系统，包括模型构建模块、图像编码模块、初始分割模块和优化分割模块：
[0100]
模型构建模块，被配置为：构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练；
[0101]
图像编码模块，被配置为：利用训练好的编码器对输入图像进行编码，得到初始特征；
[0102]
初始分割模块，被配置为：将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割；
[0103]
优化分割模块，被配置为：在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；
[0104]
其中，所述掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分。
[0105]
实施例四
[0106]
本实施例的目的是提供计算机可读存储介质。
[0107]
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的基于掩码可分离注意力机制的伪装目标分割方法中的步骤。
[0108]
实施例五
[0109]
本实施例的目的是提供电子设备。
[0110]
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的基于掩码可分离注意力机制的伪装目标分割方法中的步骤。
[0111]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，包括：构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练；利用训练好的编码器对输入图像进行编码，得到初始特征；将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割；在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；其中，所述掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分。2.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述掩码可分离注意力机制，是利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，分别提取前景区域信息、背景区域信息和全局信息。3.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述对初始分割进行渐进式地优化分割，具体为：将前一个生成的中间分割作为掩码来将前景注意力和背景注意力限制在前景和背景上，结合全局信息以及更大分辨率的特征来生成下一个中间分割，重复上述过程，最后生成最终的伪装目标分割结果。4.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述解码器中，采用元素乘法及加和连接的特征融合方式。5.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述对伪装目标分割模型进行训练，是采用图像的真实标注监督中间分割和最终分割的训练，直到满足训练停止条件。6.一种对分割质量的评价方法，其特征在于，用于对如权利要求1-5任一项所述的基于掩码可分离注意力机制的伪装目标分割方法的分割质量的评价，包括如下步骤：从图像的真实标注中提取目标的边缘，得到边缘区域；在边缘区域内进行真实标注和预测间的平均绝对误差和f-measure两个指标的计算，将得到的指标值作为分割质量的评价结果。7.如权利要求1所述的基于掩码可分离注意力机制的伪装目标分割方法，其特征在于，所述得到边缘区域，具体为：用边缘搜索方法在真实标注上确定目标的边缘，再利用扩张操作将边缘扩张为边缘区域。8.基于掩码可分离注意力机制的伪装目标分割系统，其特征在于，包括模型构建模块、图像编码模块、初始分割模块和优化分割模块：模型构建模块，被配置为：构建由编码器和解码器构成的伪装目标分割模型，并对伪装目标分割模型进行训练；图像编码模块，被配置为：利用训练好的编码器对输入图像进行编码，得到初始特征；初始分割模块，被配置为：将初始特征输入到训练好的解码器中解码，生成伪装目标的初始分割；优化分割模块，被配置为：在训练好的解码器中，基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；其中，所述掩码可分离注意力机制，是使用不同的注意力关注图像的不同部分。9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如
权利要求1-5任一项所述的基于掩码可分离注意力机制的伪装目标分割方法中的步骤。10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的基于掩码可分离注意力机制的伪装目标分割方法中的步骤。

技术总结
本发明提出了基于掩码可分离注意力机制的伪装目标分割方法及系统，涉及图像处理技术领域，具体方案包括：构建伪装目标分割模型，并对伪装目标分割模型进行训练；利用编码器对输入图像进行编码，得到初始特征；将初始特征输入到解码器中解码，生成伪装目标的初始分割；基于掩码可分离注意力机制，对初始分割进行渐进式地优化分割，得到最终的伪装目标分割结果；本发明设置掩码可分离注意力机制，利用掩码将注意力机制分为前景注意力、背景注意力以及全局注意力，前景和背景注意力分别关注前景和背景区域，全局注意力机制提取全局信息，再利用前景注意力分数在全局信息中发现伪装对象，利用背景注意力确定背景，进而分割出精确的伪装目标。的伪装目标。的伪装目标。


技术研发人员：尹博文 侯淇彬 张旭迎 范登平 程明明
受保护的技术使用者：南开大学
技术研发日：2022.12.05
技术公布日：2023/7/22