一种图像处理方法、系统及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法、系统及装置。


背景技术：

2.道路裂缝修复是道路病害治理的任务之一，及时修复破损的道路，能有效的降低交通事故发生的概率和防止道路破损进一步扩大，保障车辆的行驶安全和降低道路养护成本。修复破损道路的第一步是先检测道路破损，由于交通道路中，通常会有很多监控摄像头，基于监控摄像头的道路裂缝检测方法可以实时对产生的道路裂缝发出预警，对于道路交通安全和道路养护具有极其重要的意义。但目前的检测技术采用的检测模型单一，无法对于多个相关的输入建立起相关性，难以应对道路裂缝检测的复杂性，容易出现漏检、误检，导致检测精度不高。


技术实现要素：

3.本技术实施例提供了一种图像处理方法、系统及装置，用以结合图像特征之间的局部依赖关系和远距离依赖关系，实现强化目标图像特征，提高图像处理的效率以及准确性。
4.本技术实施例提供的一种图像处理方法，包括：
5.按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；其中，同一个所述子特征图中包含的元素为所述第一特征图中的非相邻元素；
6.根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；
7.对所述第二特征图进行卷积处理，得到第三特征图；
8.基于所述第三特征图，对所述待处理图像执行目标图像处理任务。
9.通过该方法，按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；其中，同一个所述子特征图中包含的元素为所述第一特征图中的非相邻元素；根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；对所述第二特征图进行卷积处理，得到第三特征图；基于所述第三特征图，对所述待处理图像执行目标图像处理任务，从而可以结合图像特征之间的局部依赖关系和远距离依赖关系，强化目标图像特征，提高图像处理的效率以及准确性。
10.在一些实施例中，所述按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，包括：
11.采用预设滑动窗口在待处理图像的第一特征图上按照预设滑动步长进行滑动并选取元素，利用所述滑动窗口选取到的元素生成至少一个子特征图。
12.通过该方法，实现从第一特征图不同区域选取元素组成子特征图，为后续建立图
像特征之间的远距离依赖关系做好准备。
13.在一些实施例中，所述对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图，包括：
14.针对每一所述子特征图：
15.通过第一卷积层对所述子特征图进行卷积处理，得到第一特征矩阵，并且，通过第二卷积层对所述子特征图进行卷积处理，得到第二特征矩阵；
16.对所述第一特征矩阵进行转置，并将转置后的第一特征矩阵与所述第二特征矩阵进行矩阵运算，得到注意力权重矩阵；
17.对所述注意力权重矩阵进行归一化处理，并利用归一化处理后的矩阵与所述子特征图对应的矩阵进行矩阵运算，得到所述子特征图对应的自注意特征图。
18.通过该方法，实现建立起第一特征图中各元素之间的远距离依赖关系。
19.在一些实施例中，所述根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图，包括：
20.针对所述各自注意特征图中的每一元素，根据该元素对应所述第一特征图的位置，将该元素进行还原，得到第二特征图。
21.通过该方法，实现第二特征图的维度与第一特征图保持一致。
22.本技术实施例提供的一种图像处理系统，包括：
23.注意力模块，用于按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；
24.卷积模块，用于对所述第二特征图进行卷积处理，得到第三特征图；
25.图像处理任务模块，用于基于所述第三特征图，对所述待处理图像执行目标图像处理任务。
26.通过该系统，实现结合图像特征之间的局部依赖关系和远距离依赖关系，强化目标图像特征，提高图像处理的效率以及准确性。
27.在一些实施例中，所述系统分为输入层、中间层和输出层；所述注意力模块分布于所述输入层、和/或中间层、和/或输出层；
28.其中，位于输入层的注意力模块所采用的预设滑动窗口每次的滑动步长，大于位于中间层的注意力模块所采用的预设滑动窗口每次的滑动步长；
29.位于中间层的注意力模块所采用的预设滑动窗口每次的滑动步长，大于位于输出层的注意力模块所采用的预设滑动窗口每次的滑动步长。
30.通过该系统，实现根据注意力模块在图像处理系统中的不同位置使用不同滑动步长，从而降低系统的计算量。
31.在一些实施例中，所述系统为道路裂缝检测系统：
32.所述图像处理任务模块，用于根据所述第三特征图，确定道路裂缝采集图像中的道路裂缝的检测信息。
33.通过该系统，实现对道路裂缝采集图像进行道路裂缝检测，得到道路裂缝的检测信息，提高道路裂缝检测的效率以及准确性。
34.本技术另一实施例提供了一种图像处理装置，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
35.此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。
36.本技术另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
37.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本技术实施例提供的一种自注意力机制改进方法的流程示意图；
39.图2为本技术实施例提供的一种特征图拆分方法的示意图；
40.图3为本技术实施例提供的一种对特征图进行自注意机制处理的流程示意图；
41.图4为本技术实施例提供的一种将自注意特征图中各元素进行元素还原的示意图；
42.图5为本技术实施例提供的一种道路裂缝检测网络的结构示意图；
43.图6为本技术实施例提供的一种道路裂缝检测方法的流程示意图；
44.图7为本技术实施力提供的一种道路采集图像的示意图；
45.图8为本技术实施例提供的一种道路裂缝检测结果示意图；
46.图9为本技术实施例提供的一种图像处理方法的流程示意图；
47.图10为本技术实施例提供的一种图像处理系统的结构示意图；
48.图11为本技术实施例提供的一种图像处理装置的结构示意图。
具体实施方式
49.下面结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
50.本技术实施例提供了一种图像处理方法、系统及装置，用以结合图像特征之间的局部依赖关系和远距离依赖关系，实现强化目标图像特征，提高图像处理的效率以及准确性。
51.其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
52.本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
53.以下示例和实施例将只被理解为是说明性的示例。虽然本说明书可能在若干处提及“一”、“一个”或“一些”示例或实施例，但这并非意味着每个这种提及都与相同的示例或实施例有关，也并非意味着该特征仅适用于单个示例或实施例。不同实施例的单个特征也可以被组合以提供其他实施例。此外，如“包括”和“包含”的术语应被理解为并不将所描述的实施例限制为仅由已提及的那些特征组成；这种示例和实施例还可以包含并未具体提及的特征、结构、单元、模块等。
54.下面结合说明书附图对本技术各个实施例进行详细描述。需要说明的是，本技术实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
55.需要说明的是，本技术实施例提供的技术方案，以道路监控设备采集的道路图像进行道路裂缝检测为例进行说明，但并不限于此。
56.下面对文中出现的一些名词进行解释：
57.1、本技术实施例中术语“元素”表示特征图上的值，对应图像中的某一区域；“相邻元素”指元素与周围的元素，即元素在特征图中的位置是相邻的，例如采用一个3*3的卷积核对特征图进行一次卷积操作，该卷积核一次处理的9个元素中，中间那个元素与它周围的8个元素就是相邻元素；“非相邻元素”指元素与相距较远的元素，即元素在特征图中的位置不相邻。
58.2、本技术实施例中术语“元素重组”指按照预设的元素选取规则，从原始特征图中选取元素，并利用选取的元素组成新特征图；“元素重组规则”指预设的元素选取规则，即采用预设滑动窗口在原始特征图上按照预设滑动步长进行滑动并选取元素。
59.3、本技术实施例中术语“远距离依赖关系”指特征图中非相邻元素之间的关联关系，例如，自注意力机制计算出来的值，受相距较远的元素影响；“局部依赖关系”指特征图中相邻元素之间的关联关系，例如，采用一个3*3的卷积核对特征图进行卷积操作，一次卷积操作计算出来的值，仅受参与本次卷积操作的9个元素影响，仅与这9个相邻元素有关。
60.道路裂缝修复是道路病害治理的任务之一，及时修复破损的道路，能有效的降低交通事故发生的概率和防止道路破损进一步扩大，保障车辆的行驶安全和降低道路养护成本。修复破损道路的第一步是先检测道路破损，由于交通道路中，通常会有很多监控摄像头，基于监控摄像头的道路裂缝检测方法可以实时对产生的道路裂缝发出预警，对于道路交通安全和道路养护具有极其重要的意义。但目前的检测技术采用的检测模型单一，无法对于多个相关的输入建立起相关性，难以应对道路裂缝检测的复杂性，容易出现漏检、误检，导致检测精度不高。
61.为了解决上述问题，本技术实施例提出了一种图像处理方法，可以应用于监控设备，通过对卷积神经网络添加自注意力机制，对输入的特征图进行自注意力机制处理，为特
征图不同区域的元素建立依赖关系，并通过卷积层进行卷积处理，为元素与周围元素建立局部依赖关系，从而可以有效地结合特征的局部信息和全局信息，得到道路裂缝的检测信息，提高检测的准确性，还能降低运算量。
62.卷积神经网络中的注意力机制是指由网络自动学习出一组权重参数，来表示某些特征的重要性，使得重要的特征在网络决策时，有更大的影响力。常见的注意力机制大致可以分为两种：一种是基于通道的注意力机制，另一种是基于空间的注意力机制。基于通道的注意力机制主要是计算出特征图中每个通道的权重，倾向于给一些高维度特征，例如目标的形状增加权重；空间注意力机制主要是计算特征图上每个元素的权重，倾向于给一些低维度特征，例如目标的纹理增加权重。在实际使用中，特征图的通道数越多，通道注意力机制所需的计算代价(即计算量)就越大；特征图的分辨率越大，空间注意力机制所需的计算代价就越大。
63.参见图1，本技术实施例提供的一种自注意力机制改进方法，具体步骤包括：
64.步骤s101、按照预设的元素选取规则，从输入的待处理图像的第一特征图上选取出至少一个元素组成特征图，得到至少一个子特征图；
65.本步骤中，例如输入一个第一特征图f，选取元素的滑动窗口大小为1*1，滑动窗口在f上的滑动步长设为s，滑动窗口从f上的左上角第一行第一个元素开始，沿着f的空间维度的宽和高方向，每滑动s个元素选取一个元素，利用每次选取到的元素组成一个特征图，从而将f拆分成多个不同的子特征图，每个子特征图上的元素来自f中的不同区域；
66.例如图2所示，假设s＝4，通道数为3，第一次选取，从f(9*9矩阵)左上角第一行第一个元素开始，沿着宽(即矩阵的行)方向向右滑动4个元素，可以选取到3个特征共计9个元素(3*3)；从第一行沿着高(即矩阵的列)方向向下滑动，滑动到第五行，同理该行可以选取到3个特征共计9个元素，滑动到第九行，也可以选取到3个特征，则本次滑动总共选取到9个特征共计27个元素(图中标1的为选中的元素所在的位置)，组成一个子特征图即右边灰色的特征图f1；第二次选取，从第一行第二个元素开始选取，第一、五、九行分别可以选取出2个特征，这样共选取出6特征共计18个元素(图中标2的为选中的元素所在位置)，组成第二个子特征图；同理，直到f上的全部元素都被选取完，从而实现将f拆分成多个子特征图，可见，得到的多个子特征图的大小可能不同。
67.需要说明的是，特殊情况下假设s＝1，一次选取到第一特征图f上全部元素组成一个子特征图，那么该子特征图就是第一特征图f本身。
68.本技术实施例中采用的自注意力机制属于空间注意力机制，空间注意力机制的计算量与特征图的分辨率大小有关。
69.根据矩阵乘法的规则，矩阵的尺寸越大，计算矩阵乘积时所需要的计算量就越大，例如，两个特征图对应的矩阵分别为t1和t2，两个矩阵的大小都为w*h，通过reshape函数将t1转换成长度为w*h的列向量，将t2转换成w*h的行向量，则t1乘以t2，需要计算(w*h)*(w*h)次乘法；若t1、t2的大小都变成2w*2h，则t1乘以t2，就需要计算(2w*2h)*(2w*2h)＝16(w*h)*(w*h)，则计算量增加了16倍。若将2w*2h的特征图切分成4份，每一份的维度仍然是w*h，需要计算(w*h)*(w*h)次乘法，4份就需要计算4(w*h)*(w*h)次乘法，相比切分之前，计算量降低了4倍。从特征图上选取元素重组子特征图的过程，就是一个切分特征图的过程，因此将f拆分成多个子特征图，得到的子特征图越多，则每个子特征图的分辨率就会越小，从而
在后续步骤中计算每个子特征图的自注意力机制时所需要的计算量就越小，即可以通过控制滑动步长s的大小来控制每个子特征图的分辨率大小，实现计算量的降低。
70.步骤s102、对步骤s101得到的每一子特征图进行自注意力机制处理；
71.本步骤中，将步骤s101得到的子特征图例如f1，例如图3所示，使用两个不同的卷积w1和w2(分别采用不同的卷积参数)，分别对子特征图f1进行卷积操作，得到特征图f2；
72.对特征图f2和f3进行维度的调整(例如通过reshape函数)，得到例如矩阵a(对应reshape后的f2)和矩阵b(对应reshape后的f3)；
73.对矩阵a进行转置操作得到矩阵a
t
，将矩阵a
t
与矩阵b进行矩阵相乘，得到注意力权重矩阵例如c；
74.将注意力权重矩阵c进行归一化操作，并将归一化处理后的矩阵c与f1对应的矩阵进行矩阵相乘，得到矩阵例如d，对矩阵d进行转置操作，得到矩阵d
t
，即自注意特征图f4；
75.子特征图f1中的每一元素都是选取自第一特征图f中不相邻位置上的元素，对f1进行自注意力机制处理后，为子特征图f1中的元素之间建立了关联关系，也就是远距离依赖关系，实现为f中相距较远的目标特征增加权重，从而能更准确地提取出目标特征。
76.步骤s103、将步骤s102中得到的每一自注意特征图中的每一元素，根据该元素对应第一特征图的位置，将该元素进行还原，得到第二特征图；
77.注意力机制要求输入与输出序列长度需一致，也就是说，输出的特征图需与输入的特征图大小一致，因此本步骤中，利用经注意力机制处理后的各子特征图(即自注意特征图)中的每一元素重新生成与第一特征图f大小一致的新特征图例如f1进行输出。具体地：
78.根据子特征图f1中每一元素的选取顺序，将自注意特征图f4中对应f1的元素，放回第一特征图f中，例如f1中左上角第一行第一个元素，来源于f左上角第一行第二个元素，则将f4中左上角第一行第一个元素放回f左上角第一行第二个元素的位置，例如图4所示，f4中标注为1的元素放回f中标注为1的位置，f4中标注为2的元素放回f中标注为2的位置，f4标注为3的元素放回f中标注为3的位置，以此类推，将f4中全部元素都放回f中，同理将其他自注意特征图上的元素全部放回到f中，从而生成一个新的特征图f1。
79.对特征图f1通过卷积层进行卷积操作，为f1中的相邻元素建立局部依赖关系，从而将该自注意力机制应用于目标检测时，可以实现结合自注意力机制建立的元素之间的远距离依赖特征以及卷积层建立的元素之间的局部依赖特征，实现强化目标特征，提高目标检测的准确性。
80.在道路裂缝检测任务中，特征图元素之间的局部依赖关系和远距离依赖关系都是非常重要的，因为道路裂缝的大小相差很大，对于一些较大的道路裂缝来说，特征之间的远距离依赖关系是非常重要的，对于一些较小的道路裂缝来说，特征之间的局部依赖关系是非常重要的。为了缓解这个问题，本技术实施例提出了一个融合了上述自注意力机制的道路裂缝检测网络。
81.参见图5，本技术实施例提供的一种道路裂缝检测网络，其中，conv2d表示二维卷积操作，o表示卷积输出特征图的通道数，k表示卷积核的尺寸，s表示卷积核滑动的间隔步长，在注意力模块中s表示滑动窗口选取元素时的滑动步长，bn表示归一化操作，relu表示激活函数。
82.所述检测网络通过在卷积神经网络的卷积层之间添加了三个注意力模块得到，每
个注意力模块都添加了上述改进的自注意力机制。所述检测网络主要包括预处理模块、3个注意力模块、6个卷积模块、图像处理任务模块，预处理模块与一个卷积模块相连，图像处理任务模块与一个卷积模块相连。其中，3个注意力模块分布于道路裂缝检测网络的输入层、中间层及输出层。当注意力模块位于所述检测网络的输入层时，由于输入层的特征图尺寸较大，为了降低计算量，可以将滑动步长s设置成6，从而可以将特征图切分成更多的子特征图，切分的越多，计算代价就降低的越多；当注意力模块位于所述检测网络的中间层时，输入的特征图经过前面多次下采样后，特征图的分辨率变小，所需要的计算量也小，可以将s设置成4；当注意力模块位于所述检测网络的输出层时，这个位置输入的特征图分辨率一般较小，不需要太多的计算量，可以将s设置成2。
83.需要说明的是，道路裂缝检测网络采用的卷积模块的数量以及各个卷积模块所使用的参数，注意力模块的数量以及选取元素所采用的滑动步长，以及各个卷积模块与注意力模块的分布顺序，可以根据耗时和性能的要求进行调整，本技术中不作任何限制，根据实际需求而定。图像处理任务模块包括分类预测与坐标预测。
84.参见图6，本技术实施例提供的一种道路裂缝检测方法，通过上述道路裂缝检测网络执行，具体步骤包括：
85.步骤s201、通过预处理模块获取监控设备采集的道路裂缝图像，并对采集图像进行尺寸调整，得到待处理图像，输出给下一模块；
86.步骤s202、通过卷积模块、注意力模块，对所述待处理图像进行多次卷积处理与注意力机制处理，提取出图像特征，并将图像特征输出给图像处理任务模块；
87.步骤s203、通过图像处理任务模块，基于所述图像特征，确定道路裂缝采集图像的道路裂缝的类别、置信度和坐标。
88.例如图7所示，为监控设备采集的道路裂缝采集图像；例如图8所示，为道路裂缝采集图像通过道路裂缝检测网络进行处理后输出的包含道路裂缝检测信息的图像，矩形框为道路裂缝检测网络识别出的道路裂缝所在位置。
89.综上所述，参见图9，本技术实施例提供的一种图像处理方法，包括：
90.步骤s301、按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；其中，同一个所述子特征图中包含的元素为所述第一特征图中的非相邻元素；
91.其中，所述元素重组规则，例如采用预设滑动窗口在原始特征图上按照预设滑动步长进行滑动并选取元素；所述第一特征图，例如上述的f；所述子特征图，例如f1；所述自注意特征图，例如上述的f4，表征所述第一特征图中非相邻元素之间的远距离依赖特征；
92.步骤s302、根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原(即上述根据每一元素对应第一特征图的位置，将每一元素还原到原来位置)，得到第二特征图；
93.其中，所述第二特征图，例如上述的f1；
94.步骤s303、对所述第二特征图进行卷积处理，得到第三特征图；
95.其中，所述第三特征图，表征所述第二特征图中相邻元素之间的局部依赖特征；
96.步骤s304、基于所述第三特征图，对所述待处理图像执行目标图像处理任务；
97.其中，所述目标图像处理任务，例如图像识别、目标检测、图像分类等；
98.通过步骤s301，实现从输入的第一特征图的不同区域选取元素组成子特征图，并通过对子特征图进行自注意力机制处理，建立起第一特征图中非相邻元素之间的远距离依赖关系。
99.为实现从第一特征图不同区域选取元素组成子特征图，在一些实施例中，所述按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，包括：
100.采用预设滑动窗口在待处理图像的第一特征图上按照预设滑动步长(例如上述s)进行滑动并选取元素，利用所述滑动窗口选取到的元素生成至少一个子特征图。
101.为建立起第一特征图中非相邻元素之间的远距离依赖关系，在一些实施例中，所述对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图，包括：
102.针对每一所述子特征图：
103.通过第一卷积层(例如上述的w1)对所述子特征图进行卷积处理，得到第一特征矩阵(例如上述的矩阵a)，并且，通过第二卷积层(例如上述的w2)对所述子特征图进行卷积处理，得到第二特征矩阵(例如上述的矩阵b)；
104.对所述第一特征矩阵进行转置，并将转置后的第一特征矩阵(例如上述的矩阵a
t
)与所述第二特征矩阵进行矩阵运算，得到注意力权重矩阵(例如上述的矩阵c)；
105.对所述注意力权重矩阵进行归一化处理，并利用归一化处理后的矩阵与所述子特征图对应的矩阵进行矩阵运算，得到所述子特征图对应的自注意特征图(例如上述的自注意特征图f4)。
106.为保持自注意力机制处理前后图像的维度一致，在一些实施例中，所述根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图，包括：
107.针对所述各自注意特征图中的每一元素，根据该元素对应所述第一特征图的位置，将该元素进行还原，得到第二特征图(例如上述的特征图f1)。
108.参见图10，本技术实施例提供的一种图像处理系统，包括：
109.注意力模块100，用于按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；
110.卷积模块200，用于对所述第二特征图进行卷积处理，得到第三特征图；
111.图像处理任务模块300，用于基于所述第三特征图，对所述待处理图像执行目标图像处理任务。
112.为降低图像处理系统的计算量，在一些实施例中，所述系统分为输入层、中间层和输出层；所述注意力模块分布于所述输入层、和/或中间层、和/或输出层；
113.其中，位于输入层的注意力模块所采用的预设滑动窗口每次的滑动步长(例如s＝6)，大于位于中间层的注意力模块所采用的预设滑动窗口每次的滑动步长；
114.位于中间层的注意力模块所采用的预设滑动窗口每次的滑动步长(例如s＝4)，大于位于输出层的注意力模块所采用的预设滑动窗口每次的滑动步长(例如s＝2)。
115.为提高道路裂缝检测的准确性，在一些实施例中，所述系统为道路裂缝检测系统：
116.所述图像处理任务模块300，具体用于根据所述第三特征图，确定道路裂缝采集图像中的道路裂缝的检测信息(例如上述的道路裂缝类别、置信度和裂缝坐标)。
117.下面介绍一下本技术实施例提供的设备或装置，其中与上述方法中所述的相同或相应的技术特征的解释或举例说明，后续不再赘述。
118.参见图11，本技术实施例提供的一种图像处理装置，该装置可以内置于监控设备，也可以独立于监控设备之外，包括：
119.处理器600，用于读取存储器620中的程序，执行下列过程：
120.按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；其中，同一个所述子特征图中包含的元素为所述第一特征图中的非相邻元素；
121.根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；
122.对所述第二特征图进行卷积处理，得到第三特征图；
123.基于所述第三特征图，对所述待处理图像执行目标图像处理任务。
124.在一些实施例中，所述按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，包括：
125.采用预设滑动窗口在待处理图像的第一特征图上按照预设滑动步长进行滑动并选取元素，利用所述滑动窗口选取到的元素生成至少一个子特征图。
126.在一些实施例中，所述对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图，包括：
127.针对每一所述子特征图：
128.通过第一卷积层对所述子特征图进行卷积处理，得到第一特征矩阵，并且，通过第二卷积层对所述子特征图进行卷积处理，得到第二特征矩阵；
129.对所述第一特征矩阵进行转置，并将转置后的第一特征矩阵与所述第二特征矩阵进行矩阵运算，得到注意力权重矩阵；
130.对所述注意力权重矩阵进行归一化处理，并利用归一化处理后的矩阵与所述子特征图对应的矩阵进行矩阵运算，得到所述子特征图对应的自注意特征图。
131.在一些实施例中，所述根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图，包括：
132.针对所述各自注意特征图中的每一元素，根据该元素对应所述第一特征图的位置，将该元素进行还原，得到第二特征图。
133.在一些实施例中，本技术实施例提供的图像处理装置还包括收发机610，用于在处理器600的控制下接收和发送数据。
134.其中，在图11中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。
135.在一些实施例中，本技术实施例提供的图像处理装置还包括用户接口630，用户接口630可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
136.处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
137.在一些实施例中，处理器600可以是cpu(中央处埋器)、asic(application specific integrated circuit，专用集成电路)、fpga(field－programmable gate array，现场可编程门阵列)或cpld(complex programmable logic device，复杂可编程逻辑器件)。
138.本技术实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)等。该计算设备可以包括中央处理器(center processing unit，cpu)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(liquid crystal display，lcd)、阴极射线管(cathode ray tube，crt)等。
139.存储器可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器提供存储器中存储的程序指令和数据。在本技术实施例中，存储器可以用于存储本技术实施例提供的任一所述方法的程序。
140.处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本技术实施例提供的任一所述方法。
141.本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的任一所述方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
142.本技术实施例提供了一种计算机可读存储介质，用于储存为上述本技术实施例提供的装置所用的计算机程序指令，其包含用于执行上述本技术实施例提供的任一方法的程序。所述计算机可读存储介质，可以是非暂时性计算机可读介质。
143.所述计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
144.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
145.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
146.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
147.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
148.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；其中，同一个所述子特征图中包含的元素为所述第一特征图中的非相邻元素；根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；对所述第二特征图进行卷积处理，得到第三特征图；基于所述第三特征图，对所述待处理图像执行目标图像处理任务。2.根据权利要求1所述的方法，其特征在于，所述按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，包括：采用预设滑动窗口在待处理图像的第一特征图上按照预设滑动步长进行滑动并选取元素，利用所述滑动窗口选取到的元素生成至少一个子特征图。3.根据权利要求1所述的方法，其特征在于，所述对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图，包括：针对每一所述子特征图：通过第一卷积层对所述子特征图进行卷积处理，得到第一特征矩阵，并且，通过第二卷积层对所述子特征图进行卷积处理，得到第二特征矩阵；对所述第一特征矩阵进行转置，并将转置后的第一特征矩阵与所述第二特征矩阵进行矩阵运算，得到注意力权重矩阵；对所述注意力权重矩阵进行归一化处理，并利用归一化处理后的矩阵与所述子特征图对应的矩阵进行矩阵运算，得到所述子特征图对应的自注意特征图。4.根据权利要求1所述的方法，其特征在于，所述根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图，包括：针对所述各自注意特征图中的每一元素，根据该元素对应所述第一特征图的位置，将该元素进行还原，得到第二特征图。5.一种图像处理系统，其特征在于，包括：注意力模块，用于按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；用于根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；卷积模块，用于对所述第二特征图进行卷积处理，得到第三特征图；图像处理任务模块，用于基于所述第三特征图，对所述待处理图像执行目标图像处理任务。6.根据权利要求5所述的系统，其特征在于，所述系统分为输入层、中间层和输出层；所述注意力模块分布于所述输入层、和/或中间层、和/或输出层；其中，位于输入层的注意力模块所采用的预设滑动窗口每次的滑动步长，大于位于中间层的注意力模块所采用的预设滑动窗口每次的滑动步长；位于中间层的注意力模块所采用的预设滑动窗口每次的滑动步长，大于位于输出层的注意力模块所采用的预设滑动窗口每次的滑动步长。
7.根据权利要求5所述的系统，其特征在于，所述系统为道路裂缝检测系统：所述图像处理任务模块，具体用于根据所述第三特征图，确定道路裂缝采集图像中的道路裂缝的检测信息。8.一种图像处理装置，其特征在于，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。9.一种用于计算机的计算机程序产品，其特征在于，包括软件代码部分，当所述产品在所述计算机上运行时，所述软件代码部分用于执行根据权利要求1至4中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至4任一项所述的方法。

技术总结
本申请公开了一种图像处理方法、系统及装置，用以结合图像特征之间的局部依赖关系和远距离依赖关系，实现强化目标图像特征，提高图像处理的效率以及准确性。本申请提供的一种图像处理方法，包括：按照预设元素重组规则，对待处理图像的第一特征图进行元素重组，得到至少一个子特征图，并对各子特征图进行自注意力机制处理，得到各子特征图对应的自注意特征图；其中，同一个所述子特征图中包含的元素为所述第一特征图中的非相邻元素；根据所述预设元素重组规则，对得到的各自注意特征图中的各元素进行元素还原，得到第二特征图；对所述第二特征图进行卷积处理，得到第三特征图；基于所述第三特征图，对所述待处理图像执行目标图像处理任务。理任务。理任务。


技术研发人员：杨雪峰 余言勋 王亚运
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：2023.02.28
技术公布日：2023/7/19