一种保持增强与马赛克增强结合的数据处理方法及装置

1.本发明涉及图像处理和计算机视觉技术领域，尤其涉及一种保持增强与马赛克增强结合的数据处理方法及装置。


背景技术：

2.近年来，数据增强在解决很多深度学习的问题上是一个至关重要的的技术。对于训练模型时有限的数据来说，数据增强可以在不实质性增加数据的情况下，让有限的数据产生等价于更多数据的价值，以此优化训练的效果。
3.公开号为cn113888513a的中国专利公开了一种基于深度神经网络模型的钢筋检测计数方法，该方法包括采用滑动窗口法和马赛克增强方法对钢筋的原始图片数据集进行扩充增强，采用聚类算法自适应确定锚框尺寸，将钢筋图片作为输入，通过深度神经网络提取图像特征，经过检测头输出预测框，根据预测框和真实框计算得到损失函数，通过反向传播算法对模型参数进行优化，最后对预测框进行软性非极大值抑制处理，得到最终的钢筋数量。该申请通过滑动窗口法和马赛克增强法进行数据增强，使得模型识别提高了计数速度，但是上述方案虽然通过马赛克数据增强丰富了数据集，提升了网络的鲁棒性，当检测目标较小和较少时，马赛克增强会经常出现新图像中不存在检测目标或将小目标遗漏的现象，这不仅会减慢训练的速度，而会导致数据集丰富度降低，重要信息的留存度不高，效果不稳定等问题。因此，提供一种保持增强与马赛克增强结合的数据处理方法及装置，来提升图像数据丰富度和重要信息留存度，是非常有必要的。


技术实现要素：

4.有鉴于此，本发明提出了一种保持增强与马赛克增强结合的数据处理方法及装置，通过选用重要性得分较高的图像作为第二特征图，以使融合图片保存尽可能多的信息和检测目标，达到提升数据丰富度和重要信息留存度的目的。
5.在本发明的第一方面提供了一种保持增强和马赛克增强的数据处理方法，应用于图像处理设备中，所述方法包括：
6.获取样本图像，其中，所述样本图像为数据集中随机选取的多张图片；
7.将所述样本图像等比例放缩至第一预设像素大小，以获取第一特征图；
8.对所述第一特征图以第二预设像素大小进行截取，以形成相同大小的第二特征图；
9.计算所述第二特征图的重要性得分，并判断所述重要性得分是否大于重要性得分阈值；
10.若所述重要性得分大于所述重要性得分阈值，则将多张所述第二特征图在马赛克画布中进行拼接，以形成融合图像。
11.在以上技术方案的基础上，优选的，所述将多张所述第二特征图在画布中进行拼接，以形成融合图像之后，还包括：
12.判断所述融合图像中是否存在原始标签，其中，所述原始标签为所述样本图像中内的标签；
13.若所述融合图像中存在所述原始标签，则将所述原始标签转换为新标签。
14.在以上技术方案的基础上，优选的，所述判断所述融合图像中是否存在原始标签，具体为：
15.判断x
原始min
，y
原始min
，x
原始max
以及y
原始max
是否满足以下公式，
16.x
原始min
＞x
start
+w
1-5
17.y
原始min
＞y
start
+h
1-5
18.x
原始max
＜x
start
+5
19.y
原始max
＜x
start
+5
20.其中，x
原始min
，y
原始min
，x
原始max
以及y
原始max
分别表示所述原始标签的左上角和右下角的横纵坐标，x
start
和y
start
分别表示所述第二特征图左上角在所述样本图像上的横纵坐标，w1表示所述第二特征图的宽度，h1表示所述第二特征图的高度，5表示删除所述融合图像中边长小于5像素的标签。
21.优选的，所述判断所述融合图像中是否存在原始标签，具体为：
22.判断x
原始min
，y
原始min
，x
原始max
以及y
原始max
是否满足以下公式，
23.x
原始min
＞x
start
+w
1-5
24.y
原始min
＞y
start
+h
1-5
25.x
原始max
＜x
start
+5
26.y
原始max
＜x
start
+5
27.其中，x
原始min
，y
原始min
，x
原始max
以及y
原始max
分别表示所述原始标签的左上角和右下角的横纵坐标，x
start
和y
start
分别表示所述第二特征图左上角在所述样本图像上的横纵坐标，w1表示所述第二特征图的宽度，h1表示所述第二特征图的高度，5表示删除所述融合图像中边长小于5像素的标签。
28.更进一步优选的，所述将所述原始标签转换为新标签，具体为：
29.x
新min
＝ox-x
start
+x
原始min
30.y
新min
＝oy-y
start
+y
原始min
31.x
新max
＝ox-x
start
+x
原始max
32.y
新max
＝oy-y
start
+y
原始max
33.其中，x
新min
，y
新min
，x
新max
以及y
新max
分别表示所述新标签的左上角和右下角的横纵坐标，ox表示所述的中心点的横坐标，oy表示所述的中心点的纵坐标，x
start
和y
start
分别表示所述第二特征图左上角在所述样本图像上的横纵坐标。
34.更进一步优选的，所述方法还包括：
35.在所述融合图像中生成中心点，其中，所述中心点为以坐标(w/4，h/4)为左上角，且坐标(3w/4，3h/4)为右下角的矩形中随机生成，w为所述融合图像的宽度，h为所述融合图像的高度；
36.根据所述中心点将所述融合图像划分为四个矩形图像。
37.更进一步优选的，所述计算所述第二特征图的重要性得分，包括：
38.根据所述第二特征图中每个像素对应的标签逻辑值进行求导运算，以获取单一重
要性得分；
39.对所述单一重要性得分求和，以得到所述重要性得分。
40.更进一步优选的，所述马赛克画布的面积计算公式为：
41.w＝w
min
×
4/3+1
42.h＝h
min
×
4/3+1
43.其中，w
min
为所述样本图像宽度的最小值，h
min
为所述样本图像高度的最小值，1表示边长为1的像素。
44.更进一步优选的，所述方法还包括：
45.对所述融合图像进行随机水平翻转和色彩空间变换，以获得增强融合图像。
46.本发明的第二方面提供了一种保持增强与马赛克增强结合的数据处理装置，所述数据处理装置包括图像获取模块和数据处理模块，其中，
47.所述图像获取模块用于获取样本图像，其中，所述样本图像为数据集中随机选取的多张图片；
48.所述数据处理模块用于将所述样本图像等比例放缩至第一预设像素大小，以获取第一特征图，对所述第一特征图以第二预设像素大小进行截取，以形成相同大小的第二特征图，计算所述第二特征图的重要性得分，并判断所述重要性得分是否大于重要性得分阈值，若所述重要性得分大于所述重要性得分阈值，则将多张所述第二特征图在马赛克画布中进行拼接，以形成融合图像。
49.在本发明的第三方面提供了一种电子设备，其特征在于，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行上述的方法。
50.本发明提供的一种保持增强和马赛克增强结合的数据处理方法，相对于现有技术具有以下有益效果：
51.(1)通过在样本图案经等效缩放的第一特征图中截取重要性得分大于重要性得分阈值的第二特征图，以确保当前截取出的第二特征图内存在大量能够被马赛克增强的检测目标，以尽量避免进行马赛克增强时出现不存在检测目标或遗漏检测目标的情况，进而提升融合图像中数据丰富度和重要信息的留存度；
52.(2)将样本图像内重要性较高的信息转换为融合图像内的信息，使得通过拼接形成的融合图片保存尽可能多的信息和检测目标，能够提升图片训练的稳定性，并提升训练效率；
53.(3)将样本图像中高度最小值的4/3加1像素和样本图像中宽度的最小值4/3加1像素分别作为马赛克画布的高度和宽度，保证了在切割区域时不会出现切割区域大于样本图像的现象，同时也有助于样本图像中小目标的提取；
54.(4)规定中心点的生成范围可以防止因图片数据过小导致原始标签过小，失去检测意义，同时避免产生中心点在极端位置生成的图像数据，让本增强方法效果减弱并浪费时间和资源。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1为本发明实施例提供的保持增强与马赛克增强结合的数据处理方法的流程示意图；
57.图2为本发明实施例提供的融合图像的示意图；
58.图3为本发明实施例提供的map曲线对比图；
59.图4为本发明实施例提供的无检测目标图片数量对比图；
60.图5为本发明实施例提供的数据处理装置的结构示意图；
61.图6为本发明实施例提供的电子设备的结构示意图。
62.附图标记说明：1、数据处理装置；11、图像获取模块；12、数据处理模块；2、电子设备；21、处理器；22、通信总线；23、用户接口；24、网络接口；25、存储器。
具体实施方式
63.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
64.在对本发明实施例进行介绍之前，首先对本发明实施例中涉及的一些名词进行定义和说明。
65.在机器视觉中，显著性是一种图像分区的模式，而显著图是显示每个像素独特性的图像。显著图的目标在于将一般图像的表示简化或是改变为更容易分析的样式。举例来说，某个像素在一张彩色图中具有较高的灰阶，其会在显著图中以较为明显的方式被显示出来。视觉刺激的观点上，如果某些特征特别能够被捕捉到注意力，这样子的特性被称为显著性。
66.马赛克增强是一种数据增强方式，通过随机缩放、随机裁减、随机排布的方式进行拼接，从而扩充数据集的数量，增加了小样本的数量，同时数据量更小。
67.以下结合附图1-6对本发明作进一步详细说明。
68.本发明公开一种保持增强和马赛克增强结合的数据处理方法，如图1所示，该方法的步骤包括s1～s5。
69.步骤s1，获取样本图像，其中，样本图像为数据集中随机选取的多张图片。
70.在本步骤中，数据集采用cctsb2021公开数据集，样本图像是在cctsb2021公开数据集中随机选取的四张图片，上述图片为大小不一的图片。
71.步骤s2，将样本图像等比例放缩至第一预设像素大小，以获取第一特征图。
72.在本步骤中，将四张样本图像进行等比例放缩，并且放缩后得到的第一特征图宽度不大于1000像素，高度不大于600像素。
73.步骤s3，对第一特征图以第二预设像素大小进行截取，以形成相同大小的第二特征图。
74.在本步骤中，第二预设像素大小最大可以被设置为第一特征图中宽度和高度的最
小值，同时也可根据需要训练图像的大小自行设定。
75.步骤s4，计算第二特征图的重要性得分，并判断第二特征图的重要性得分是否大于重要性得分阈值，其中，将第二特征图的重要性得分采用梯度下降算法进行计算，第二特征图中颜色越浅的部分代表重要性得分越高。
76.在本实施例中，步骤s4还包括步骤s41～s42。
77.步骤s41，根据第二特征图中每个像素对应的标签逻辑值进行求导运算，以获取单一重要性得分。
78.步骤s42，对单一重要性得分求和，以得到重要性得分。
79.在一个示例中，获取第二特征图中每个像素点(x，y)与其相应的标签逻辑值为ly(x)，则像素点(x，y)的单一重要性得分可以为标签逻辑值关于该像素点(x，y)偏导数的绝对值|
▽
xly(x)|。对于rgb图像，需计算rgb通道内每个通道的像素值，并选取三个通道内最大像素值，作为重要性得分。获取每个像素点(x，y)的重要性得分后，实际截取区域s(第二特征图)的重要性得分τ(s，x，y)即为上述区域内每个像素的单一重要性得分之和，其中，标签逻辑值也可以是是通过神经网络模型的分类层训练得到，即近似为ly(x)＝w
t
(x+b)，x表示样本图像的像素，w是样本图像的宽度向量，b是样本图像的bias向量。
80.步骤s5，若第二特征图的重要性得分大于重要性得分阈值，则将多张第二特征图在马赛克画布中进行拼接，以形成融合图像；若第二特征图的重要性得分小于重要性得分阈值，则重新在该第一特征图中选取第二特征图中，直到第二特征图中的重要性得分大于重要性得分阈值。
81.在本步骤中，重要性得分阈值的设置是一个自适应的过程，该阈值需要通过计算出所有候选第二特征图的重要性得分，再根据重要性得分集合中选取合适的重要性得分阈值，本技术选用的重要性得分阈值τ为0.7～0.8。
82.其中，可以根据样本图像的显著图，确保截取的第二特征图的重要性得分大于重要性得分阈值，同时该重要性得分阈值可以通过对数据集提前进行保持马赛克增强的图片生成速度判断，并根据实际情况调节重要性得分阈值。
83.在本实施例中，在融合图像中生成中心点，其中，中心点为以坐标(w/4，h/4)为左上角，且坐标(3w/4，3h/4)为右下角的矩形中随机生成，w为融合图像的宽度，h为融合图像的高度，根据中心点将融合图像划分为四个矩形图像。
84.第二特征图的表达公式具体为：
[0085][0086]
其中，m(s)
1-4
＝[m
ij
(s)]
ij
，为所选第二特征图的二元掩膜，x1～x4为被提取的第二特征图，
⊙
表示同或运算，表示融合图像二元掩膜的集合，i和j均表示1至4中的任意一个数。
[0087]
在一个示例中，在图2中选取了大小不一第二特征图，并实现了融合图像的拼接，由过中心点的水平和竖直的区域分界线，将画布分为左上、左下、右上、右下四个矩形，将四张截取得到的第二特征图分别将对应方位的第二特征图的左上角、左下角、右上角以及右下角放置于中心点，其中，对应方位是指位于马赛克图像左上角的第二特征图将其左上角放置于中心点，位于马赛克图像右上角的第二特征图将其左上角放置于中心点，位于马赛克图像左下角的第二特征图将其右上角放置于中心点，其中，左上角的第二特征图长和宽
为ox和oy，左下角的第二特征图长和宽为ox和(h-oy)，右上角的第二特征图长和宽为(w-ox)和oy，右下角的第二特征图长和宽为(w-ox)和(h-oy)，ox表示的中心点的横坐标，oy表示的中心点的纵坐标，w为融合图像的宽度，h为融合图像的高度。
[0088]
规定中心点的生成范围可以防止因图片数据过小，导致原始标签过小，失去检测意义，同时避免产生中心点在极端位置生成的图像数据，使得本数据处理方法效果减弱并浪费时间和资源。
[0089]
其中，马赛克画布的面积计算公式为：
[0090]
w＝w
min
×
4/3+1
[0091]
h＝h
min
×
4/3+1
[0092]wmin
为样本图像宽度的最小值，h
min
为样本图像高度的最小值，1表示边长为1的像素位于马赛克图像右下角的第二特征图将其左上角放置于中心点。
[0093]
将样本图像中高度最小值的4/3加1像素和样本图像中宽度的最小值4/3加1像素分别作为马赛克画布的高度和宽度，保证了在切割区域时不会出现切割区域大于样本图像的现象，同时也有助于样本图像中小目标的提取。
[0094]
在本实施例中，本方法还包括步骤s6～s7。
[0095]
步骤s6，判断融合图像中是否存在原始标签，其中，原始标签为样本图像中内的标签。
[0096]
在本步骤中，不仅需要将判断融合标签是否存在原始标签，同样需要判断存在于第二特征图内的原始标签是否需要删除，由于第二特征图内可能存在超过融合图片边界的原始标签，故而需要删除多余标签。
[0097]
在一个示例中，提取区域时返回截取部分的左上角坐标，对于被提取的第一特征图中的每一标签的判断条件如下：
[0098]
x
原始min
＞x
start
+w
1-5
[0099]y原始min
＞y
start
+h
1-5
[0100]
x
原始max
＜x
start
+5
[0101]y原始max
＜x
start
+5
[0102]
其中，x
原始min
，y
原始min
，x
原始max
以及y
原始max
分别表示原始标签的左上角和右下角的横纵坐标，x
start
和y
start
分别表示第二特征图左上角在样本图像上的横纵坐标，w1表示第二特征图的宽度，h1表示第二特征图的高度，5表示删除融合图像中边长小于5像素的标签。
[0103]
步骤s7，若融合图像中存在原始标签，则将原始标签转换为新标签。
[0104]
在一个示例中，对于将被放入右下角的图片的原始标签，需要判断标签是否完整，不完整的部分将被替换为边界线，其左上角横坐标x
原始min
如果小于x
start
，说明该原始标签左边超出融合图片的边界，此时x
新min
变为0；相反，说明该原始标签左边存在于新图片中，即保留原始标签，并对该原始标签进行转换。
[0105]
在本步骤中，将原始标签转换为新标签，具体为：
[0106]
x
新min
＝ox-x
start
+x
原始min
[0107]y新min
＝oy-y
start
+y
原始min
[0108]
x
新max
＝ox-x
start
+x
原始max
[0109]y新max
＝oy-y
start
+y
原始max
[0110]
其中，x
新min
，y
新min
，x
新max
以及y
新max
分别表示新标签的左上角和右下角的横纵坐标，ox表示的中心点的横坐标，oy表示的中心点的纵坐标，x
start
和y
start
分别表示第二特征图左上角在样本图像上的横纵坐标。
[0111]
在本实施例中，对融合图像进行随机水平翻转和色彩空间变换，以获得增强融合图像。
[0112]
通过保证马赛克图片的组成区域包含重要性较高的信息，可以减少进行小目标检测任务时新图片没有检测目标的现象，在一定程度上提升训练的稳定性，优化训练的效果，提高训练效率。另外，丰富了检测图片的背景，令网络的鲁棒性更好，减少gpu显存，让有限的数据产生等价于更多数据的价值。
[0113]
请参阅图3，通过将原始图片、50％马赛克增强和50％原始图片以及50％保持马赛克增强和50％原始图片进行对比，保持马赛克增强收敛更快并且训练效果也有所提升。
[0114]
请参阅图4，相比于现有的马赛克增强，能够明显看出保持马赛克增强可以保证在训练过程中有更多的重要信息保留到了增强后的图片中。
[0115]
基于上述方法，本技术实施例公开一种保持增强与马赛克增强结合的数据处理装置，参考图5，数据处理装置1包括图像获取模块11和数据处理模块12，其中，
[0116]
图像获取模块11用于获取样本图像，其中，样本图像为数据集中随机选取的多张图片。
[0117]
数据处理模块12用于将样本图像等比例放缩至第一预设像素大小，以获取第一特征图，对第一特征图以第二预设像素大小进行截取，以形成相同大小的第二特征图，计算第二特征图的重要性得分，并判断重要性得分是否大于重要性得分阈值，若第二特征图的重要性得分大于重要性得分阈值，则将多张第二特征图在马赛克画布中进行拼接，以形成融合图像。
[0118]
在一个示例中，数据处理模块12用于判断融合图像中是否存在原始标签，其中，原始标签为样本图像中内的标签，若融合图像中存在原始标签，则数据处理模块将原始标签转换为新标签。
[0119]
在一个示例中，数据处理模块12用于判断融合图像中是否存在原始标签，具体为：
[0120]
判断x
原始min
，y
原始min
，x
原始max
以及y
原始max
是否满足以下公式，
[0121]
x
原始min
＞x
start
+w
1-5
[0122]y原始min
＞y
start
+h
1-5
[0123]
x
原始max
＜x
start
+5
[0124]y原始max
＜x
start
+5
[0125]
其中，x
原始min
，y
原始min
，x
原始max
以及y
原始max
分别表示原始标签的左上角和右下角的横纵坐标，x
start
和y
start
分别表示第二特征图左上角在样本图像上的横纵坐标，w1表示第二特征图的宽度，h1表示第二特征图的高度，5表示删除融合图像中边长小于5像素的标签。
[0126]
在一个示例中，数据处理模块12将原始标签转换为新标签，具体为：
[0127]
x
新min
＝ox-x
start
+x
原始min
[0128]y新min
＝oy-y
start
+y
原始min
[0129]
x
新max
＝ox-x
start
+x
原始max
[0130]y新max
＝oy-y
start
+y
原始max
[0131]
其中，x
新min
，y
新min
，x
新max
以及y
新max
分别表示新标签的左上角和右下角的横纵坐标，ox表示的中心点的横坐标，oy表示的中心点的纵坐标，x
start
和y
start
分别表示第二特征图左上角在样本图像上的横纵坐标。
[0132]
在一个示例中，数据处理模块12用于在融合图像中生成中心点，其中，中心点为以坐标(w/4，h/4)为左上角，且坐标(3w/4，3h/4)为右下角的矩形中随机生成，w为融合图像的宽度，h为融合图像的高度，数据处理模块12用于根据中心点将融合图像划分为四个矩形图像。
[0133]
在一个示例中，数据处理模块12用于根据第二特征图中每个像素对应的标签逻辑值进行求导运算，以获取单一重要性得分，数据处理模块对单一重要性得分求和，以得到重要性得分。
[0134]
在一个示例中，马赛克画布的面积计算公式为：
[0135]
w＝w
min
×
4/3+1
[0136]
h＝h
min
×
4/3+1
[0137]
其中，w
min
为样本图像宽度的最小值，h
min
为样本图像高度的最小值，1表示边长为1的像素。
[0138]
在一个示例中，数据处理模块12对融合图像进行随机水平翻转和色彩空间变换，以获得增强融合图像。
[0139]
请参见图6，为本技术实施例提供了一种电子设备的结构示意图。如图3所示，电子设备2可以包括：至少一个处理器21，至少一个网络接口24，用户接口23，存储器25，至少一个通信总线22。
[0140]
其中，通信总线22用于实现这些组件之间的连接通信。
[0141]
其中，用户接口23可以包括显示屏(display)、摄像头(camera)，可选用户接口23还可以包括标准的有线接口、无线接口。
[0142]
其中，网络接口24可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
[0143]
其中，处理器21可以包括一个或者多个处理核心。处理器21利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器25内的指令、程序、代码集或指令集，以及调用存储在存储器25内的数据，执行服务器的各种功能和处理数据。可选的，处理器21可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field-programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器21可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器21中，单独通过一块芯片进行实现。
[0144]
其中，存储器25可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。可选的，该存储器25包括非瞬时性计算机可读介质(non-transitorycomputer-readablestoragemedium)。存储器25可用于存储指令、程序、代码、代码集或指令集。存储器25可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功
能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器25可选的还可以是至少一个位于远离前述处理器21的存储装置。如图6所示，作为一种计算机存储介质的存储器25中可以包括操作系统、网络通信模块、用户接口模块以及保持增强和马赛克增强的数据处理方法的应用程序。
[0145]
在图6所示的电子设备2中，用户接口23主要用于为用户提供输入的接口，获取用户输入的数据；而处理器21可以用于调用存储器25中存储保持增强和马赛克增强的数据处理方法的应用程序，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个方法。
[0146]
一种计算机可读存储介质，计算机可读存储介质存储有指令。当由一个或多个处理器执行时，使得计算机执行如实上述施例中一个或多个方法。
[0147]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必需的。
[0148]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0149]
在本技术所提供的几个实施例中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
[0150]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0151]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0152]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储器包括：u盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0153]
以上，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包
括本公开未记载的本技术领域中的公知常识或惯用技术。
[0154]
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种保持增强与马赛克增强结合的数据处理方法，应用于图像处理设备中，其特征在于，所述方法包括：获取样本图像，其中，所述样本图像为数据集中随机选取的多张图片；将所述样本图像等比例放缩至第一预设像素大小，以获取第一特征图；对所述第一特征图以第二预设像素大小进行截取，以形成相同大小的第二特征图；计算所述第二特征图的重要性得分，并判断所述重要性得分是否大于重要性得分阈值；若所述重要性得分大于所述重要性得分阈值，则将多张所述第二特征图在马赛克画布中进行拼接，以形成融合图像。2.如权利要求1所述的一种保持增强与马赛克增强结合的数据处理方法，其特征在于，所述将多张所述第二特征图在画布中进行拼接，以形成融合图像之后，还包括：判断所述融合图像中是否存在原始标签，其中，所述原始标签为所述样本图像中内的标签；若所述融合图像中存在所述原始标签，则将所述原始标签转换为新标签。3.如权利要求2所述的一种保持增强与马赛克增强结合的数据处理方法，其特征在于，所述判断所述融合图像中是否存在原始标签，具体为：判断x
原始min
，y
原始min
，x
原始max
以及y
原始max
是否满足以下公式，x
原始min
＞x
start
+w
1-5y
原始min
＞y
start
+h
1-5x
原始max
＜x
start
+5y
原始max
＜x
start
+5其中，x
原始min
，y
原始min
，x
原始max
以及y
原始max
分别表示所述原始标签的左上角和右下角的横纵坐标，x
start
和y
start
分别表示所述第二特征图左上角在所述样本图像上的横纵坐标，w1表示所述第二特征图的宽度，h1表示所述第二特征图的高度，5表示删除所述融合图像中边长小于5像素的标签。4.如权利要求3所述的一种保持增强与马赛克增强结合的数据处理方法，其特征在于，所述将所述原始标签转换为新标签，具体为：x
新min
＝ox-x
start
+x
原始min
y
新min
＝oy-y
start
+y
原始min
x
新max
＝ox-x
start
+x
原始max
y
新max
＝oy-y
start
+y
原始max
其中，x
新min
，y
新min
，x
新max
以及y
新max
分别表示所述新标签的左上角和右下角的横纵坐标，ox表示所述的中心点的横坐标，oy表示所述的中心点的纵坐标，x
start
和y
start
分别表示所述第二特征图左上角在所述样本图像上的横纵坐标。5.如权利要求1所述的一种保持增强与马赛克增强结合的数据处理方法，其特征在于，所述方法还包括：在所述融合图像中生成中心点，其中，所述中心点为以坐标(w/4，h/4)为左上角，且坐标(3w/4，3h/4)为右下角的矩形中随机生成，w为所述融合图像的宽度，h为所述融合图像的高度；
根据所述中心点将所述融合图像划分为四个矩形图像。6.如权利要求1所述的一种保持增强与马赛克增强结合的数据处理方法，其特征在于，所述计算所述第二特征图的重要性得分，包括：根据所述第二特征图中每个像素对应的标签逻辑值进行求导运算，以获取单一重要性得分；对所述单一重要性得分求和，以得到所述重要性得分。7.如权利要求5所述的一种保持增强与马赛克增强结合的数据处理方法，其特征在于，所述马赛克画布的面积计算公式为：w＝w
min
×
4/3+1h＝h
min
×
4/3+1其中，w
min
为所述样本图像宽度的最小值，h
min
为所述样本图像高度的最小值，1表示边长为1的像素。8.如权利要求1所述的一种保持增强与马赛克增强结合的数据处理方法，其特征在于，所述方法还包括：对所述融合图像进行随机水平翻转和色彩空间变换，以获得增强融合图像。9.一种保持增强与马赛克增强结合的数据处理装置，其特征在于，所述数据处理装置(1)包括图像获取模块(11)和数据处理模块(12)，其中，所述图像获取模块(11)用于获取样本图像，其中，所述样本图像为数据集中随机选取的多张图片；所述数据处理模块(12)用于将所述样本图像等比例放缩至第一预设像素大小，以获取第一特征图，对所述第一特征图以第二预设像素大小进行截取，以形成相同大小的第二特征图，计算所述第二特征图的重要性得分，并判断所述重要性得分是否大于重要性得分阈值，若所述重要性得分大于所述重要性得分阈值，则将多张所述第二特征图在马赛克画布中进行拼接，以形成融合图像。10.一种电子设备，其特征在于，包括处理器(21)、存储器(25)、用户接口(23)及网络接口(24)，所述存储器(25)用于存储指令，所述用户接口(23)和网络接口(24)用于给其他设备通信，所述处理器(21)用于执行所述存储器(25)中存储的指令，以使所述电子设备(2)执行如权利要求1-8任意一项所述的方法。

技术总结
本发明提出了一种保持增强与马赛克增强结合的数据处理方法及装置，获取样本图像，其中，所述样本图像为数据集中随机选取的多张图片；将所述样本图像等比例放缩至第一预设像素大小，以获取第一特征图；对所述第一特征图以第二预设像素大小进行截取，以形成相同大小的第二特征图；计算所述第二特征图的重要性得分，并判断所述重要性得分是否大于重要性得分阈值；若所述重要性得分大于所述重要性得分阈值，则将多张所述第二特征图在马赛克画布中进行拼接，以形成融合图像。本发明有助于提升图像数据丰富度和重要信息留存度。像数据丰富度和重要信息留存度。像数据丰富度和重要信息留存度。


技术研发人员：吴婧 李卓 王旭冬
受保护的技术使用者：武汉理工大学
技术研发日：2023.07.07
技术公布日：2023/10/15