一种目标检测模型对抗训练方法、目标检测方法及系统

1.本发明涉及深度学习领域，具体来说，涉及深度学习领域中的目标检测技术，更具体地说，涉及一种目标检测模型对抗训练方法、目标检测方法及系统。


背景技术：

2.基于深度学习的红外目标检测模型被广泛应用于安全监控、自动驾驶及安全侦查等领域。有研究表明，深度学习易受到攻击，若基于深度学习方法的红外目标检测模型受到攻击，可能会对人身和社会安全造成威胁。所谓攻击是指出现在目标上的干扰或扰动以使红外目标检测模型无法准确检测目标的噪声。然而，现有的基于深度学习的红外目标检测模型在进行目标检测过程中并不能有效对抗攻击，导致红外目标检测模型的检测准确率下降。
3.针对上述问题，有研究人员提出可以使用发热材料或隔热材料构成特定的对抗图案，然后将对抗图案注入红外目标检测模型的训练集的每一图像的目标边界框内以获取新的训练集(图像样本中带有对抗图案的目标可以欺骗红外目标检测模型使模型漏检、误检)，最后采用新的训练集对红外目标检测模型进行对抗训练使模型具有一定的对抗能力，即红外目标检测模型在受到攻击时也能够实现目标检测，并且保持较好的目标识别准确率。
4.现有技术中对抗训练所用的对抗图案主要通过梯度的方式进行训练获得，即在红外目标检测模型的训练集的每一图像的目标边界框内注入对抗图案得到对抗训练集，将对抗训练集输入训练好的红外目标检测模型使模型输出的检测损失增大，然后通过反向传播计算对抗图案的梯度并更新对抗图案以获取最终的对抗图案。虽然现有技术中通过梯度方式获得的对抗图案对红外目标检测模型进行对抗训练后能够使红外目标检测模型具备一定的抗攻击能力。但是，现有技术中通过梯度方式生成的对抗图案的有效攻击距离较短、攻击效果差，采用其对红外目标检测模型进行对抗训练，训练得到的红外目标检测模型的鲁棒性差、对抗能力不佳。


技术实现要素：

5.因此，本发明的目的在于克服上述现有技术的缺陷，提供一种目标检测模型对抗训练方法、一种目标检测方法及一种目标检测系统。
6.本发明的目的是通过以下技术方案实现的。
7.根据本发明的第一方面，提供一种目标检测模型对抗训练方法，所述方法包括：s1、获取目标图像数据集和初始对抗图案，所述目标图像数据集包括多个图像样本，且每个图像样本中设置有目标边界框标注；s2、对初始对抗图案进行分形变换以获得目标对抗图案；s3、将步骤s2得到的目标对抗图案注入所述目标图像数据集中每一图像样本的目标边界框内得到对抗训练集，并采用对抗训练集训练目标检测模型至收敛。
8.在本发明的一些实施例中，所述步骤s2包括采用所述目标图像数据集对所述初始
对抗图案进行多次迭代更新以获取目标对抗图案，每次迭代更新包括：s21、对上一次迭代更新后得到的对抗图案进行增强处理后注入所述目标图像数据集中每一图像样本的目标边界框内以得到新的训练集，并将新的训练集输入预训练目标检测模型并基于预训练目标检测模型的输出计算其检测损失；s22、按照预设的分形变换方式对上一次迭代更新后得到的对抗图案进行分形变换并计算其分形变换损失；s23、将步骤s21得到检测损失与步骤s22得到的分形变换损失求和计算总损失，并基于总损失反向传播更新上一次迭代更新得到的对抗图案以得到当前次迭代更新的对抗图案；其中，以最后一次迭代更新得到的对抗图案作为目标对抗图案。
9.在本发明的一些实施例中，所述预设的分形变换规则为：按照预设的分形尺度和预设的变换阶数对上一次迭代更新得到的对抗图案进行多次分形变换，每次分形变换得到一个分形图案且每次分形变换包括：按照预设的分形尺度对上一次分形变换得到的分形图案进行采样，并将采样后的分形图案按照预设的分形变换方式重构还原为与上一次迭代更新得到的对抗图案大小一致以获取当前次分形变换的分形图案。
10.在本发明的一些实施例中，采用如下方式计算分形变换损失：
[0011][0012][0013][0014]
其中，loss
frac
表示分形变换损失；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行q次分形变换后的多阶分形变换损失的均值；p表示分形尺度；q表示分形变换阶数；g表示上一次迭代更新得到的对抗图案；f表示分形变换方式；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行第q次分形变换后的分形变换损失；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行第q次分形变换得到的第q阶分形图案；mse(
·
)表示均方差函数。
[0015]
在本发明的一些实施例中，所述预设的分形尺度为2，预设的变换阶数为3。
[0016]
在本发明的一些实施例中，所述预设的分形变换方式为平铺变换、谢尔宾斯基地毯变换或谢尔宾斯基三角形变换。
[0017]
在本发明的一些实施例中，在所述步骤s1中，采用如下方式获取初始对抗图案：采用对抗图案像素值直接生成灰度图作为初始对抗图案；或者基于对抗图案像素值的概率分布进行随机采样得到灰度图作为初始对抗图案。
[0018]
根据本发明的第二方面，提供一种目标检测方法，所述方法包括：t1、获取待处理图像数据；t2、采用如本发明第一方面训练的目标检测模型对步骤t1获取到的待处理图像数据进行目标检测。
[0019]
根据本发明的第三方面，提供一种目标检测系统，所述系统包括：数据获取模块，用于获取待处理图像数据；如本发明第一方面训练的目标检测模型，用于对数据获取模块
得到的待处理图像数据进行目标检测。
[0020]
与现有技术相比，本发明的优点在于：引入分形变换损失对对抗图案进行迭代更新，使得生成的对抗图案具有一定的自相似性，具有自相似性的对抗图案相较于现有技术生成的对抗图案有更高的攻击能力，且能够缓解分辨率降低对对抗图案特征造成的影响，在分辨率降低时对抗图案仍能保留部分具有对抗性的图案纹理特征，从而有效提成对抗图案在物理世界的有效攻击距离；进一步地，采用具有自相似性的对抗图案对目标检测模型进行对抗训练，能够提升目标检测模型的鲁棒性，使得模型具有较强的对抗能力。
附图说明
[0021]
以下参照附图对本发明实施例作进一步说明，其中：
[0022]
图1携带现有技术生成的对抗图案的目标在距红外目标检测器2米、3米、4米、5米时的对抗攻击效果示意图；
[0023]
图2为根据本发明实施例的目标检测模型对抗训练方法流程示意图；
[0024]
图3为根据本发明实施例的谢尔宾斯基地毯变换方式示意图；
[0025]
图4为根据本发明实施例的谢尔宾斯基三角形变换方式示意图；
[0026]
图5为根据本发明实施例的初始对抗图案一次迭代更新流程示意图；
[0027]
图6为现有技术生成的对抗图案在数字世界、物理世界可见光、物理世界红外的示意图；
[0028]
图7为根据本发明实施例生成的对抗图案在数字世界、物理世界可见光、物理世界红外的示意图；
[0029]
图8为携带本发明实施例生成的对抗图案的目标在距红外目标检测器在2米、3米、4米、5米下的对抗攻击效果示意图；
[0030]
图9为根据本发明实施例的目标检测方法流程示意图；
[0031]
图10为根据本发明实施例的目标检测系统示意图。
具体实施方式
[0032]
为了使本发明的目的，技术方案及优点更加清楚明白，以下通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0033]
正如背景技术所提到的，现有技术通过梯度的方式生成的对抗图案的有效攻击距离较短、攻击效果差，采用其对红外目标检测模型进行对抗训练，训练得到的红外目标检测模型的鲁棒性差、对抗能力不佳。发明人研究发现，之所以现有技术通过梯度的方式生成的对抗图案的有效攻击距离较短、攻击效果差，是因为通过梯度的方式生成的对抗图案较为零碎，随着对抗图案分辨率的下降会快速丧失其原本具有攻击能力的纹理特征，进而导致对抗图案的攻击效果差。比如，利用梯度的方式生成的对抗图案攻击红外目标检测器(其包括红外传感器和红外目标检测器，红外传感器用于拍摄图像，红外目标检测模型用于对红外传感器拍摄的图像进行处理以检测目标)，当红外传感器的分辨率为640
×
480时，对抗图案的有效攻击距离不超过10米，即携带对抗图案的目标在10米以后可以被检测到。如图1所示，其展示了携带对抗图案的目标在距红外目标检测器2米、3米、4米、5米时的对抗攻击效
果图，由图可知，当携带对抗图案的目标在距红外目标检测器2米或3米时，红外目标检测器无法识别到目标，此时对抗图案具有较好的攻击能力；当携带对抗图案的目标在距红外目标检测器3米或4米时，红外目标检测器能够识别到携带对抗图案的目标，此时对抗图案丧失了攻击能力。
[0034]
为了解决上述问题，发明人提出采用分形变换的方式获取对抗图案并将其用于目标检测模型的对抗训练中的方案。采用分形变换得到的对抗图案具有自相似性(自相似性是指图案的一部分与其他部分相似)，具有自相似性的对抗图案在分辨率降低后，整个图案仍与原始图案的一部分具有相似的纹理特征，即具有自相似性的对抗图案能够缓解分辨率降低对对抗图案纹理特征造成的影响，其在分辨率降低以后仍然具有较强的攻击能力。换言之，具有自相似性的对抗图案的有效攻击距离更远，采用具有自相似性的对抗图案对目标检测模型进行对抗训练，能够提升目标检测模型的鲁棒性，使得模型具有较强的对抗能力。
[0035]
为了更好的理解本发明，下面结合附图和实施例对本发明方案进行详细的说明。
[0036]
根据本发明的一个实施例，如图2所示，本发明提供一种目标检测模型对抗训练方法，所述方法包括：s1、获取目标图像数据集和初始对抗图案，所述目标图像数据集包括多个图像样本，且每个图像样本中设置有目标边界框标注；s2、对初始对抗图案进行分形变换以获得目标对抗图案；s3、将步骤s2得到的目标对抗图案注入所述目标图像数据集中每一图像样本的目标边界框内得到对抗训练集，并采用对抗训练集训练目标检测模型至收敛。
[0037]
为了更好的理解本发明，下面分别从获取数据、初始对抗图案更新、目标检测模型训练以及对比实验这几个方面对本发明的对抗训练方法进行详细的说明。
[0038]
一、获取数据
[0039]
1.1获取目标图像数据集
[0040]
开源的图像数据集中已经有很多成熟的图像样本可以用于目标检测模型的训练，这类样本中每个图像均设置有目标边界框标注。根据本发明的一个实施例，本发明从开源数据集flir_adas中选取多个图像样本组成目标图像数据集。
[0041]
1.2获取初始对抗图案
[0042]
在对抗训练中，对抗图案的纹理特征直接影响最终训练完成得到的目标检测模型对抗攻击的能力，本发明通过对初始对抗图案进行处理后获得攻击效果更强的对抗图案。根据本发明的一个实施例，采用对抗图案像素值直接生成灰度图作为初始对抗图案；或者基于对抗图案像素值的概率分布进行随机采样得到灰度图作为初始对抗图案。
[0043]
二、初始对抗图案更新
[0044]
2.1初始对抗图案更新方式
[0045]
基于对抗图案像素值或者对抗图案像素值的概率分布随机采样获取的初始对抗图案的纹理特征比较零碎，其攻击能力弱，若直接将其注入目标图像数据集的每一图像样本的目标边界框内得到对抗训练集，采用对抗训练集对目标检测模型进行对抗训练，训练得到的目标检测模型的对抗能力不佳，因此需要对初始对抗图案进行进一步的处理以获得攻击能力强的目标对抗图案，在本发明中，对初始对抗图案进行分形变换以获得目标对抗图案。
[0046]
根据本发明的一个实施例，对初始对抗图进行分形变换时，采用目标图像数据集
对初始对抗图案进行多次迭代更新以获取目标对抗图案，每次迭代更新包括步骤p1-p3，下面分别对各个步骤进行详细的说明。
[0047]
在步骤p1中，对上一次迭代更新后得到的对抗图案进行增强处理后注入所述目标图像数据集中每一图像样本的目标边界框内以得到新的训练集，并将新的训练集输入预训练目标检测模型并基于预训练目标检测模型的输出计算其检测损失。需要说明的是，在第一次进行迭代更新时，是将初始对抗图案进行增强处理后注入所述目标图像数据集中每一图像样本的目标边界框内得到新的训练集。根据本发明的一个实施例，对对抗图案进行增强处理包括：先按照3*3或者4*4或者其它格式对对抗图案进行平铺处理(平铺指的是将对抗图案复制多个后按照规定的格式展开，以3*3为例，将对抗图案复制8个后按照九宫格的样式展开得到平铺后的对抗图案)，再将平铺后的对抗图案进行随机裁剪(随机裁剪的大小根据实际需求确定，本发明不作具体的限制)，再对裁剪后的对抗图案进行形变，最后将形变后的对抗图案进行旋转、加噪、缩放或者亮度调整处理得到增强处理后的对抗图案。根据本发明的一个实施例，预训练目标检测模型可采用yolo系列或rcnn系列模型。还需要说明的是，将新的训练集输入预训练目标检测模型后模型的输出包括目标检测框位置、目标类别以及目标置信度，根据本发明的一个实施例，采用预训练目标检测模型输出的目标置信度作为其检测损失loss
obj
。
[0048]
在步骤p2中，按照预设的分形变换方式对上一次迭代更新后得到的对抗图案进行分形变换并计算其分形变换损失。根据本发明的一个实施例，所述预设的分形变换规则为：按照预设的分形尺度和预设的变换阶数对上一次迭代更新得到的对抗图案进行多次分形变换，每次分形变换得到一个分形图案且每次分形变换包括：按照预设的分形尺度对上一次分形变换得到的分形图案进行采样，并将采样后的分形图案按照预设的分形变换方式重构还原为与上一次迭代更新得到的对抗图案大小一致以获取当前次分形变换的分形图案。根据本发明的一个实施例，所述预设的分形尺度为2，预设的变换阶数为3。根据本发明的一个实施例，所述预设的分形变换方式为平铺变换、谢尔宾斯基地毯变换或谢尔宾斯基三角形变换。由于这些分形变换方式都是常见的变换方式，本发明不对其一一展开详细说明，仅示例性说明一下谢尔宾斯基地毯变换、谢尔宾斯基三角形变换方式。其中，如图3所示，其展示了谢尔宾斯基地毯变换方式，在图3中，最左边的图案是原始的图案；左二的图案是一阶分形图案，其由原始图案进行一次分形变换得到，其变换过程为：将原始图案沿长宽方向缩小1/p得到缩小后的图案(降采样)，再复制n个缩小后的图案将其按照九宫格的样式排列后去掉中心的图案得到与原始图案大小一致的一阶分形图案(一阶分形图案包括n-1个缩小后的原始图案)；左三的图案是二阶分形图案，其由一阶分形图案进行一次分形变换得到，其变换过程为：将一阶分形图案沿长宽方向缩小1/p得到缩小后的图案，再复制n个缩小后的图案将其按照九宫格的样式排列后去掉中心的图案得到与原始图案大小一致的二阶分形图案(二阶分形图案包括n-1个缩小后的一阶分形图案)；最右边的图案是三阶分形图案，其由二阶分形图案变换得到，其变换过程为：将二阶分形图案沿长宽方向缩小1/p得到缩小后的图案，再复制n个缩小后的图案将其按照九宫格的样式排列后去掉中心的图案得到与原始图案大小一致的三阶分形图案(三阶分形图案包括n-1个缩小后的二阶分形图案)。如图4所示，其展示了谢尔宾斯基三角形变换方式，在图4中，第一排为按照常规的谢尔宾斯基三角形变换得到的各阶分形图案，第二排为将正方形按照谢尔宾斯基三角形变换得到的各
阶分形图案；其中，以第一排为例说明谢尔宾斯基三角形变换方式，第一排左一为原始图案；第一排左二为一阶分形图案，其由原始图案变换得到，其变换过程为：将原始图案中的各边缩小为原来的1/p得到缩小后的图案(降采样)，再复制n个缩小后的图案并将其组合成与原始图案大小一致的图案后去掉其中心的图案得到一阶分形图案(一阶分形图案包括n-1个缩小后的原始图案)；第一排左三为二阶分形图案，其由一阶分形图案变换得到，其变换过程为：将一阶分形图案中的各边缩小为原来的1/p得到缩小后的图案，再复制n个缩小后的图案并将其组合成与原始图案大小一致的图案后去掉其中心的图案得到二阶分形图案(二阶分形图案包括n-1个缩小后的一阶分形图案)；第一排左四为三阶分形图案，其由二阶分形图案变换得到，其变换过程为：将二阶分形图案中的各边缩小为原来的1/p得到缩小后的图案，再复制n个缩小后的图案并将其组合成与原始图案大小一致的图案后去掉其中心的图案得到三阶分形图案(三阶分形图案包括n-1个缩小后的二阶分形图案)；第一排右一为四阶分形图案，其由三阶分形图案变换得到，其变换过程为：将三阶分形图案中的各边缩小为原来的1/p得到缩小后的图案，再复制n个缩小后的图案并将其组合成与原始图案大小一致的图案后去掉其中心的图案得到四阶分形图案(四阶分形图案包括n-1个缩小后的三阶分形图案)。
[0049]
根据本发明的一个实施例，采用如下方式计算分形变换损失：
[0050][0051][0052][0053]
其中，loss
frac
表示分形变换损失；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行q次分形变换后的多阶分形变换损失的均值；p表示分形尺度；q表示分形变换阶数；g表示上一次迭代更新得到的对抗图案；f表示分形变换方式；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行第q次分形变换后的分形变换损失；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行第q次分形变换得到的第q阶分形图案；mse(
·
)表示均方差函数。
[0054]
在步骤p3中，将检测损失loss
obj
与分形变换损失loss
frac
求和计算总损失loss
total
，并基于总损失loss
total
反向传播更新上一次迭代更新得到的对抗图案以得到当前次迭代更新的对抗图案；其中，以最后一次迭代更新得到的对抗图案作为目标对抗图案。需要说明的是，基于总损失loss
total
反向传播更新过程可理解为：基于步骤p1-p3使用tensorflow或pytorch等深度学习框架构建一个计算图(计算图是一个有向无环图，其包括若干节点和边，其中节点表示计算单元(如矩阵乘法、加法等)，边表示数据流动(即数据在计算单元之间的传递)，并用构建得到的计算图对初始对抗图像进行多次迭代更新以获取目标对抗图案，计算图的计算过程为按照节点和边的关系依次计算图中每一个节点的张量，其中，计算图中的第一个节点的张量为初始对抗图案的参数(该参数用于生成初始对抗
图案)，计算图中的最后一个节点的张量表示总损失，基于计算得到的最后一个节点的张量反向传播计算计算图中每一个节点的梯度(以最小化为目标计算梯度)，然后基于计算得到的梯度更新计算图中的第一个节点，即更新初始对抗图案的参数。比如，以pytorch深度学习框架为例构建计算图，其反向传播更新可用如下伪代码实现，直接采用loss.backward(
·
)函数反向传播计算整个计算图中每个节点的梯度，再将要更新的参数传给优化器进行更新，其伪代码可表示为optimizer＝sgd(pi)，optimizer表示优化器，sgd(
·
)表示随机梯度下降算法，pi表示初始对抗图案的参数。需要说明的是，根据实际需要可以选择不同的优化器对参数更新，在此仅用sgd优化器为示例进行说明，本发明不对优化器作具体的限制。
[0055]
2.2初始对抗图案进行一次迭代更新说明
[0056]
为了更好的理解对抗图案的更新过程，下面结合附图和示例对对抗图案进行迭代更新的过程进行详细说明。
[0057]
如图5所示，其展示了对初始对抗图案进行一次迭代更新的过程，图中π表示生成初始对抗图案的参数，下面结合图5以分形变换方式为平铺变换、预设的分形尺度为2、预设的变换阶数为3为例详细说明一下对初始对抗图案进行第一次迭代更新的过程。后续迭代过程与第一次类似就不再重复说明。
[0058]
对初始对抗图案进行第一次迭代更新时，先将初始对抗图案进行增强处理后注入所述目标图像数据集中每一图像样本的目标边界框内以得到新的训练集，并将新的训练集输入预训练目标检测模型并基于预训练目标检测模型的输出计算其检测损失loss
obj
。
[0059]
再按照预设的分形变换规则对初始对抗图案进行分形变换并计算其分形变换损失。按照预设的分形尺度为2和预设的变换阶数为3的设置对初始对抗图案进行3次分形变换，每次分形变换得到一个分形图案，其中，第一次分形变换的过程为：按照预设的分形尺度对初始对抗图案进行降采样，即将初始对抗图案的水平和竖直方向均缩小为原来的1/2(1/p，p表示分形尺度)，降采样后的初始对抗图像可表示为：
[0060][0061]
其中，h
i,j
表示初始对抗图案h第i行j列的像素值，表示把初始对抗图案h沿水平和竖直方向都缩小至原本的1/p，p表示分形尺度，的尺寸为初始对抗图案h的尺寸为n
×
n。再将降采样后的初始对抗图案按照平铺变换的方式重构还原为与初始对抗图案h大小一致以获取当前次分形变换的分形图案(构造分形图案)，可表示为：
[0062]
[0063][0064]
其中，f(
·
)表示分形变换方式(平铺变换)，表示按照分形尺度p对初始对抗图案h进行第1次分形变换得到的第1阶分形图案，表示把初始对抗图案h沿水平和竖直方向都缩小至原本的1/p，n表示初始对抗图案h的尺寸。计算第1阶分形图案与初始对抗图案h之间的一阶分形损失：
[0065][0066][0067]
其中，表示第1阶分形图案与初始对抗图案h之间的一阶分形损失，表示第1阶分形图案与初始对抗图案h逐像素点的均方差，n2表示第1阶分形图案或初始对抗图案h的尺寸大小。
[0068]
进一步地，按照与第一次分形变换相同的方式构造第2阶分形图案与第3阶分形图案并分别计算第2阶分形图案与初始对抗图案h之间的二阶分形损失和第3阶分形图案与初始对抗图案h之间的三阶分形损失，计算过程表示如下：
[0069][0070][0071][0072][0073]
其中，表示第2阶分形图案与初始对抗图案h之间的二阶分形损失，表示第2阶分形图案与初始对抗图案h逐像素点的均方差，表示第3阶分形图案与初始对抗图案h之间的三阶分形损失，表示第3阶分形图案与初始对抗图案h逐像素点的均方差，n2表示第2阶分形图案第3阶分形图
案或初始对抗图案h的尺寸大小。需要说明的是，第2阶分形图案或初始对抗图案h的尺寸大小。需要说明的是，第2阶分形图案与第3阶分形图案的表达式同上，此处不再赘述。
[0074]
更进一步地，基于前述内容计算得到的一阶分形损失二阶分形损失和三阶分形损失计算按照初始对抗图案h按照预设的分形尺度(p＝2)和预设的变换阶数(q＝3)进行分形变换后的分形损失，其计算过程如下：
[0075][0076]
其中，loss
frac
表示分形变换损失；表示按照分形尺度p对初始对抗图案h进行q次分形变换后的多阶分形变换损失的均值；p表示分形尺度(p＝2)；q表示分形变换阶数(q＝3)；h表示初始对抗图案；f表示分形变换方式；表示按照分形尺度p对初始对抗图案h进行第q次分形变换后的分形变换损失。
[0077]
最后将检测损失loss
obj
与分形变换损失loss
frac
求和计算总损失loss
total
，并基于总损失loss
total
反向传播更新初始对抗图案以得到第一次迭代更新的对抗图案。
[0078]
需要说明的是，前述内容描述的是以平铺变换的方式对初始对抗图案进行分形变换的过程，若采用谢尔宾斯基地毯变换的方式对初始对抗图案进行分形变换，则第一次分形变换后得到的分形图案可表示为：
[0079][0080][0081]
其中，表示把初始对抗图案k沿水平和竖直方向都缩小至原本的1/p，p表示分形尺度，的尺寸为f(
·
)表示分形变换方式(谢尔宾斯基地毯变换)，表示按照分形尺度p对初始对抗图案k进行第1次分形变换得到的第1阶分形图案。采用其他分形变换方式对初始对抗图案进行分形变换后得到的分形图案表达式与前述表达式类似，此处不一一进行举例说明。
[0082]
三、目标检测模型训练
[0083]
对初始对抗图案进行多次迭代更新后得到目标对抗图案，相较于初始对抗图案，
目标对抗图案纹理特征的攻击能力强，采用其对目标检测模型进行对抗训练后得到的目标检测模型的鲁棒性好、对抗能力强。根据本发明的一个实施例，获取到目标图像数据集以及目标对抗图案后，将得到的目标对抗图案注入所述目标图像数据集中每一图像样本的目标边界框内得到对抗训练集，并采用对抗训练集训练目标检测模型至收敛。需要说明的是，采用对抗训练集对目标检测模型进行对抗攻击训练至收敛为本领域技术人员公知的技术，在此不作过多赘述。
[0084]
四、对比实验
[0085]
为了验证本发明提出的方案优于现有技术，发明人分别采用本发明实施例和现有技术提出的方案生成了不同的对抗图案，如图6和图7所示，其中，图6表示采用现有方法生成的对抗图案在数字世界、物理世界可见光、物理世界红外的示意图；图7表示采用本发明实施例生成的对抗图案在数字世界、物理世界可见光、物理世界红外的示意图。由图可知，相较现有方法生成的较为零散随机的对抗图案，本发明提出的方案生成的对抗图案不仅有零散的像素点保证近距离对抗攻击的效果，还有较为完成的像素块保证在远距离仍有和近距离类似的攻击效果。
[0086]
为了进一步地验证采用现有技术方案生成的对抗图案与本发明实施例所提出的方案生成的对抗图案的攻击能力，使目标分别携带不同的对抗图案在相同的距离下攻击红外目标检测器，攻击效果如图1和图8所示，其中，图1展示了携带现有方法生成的对抗图案的目标在距红外目标检测器2米、3米、4米、5米时的对抗攻击效果图，图8展示了携带本发明实施例生成的对抗图案的目标在距红外目标检测器2米、3米、4米、5米下的对抗攻击效果。由图可知，当携带现有方法生成的对抗图案的目标在距红外目标检测器2米或3米时，红外目标检测器无法识别到目标；当携带现有方法生成的对抗图案的目标在距红外目标检测器3米或4米时，红外目标检测器能够识别到携带对抗图案的目标，即现有方法生成的对抗图案在4米和5米的距离下就丧失了攻击能力；当携带本发明实施例生成的对抗图案的目标在距红外目标检测器2米、3米、4米或5米时，红外目标检测器均无法识别到目标，此时本发明实施例生成的对抗图案在距红外目标检测器4米或5米的距离下仍然保持了攻击能力，由此可知，采用本发明实施例生成的对抗图案的攻击能力强。
[0087]
经过上述实施例对抗训练后的目标检测模型相对于利用现有技术进行对抗训练得到的目标检测模型来说，本发明提出的方案训练得到的目标检测模型具有更好的对抗攻击能力，可将其直接应用于目标检测。基于此，本发明还提出一种目标检测方法以及目标检测系统。
[0088]
根据本发明的一个实施例，如图9所示，本发明提供一种目标检测方法，所述方法包括：t1、获取待处理图像数据；t2、采用如前述实施例训练得到的目标检测模型对步骤t1获取到的待处理图像数据进行目标检测。
[0089]
根据本发明的一个实施例，如图10所示，本发明提供一种目标检测系统，所述系统包括：数据获取模块，用于获取待处理图像数据；如前述实施例训练得到的目标检测模型，用于对数据获取模型得到的待处理图像数据进行目标检测。
[0090]
本发明的有益效果在于：引入分形变换损失对对抗图案进行迭代更新，使得生成的对抗图案具有一定的自相似性，具有自相似性的对抗图案相较于现有技术生成的对抗图案有更高的攻击能力，且能够缓解分辨率降低对对抗图案特征造成的影响，在分辨率降低
时对抗图案仍能保留部分具有对抗性的图案纹理特征，从而有效提成对抗图案在物理世界的有效攻击距离；进一步地，采用具有自相似性的对抗图案对目标检测模型进行对抗训练，能够提升目标检测模型的鲁棒性，使得模型具有较强的对抗能力。需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
[0091]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0092]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
[0093]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

技术特征：
1.一种目标检测模型对抗训练方法，其特征在于，所述方法包括：s1、获取目标图像数据集和初始对抗图案，所述目标图像数据集包括多个图像样本，且每个图像样本中设置有目标边界框标注；s2、对初始对抗图案进行分形变换以获得目标对抗图案；s3、将步骤s2得到的目标对抗图案注入所述目标图像数据集中每一图像样本的目标边界框内得到对抗训练集，并采用对抗训练集训练目标检测模型至收敛。2.根据权利要求1所述的方法，其特征在于，所述步骤s2包括采用所述目标图像数据集对所述初始对抗图案进行多次迭代更新以获取目标对抗图案，每次迭代更新包括：s21、对上一次迭代更新后得到的对抗图案进行增强处理后注入所述目标图像数据集中每一图像样本的目标边界框内以得到新的训练集，并将新的训练集输入预训练目标检测模型并基于预训练目标检测模型的输出计算其检测损失；s22、按照预设的分形变换方式对上一次迭代更新后得到的对抗图案进行分形变换并计算其分形变换损失；s23、将步骤s21得到检测损失与步骤s22得到的分形变换损失求和计算总损失，并基于总损失反向传播更新上一次迭代更新得到的对抗图案以得到当前次迭代更新的对抗图案；其中，以最后一次迭代更新得到的对抗图案作为目标对抗图案。3.根据权利要求2所述的方法，其特征在于，所述预设的分形变换规则为：按照预设的分形尺度和预设的变换阶数对上一次迭代更新得到的对抗图案进行多次分形变换，每次分形变换得到一个分形图案且每次分形变换包括：按照预设的分形尺度对上一次分形变换得到的分形图案进行采样，并将采样后的分形图案按照预设的分形变换方式重构还原为与上一次迭代更新得到的对抗图案大小一致以获取当前次分形变换的分形图案。4.根据权利要求2所述的方法，其特征在于，采用如下方式计算分形变换损失：4.根据权利要求2所述的方法，其特征在于，采用如下方式计算分形变换损失：4.根据权利要求2所述的方法，其特征在于，采用如下方式计算分形变换损失：其中，loss
frac
表示分形变换损失；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行q次分形变换后的多阶分形变换损失的均值；p表示分形尺度；q表示分形变换阶数；g表示上一次迭代更新得到的对抗图案；f表示分形变换方式；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行第q次分形变换后的分形变换损失；表示按照分形尺度p对上一次迭代更新得到的对抗图案g进行第q次分形变换得到的第q阶分形图案；mse(
·
)表示均方差函数。5.根据权利要求2所述的方法，其特征在于，所述预设的分形尺度为2，预设的变换阶数为3。
6.根据权利要求2所述的方法，其特征在于，所述预设的分形变换方式为平铺变换、谢尔宾斯基地毯变换或谢尔宾斯基三角形变换。7.根据权利要求1所述的方法，其特征在于，在所述步骤s1中，采用如下方式获取初始对抗图案：采用对抗图案像素值直接生成灰度图作为初始对抗图案；或者基于对抗图案像素值的概率分布进行随机采样得到灰度图作为初始对抗图案。8.一种目标检测方法，其特征在于，所述方法包括：t1、获取待处理图像数据；t2、采用如权利要求1-7任一方法训练的目标检测模型对步骤t1获取到的待处理图像数据进行目标检测。9.一种目标检测系统，其特征在于，所述系统包括：数据获取模块，用于获取待处理图像数据；如权利要求1-7任一所述方法训练的目标检测模型，用于对数据获取模块得到的待处理图像数据进行目标检测。10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1-8任一所述方法的步骤。11.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1-8中任一项所述方法的步骤。

技术总结
本发明提供一种目标检测模型对抗训练方法，所述方法包括：S1、获取目标图像数据集和初始对抗图案，所述目标图像数据集包括多个图像样本，且每个图像样本中设置有目标边界框标注；S2、对初始对抗图案进行分形变换以获得目标对抗图案；S3、将步骤S2得到的目标对抗图案注入所述目标图像数据集中每一图像样本的目标边界框内得到对抗训练集，并采用对抗训练集训练目标检测模型至收敛。本发明引入了引入分形变换损失对对抗图案进行迭代更新，使得生成的对抗图案具有一定的自相似性，采用具有自相似性的对抗图案对目标检测模型进行对抗训练，能够提升目标检测模型的鲁棒性，使得模型具有较强的对抗能力。较强的对抗能力。较强的对抗能力。


技术研发人员：程学旗 郭嘉丰 沈云汉 李琳 邱强
受保护的技术使用者：中国科学院计算技术研究所
技术研发日：2023.05.26
技术公布日：2023/8/14