一种基于图像掩膜的对抗样本防御系统及方法

1.本发明涉及目标检测对抗样本防御领域，尤其涉及一种基于图像掩膜的对抗样本防御系统及方法。


背景技术：

2.随着深度学习技术、计算机算力、以及样本数据体量的飞速发展，基于深度学习的目标检测、图像识别等技术已经深入到社会的各个领域，如自动驾驶、生物医疗、移动支付、安防监控等场景。然而深度学习识别模型依赖于基于大规模高质量训练数据的统计学习，只能提供有限的泛化能力和鲁棒性保证，在面对精心设计的包含细微扰动的输入时表现出了脆弱性(孙浩，陈进，雷琳，等.深度卷积神经网络图像识别模型对抗鲁棒性技术综述[j].雷达学报.2021,10(04).)，易被不可感知的细微扰动欺骗，造成模型推理错误，严重影响系统原定设计功能的实现。而现有防御方法(余正飞，闫巧，周鋆.面向网络空间防御的对抗机器学习研究综述[j].自动化学报.2022,48(07):)，往往需要与具体的目标检测器相结合，需要对现有的目标检测器进行修改，不具有通用性。因此急需要一种更为通用的对抗样本防御方法，兼容现有的目标检测器，提升目标检测系统的鲁棒性和安全性。


技术实现要素：

[0003]
本发明针对现有基于深度学习的目标检测器在面对精心设计的对抗样本时表现出的脆弱性问题，提出了一种基于图像掩膜的对抗样本防御系统及方法，该方法无需对目标检测器进行修改，仅需要对输入图像进行处理，能够兼容现有的目标检测器，提升目标检测系统抵抗对抗样本攻击的能力，全面提高系统的鲁棒性和安全性。
[0004]
为了实现上述目的，本发明采用以下技术方案：
[0005]
本发明一方面提出一种基于图像掩膜的对抗样本防御系统，包括目标检测与定位模块、重点目标提取模块、重点目标图像截取模块、目标掩膜处理模块、图像掩膜处理模块、图像分类模块、加权表决模块；
[0006]
所述目标检测与定位模块由基于卷积神经网络的目标检测算法实现，用于实现对输入图像所包含目标信息的推理，实现对输入图像中多个目标的检测与定位；
[0007]
所述重点目标提取模块依据感兴趣的重点目标类别集合、以及设定的目标存在性概率阈值，实现对输入图像中重点目标信息的筛选；
[0008]
所述重点目标图像截取模块依据输入图像中的重点目标信息，实现重点目标图像的截取；
[0009]
所述目标掩膜处理模块依据输入图像的重点目标信息，生成包含图像处理区域的图像掩膜，基于图像掩膜完成对输入图像的对抗样本扰动消除处理，并生成输入图像副本；
[0010]
所述图像掩膜处理模块依据重点目标图像，生成包含图像处理区域的图像掩膜，并基于图像掩膜完成对重点目标图像的对抗样本扰动消除处理，并生成重点目标图像副本；
[0011]
所述图像分类模块由基于卷积神经网络的图像分类算法实现，用于实现对输入重点目标图像的分类，推理出输入目标图像所含目标的类别；
[0012]
所述加权表决模块用于完成重点目标分类结果的汇总、分类结果的加权统计、分类结果的输出以及存在潜在对抗样本目标时的告警。
[0013]
进一步地，所述目标检测与定位模块具体用于：
[0014]
实现对输入图像所包含目标信息的推理，预测关于输入图像所包含的目标，并生成目标信息张量o；其中h、w、c分别表示输入图像的高度、宽度、rgb通道数；
[0015]
目标信息张量o如式(1)所示，包含n个目标，张量的每一行表示1个目标的相关预测信息：
[0016][0017]
其中x、y分别表示在目标中心点位于输入图像上的横、纵坐标，h、w分别表示目标的高度和宽度，t∈t表示目标的类别，p∈(0,1)表示目标属于类别t的概率。
[0018]
进一步地，所述重点目标提取模块具体用于：
[0019]
依据输入图像的目标信息张量o，筛选出目标信息ti∈t
key
且pi》p
th
的目标，生成重点目标信息张量o
key
，共有m个重点目标，如式(2)所示：
[0020][0021]
其中t
key
表示所感兴趣的重点目标类别集合，p
th
表示采纳目标的概率阈值。
[0022]
进一步地，所述重点目标图像截取模块具体用于：
[0023]
依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横坐标x、纵坐标y以及高度h和宽度w将重点目标所在区域裁剪出来，生成重点目标图像。
[0024]
进一步地，所述目标掩膜处理模块具体用于：
[0025]
确定图像掩膜实施区域：依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横坐标x、纵坐标y以及高度h和宽度w确定输入图像中每个重点目标的掩膜实施区域；
[0026]
图像掩膜生成：将输入图像每一个掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；
[0027]
图像处理：基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行，生成相应的输入图像副本；
[0028]
重复上述过程，生成两个不一样的图像掩膜，并最终生成两张不一样的输入图像副本；原始输入图像与两张不一样的输入图像副本构成该输入图像的输入图像副本集。
[0029]
进一步地，所述图像掩膜处理模块具体用于：
[0030]
确定图像掩膜实施区域：将重点目标图像截取模块截取生成的每一张重点目标图
像的整个图像范围确定为输入图像掩膜实施区域；
[0031]
图像掩膜生成：将重点目标图像的掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；
[0032]
图像处理：基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行，生成相应的重点目标图像副本；
[0033]
重复上述过程，为每一张重点目标图像生成两个不一样的图像掩膜，并最终生成两张不一样的重点目标图像副本；原始重点目标图像与两张不一样的重点目标图像副本构成该重点目标的重点目标图像副本集。
[0034]
进一步地，所述图像分类模块具体用于：
[0035]
实现对输入重点目标图像的分类，推理出输入目标图像所含目标的类别；其中h、w、c分别表示重点目标图像的高度、宽度、rgb通道数。
[0036]
进一步地，所述加权表决模块具体用于：
[0037]
重点目标分类结果汇总：汇总目标检测与定位模块针对输入图像副本集所产生的重点目标分类信息、以及图像分类模块针对重点目标图像副本集所产生的目标分类信息；
[0038]
重点目标分类结果统计：设置目标检测与定位模块针对输入图像副本集所产生的重点目标分类结果的权值分别为α1、α2、α3；设置图像分类模块针对重点目标图像副本集所产生的重点目标分类信息结果的权值分别为β1、β2、β3；针对输入图像中每一个重点目标，将由目标检测与定位模块、图像分类模块所产生的分类结果信息进行加权统计和排序；
[0039]
重点目标分类结果输出：针对输入图像中每一个重点目标，选择分类结果中权值最大的分类结果作为该重点目标最终的分类结果并输出；若输入图像中某一个重点目标，存在多个分类结果，则记录相关输入图像以及分类结果信息，并输出存在潜在对抗样本目标的告警信息。
[0040]
本发明第二方面提出一种基于图像掩膜的对抗样本防御方法，包括：
[0041]
步骤1：将包含潜在对抗样本目标的输入图像输入目标检测与定位模块，进行目标的检测与定位，并生成输入图像的目标信息张量；
[0042]
步骤2：重点目标提取模块依据输入图像的目标信息张量，提取出输入图像中的重点目标，并生成重点目标信息张量；
[0043]
步骤3：重点目标图像截取模块依据输入图像的重点目标信息张量，对输入图像进行截取，生成重点目标图像；
[0044]
步骤4：目标掩膜处理模块依据输入图像的重点目标信息张量，对输入图像重点目标所在区域应用图像掩膜，生成多个输入图像副本，形成输入图像副本集；
[0045]
步骤5：图像掩膜处理模块，对截取生成的重点目标图像应用图像掩膜，生成多个重点目标图像副本，形成重点目标图像副本集；
[0046]
步骤6：将生成的输入图像副本集输入目标检测与定位模块再次进行目标的检测，产生重点目标分类信息和定位信息；
[0047]
步骤7：将生成的重点目标图像副本集输入图像分类模块进行目标的分类，产生重
点目标分类信息；
[0048]
步骤8：加权表决模块依据步骤6和步骤7所产生的重点目标分类信息，加权表决产生重点目标分类结果，并对潜在的对抗样本目标进行告警。
[0049]
进一步地，所述步骤1包括：
[0050]
目标检测与定位模块对输入图像所包含目标信息的推理，预测关于输入图像所包含的目标，并生成目标信息张量o；
[0051]
输入图像可用张量表示，即输入图像其中h、w、c分别表示输入图像的高度、宽度、rgb通道数；
[0052]
目标信息张量o如式(1)所示，包含n个目标，张量的每一行表示1个目标的相关预测信息：
[0053][0054]
其中x、y分别表示在目标中心点位于输入图像上的横、纵坐标，h、w分别表示目标的高度和宽度，t∈t表示目标的类别，p∈(0,1)表示目标属于类别t的概率。
[0055]
进一步地，所述步骤2包括：
[0056]
将所感兴趣的重点目标类别集合用t
key
表示；采纳目标的概率阈值用p
th
表示，仅当pi》p
th
认定该目标在图像中存在；
[0057]
重点目标提取模块依据输入图像的目标信息张量o，筛选出目标信息ti∈t
key
且pi》p
th
的目标，生成重点目标信息张量o
key
，共有m个重点目标，如式(2)所示：
[0058][0059]
进一步地，所述步骤3包括：
[0060]
重点目标图像截取模块依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横、纵坐标x、y以及高度和宽度h、w将重点目标所在区域裁剪出来，生成重点目标图像。
[0061]
进一步地，所述步骤4包括：
[0062]
步骤4.1：确定图像掩膜实施区域；目标掩膜处理模块依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横、纵坐标x、y以及高度和宽度h、w确定输入图像中每个重点目标的掩膜实施区域；
[0063]
步骤4.2：图像掩膜生成；将输入图像每一个掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；
[0064]
步骤4.3：图像处理；基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行；完成图像对抗样本扰动消除处理后，即可生成相应的输入图像副本；
[0065]
步骤4.4：重复步骤4.2和步骤4.3，生成两个不一样的图像掩膜，并最终生成两张
不一样的输入图像副本；原始输入图像与两张不一样的输入图像副本构成该输入图像的输入图像副本集。
[0066]
进一步地，所述步骤5包括：
[0067]
步骤5.1：确定图像掩膜实施区域；将步骤3截取生成的每一张重点目标图像的整个图像范围确定为输入图像掩膜实施区域；
[0068]
步骤5.2：图像掩膜生成；将重点目标图像的掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；
[0069]
步骤5.3：图像处理；基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行；完成图像对抗样本扰动消除处理后，即可生成相应的重点目标图像副本；
[0070]
步骤5.4：重复步骤5.2和步骤5.3，为每一张重点目标图像生成两个不一样的图像掩膜，并最终生成两张不一样的重点目标图像副本；原始重点目标图像与两张不一样的重点目标图像副本构成该重点目标的重点目标图像副本集。
[0071]
进一步地，所述步骤7包括：
[0072]
图像分类模块对输入重点目标图像的分类，推理出输入目标图像所含目标的类别；
[0073]
重点目标图像副本集中的重点目标图像可用张量表示，即目标图像其中h、w、c分别表示重点目标图像的高度、宽度、rgb通道数。
[0074]
进一步地，所述步骤8包括：
[0075]
步骤8.1：重点目标分类结果汇总；汇总步骤6针对输入图像副本集所产生的重点目标分类信息、以及步骤7针对重点目标图像副本集所产生的目标分类信息；
[0076]
步骤8.2：重点目标分类结果统计；设置目标检测与定位模块针对输入图像副本集(原始输入图像与两张不一样的输入图像副本)所产生的重点目标分类结果的权值分别为α1、α2、α3；设置图像分类模块针对重点目标图像副本集(原始重点目标图像和两张不一样的重点目标图像副本)所产生的重点目标分类信息结果的权值分别为β1、β2、β3；针对输入图像中每一个重点目标，将由目标检测与定位模块、图像分类模块所产生的分类结果信息进行加权统计和排序；
[0077]
步骤8.3：重点目标分类结果输出；针对输入图像中每一个重点目标，选择分类结果中权值最大的分类结果作为该重点目标最终的分类结果并输出；若输入图像中某一个重点目标，存在多个分类结果，则记录相关输入图像以及分类结果信息，并输出存在潜在对抗样本目标的告警信息。
[0078]
与现有技术相比，本发明具有的有益效果：
[0079]
基于深度学习的目标检测器在面对精心设计的包含细微扰动的输入时表现出了脆弱性，易被不可感知的细微扰动欺骗，造成模型推理错误。而现有的对抗样本防御方法往往需要与具体的目标检测器相结合，并对现有的目标检测器进行修改，不具有通用性。本发明无需对目标检测器进行修改，仅需要对输入图像进行处理，能够广泛兼容现有的目标检测器，具备良好的通用性，有效提升目标检测系统抵抗对抗样本攻击的能力。
附图说明
[0080]
图1为本发明实施例一种基于图像掩膜的对抗样本防御系统的架构示意图；
[0081]
图2为本发明实施例一种基于图像掩膜的对抗样本防御方法的图像示意图；
[0082]
图3为本发明实施例一种基于图像掩膜的对抗样本防御方法的基本流程图。
具体实施方式
[0083]
下面结合附图和具体的实施例对本发明做进一步的解释说明：
[0084]
如图1所示，一种基于图像掩膜的对抗样本防御系统，包括目标检测与定位模块、重点目标提取模块、重点目标图像截取模块、目标掩膜处理模块、图像掩膜处理模块、图像分类模块、加权表决模块；
[0085]
所述目标检测与定位模块主要由基于卷积神经网络的目标检测算法实现，能够实现对输入图像所包含目标信息的推理，实现对输入图像中多个目标的检测与定位；
[0086]
所述重点目标提取模块依据感兴趣的重点目标类别集合、以及设定的目标存在性概率阈值，实现对输入图像中重点目标信息的筛选；
[0087]
所述重点目标图像截取模块依据输入图像中的重点目标信息，实现重点目标图像的截取；
[0088]
所述目标掩膜处理模块依据输入图像的重点目标信息，生成包含图像处理区域的图像掩膜，并基于图像掩膜完成对输入图像的对抗样本扰动消除处理，并生成输入图像副本；
[0089]
所述图像掩膜处理模块依据重点目标图像，生成包含图像处理区域的图像掩膜，并基于图像掩膜完成对重点目标图像的对抗样本扰动消除处理，并生成重点目标图像副本；
[0090]
所述图像分类模块主要由基于卷积神经网络的图像分类算法实现，能够实现对输入重点目标图像的分类，推理出输入目标图像所含目标的类别；
[0091]
所述加权表决模块用于完成重点目标分类结果的汇总、分类结果的加权统计、分类结果的输出、以及存在潜在对抗样本目标时的告警。
[0092]
进一步地，所述目标检测与定位模块具体用于：
[0093]
实现对输入图像所包含目标信息的推理，预测关于输入图像所包含的目标，并生成目标信息张量o；其中h、w、c分别表示输入图像的高度、宽度、rgb通道数；
[0094]
目标信息张量o如式(1)所示，包含n个目标，张量的每一行表示1个目标的相关预测信息：
[0095][0096]
其中x、y分别表示在目标中心点位于输入图像上的横、纵坐标，h、w分别表示目标的高度和宽度，t∈t表示目标的类别，p∈(0,1)表示目标属于类别t的概率。
[0097]
进一步地，所述重点目标提取模块具体用于：
[0098]
依据输入图像的目标信息张量o，筛选出目标信息ti∈t
key
且pi》p
th
的目标，生成重点目标信息张量o
key
，共有m个重点目标，如式(2)所示：
[0099][0100]
其中t
key
表示所感兴趣的重点目标类别集合，p
th
表示采纳目标的概率阈值。
[0101]
进一步地，所述重点目标图像截取模块具体用于：
[0102]
依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横坐标x、纵坐标y以及高度h和宽度w将重点目标所在区域裁剪出来，生成重点目标图像。
[0103]
进一步地，所述目标掩膜处理模块具体用于：
[0104]
确定图像掩膜实施区域：依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横坐标x、纵坐标y以及高度h和宽度w确定输入图像中每个重点目标的掩膜实施区域；
[0105]
图像掩膜生成：将输入图像每一个掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；
[0106]
图像处理：基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行，生成相应的输入图像副本；
[0107]
重复上述过程，生成两个不一样的图像掩膜，并最终生成两张不一样的输入图像副本；原始输入图像与两张不一样的输入图像副本构成该输入图像的输入图像副本集。
[0108]
进一步地，所述图像掩膜处理模块具体用于：
[0109]
确定图像掩膜实施区域：将重点目标图像截取模块截取生成的每一张重点目标图像的整个图像范围确定为输入图像掩膜实施区域；
[0110]
图像掩膜生成：将重点目标图像的掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；
[0111]
图像处理：基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行，生成相应的重点目标图像副本；
[0112]
重复上述过程，为每一张重点目标图像生成两个不一样的图像掩膜，并最终生成两张不一样的重点目标图像副本；原始重点目标图像与两张不一样的重点目标图像副本构成该重点目标的重点目标图像副本集。
[0113]
进一步地，所述图像分类模块具体用于：
[0114]
实现对输入重点目标图像的分类，推理出输入目标图像所含目标的类别；其中h、w、c分别表示重点目标图像的高度、宽度、rgb通道数。
[0115]
进一步地，所述加权表决模块具体用于：
[0116]
重点目标分类结果汇总：汇总目标检测与定位模块针对输入图像副本集所产生的重点目标分类信息、以及图像分类模块针对重点目标图像副本集所产生的目标分类信息；
[0117]
重点目标分类结果统计：设置目标检测与定位模块针对输入图像副本集所产生的重点目标分类结果的权值分别为α1、α2、α3；设置图像分类模块针对重点目标图像副本集所产生的重点目标分类信息结果的权值分别为β1、β2、β3；针对输入图像中每一个重点目标，将由目标检测与定位模块、图像分类模块所产生的分类结果信息进行加权统计和排序；
[0118]
重点目标分类结果输出：针对输入图像中每一个重点目标，选择分类结果中权值最大的分类结果作为该重点目标最终的分类结果并输出；若输入图像中某一个重点目标，存在多个分类结果，则记录相关输入图像以及分类结果信息，并输出存在潜在对抗样本目标的告警信息。
[0119]
在上述实施例的基础上，本发明还提出一种基于图像掩膜的对抗样本防御方法，相关图像的示意图如图2所示，该方法的主要流程如图3所示，包括：
[0120]
步骤1：将包含潜在对抗样本目标的输入图像输入目标检测与定位模块，进行目标的检测与定位，并生成输入图像的目标信息张量；
[0121]
步骤2：重点目标提取模块依据输入图像的目标信息张量，提取出输入图像中的重点目标，并生成重点目标信息张量；
[0122]
步骤3：重点目标图像截取模块依据输入图像的重点目标信息张量，对输入图像进行截取，生成重点目标图像；
[0123]
步骤4：目标掩膜处理模块依据输入图像的重点目标信息张量，对输入图像重点目标所在区域应用图像掩膜，生成多个输入图像副本，形成输入图像副本集；
[0124]
步骤5：图像掩膜处理模块，对截取生成的重点目标图像应用图像掩膜，生成多个重点目标图像副本，形成重点目标图像副本集；
[0125]
步骤6：将生成的输入图像副本集输入目标检测与定位模块再次进行目标的检测，产生重点目标分类信息和定位信息；
[0126]
步骤7：将生成的重点目标图像副本集输入图像分类模块进行目标的分类，产生重点目标分类信息；
[0127]
步骤8：加权表决模块依据步骤6和步骤7所产生的重点目标分类信息，加权表决产生重点目标分类结果，并对潜在的对抗样本目标进行告警。
[0128]
进一步地，所述步骤1包括：
[0129]
输入图像可用张量表示，即输入图像其中h、w、c分别表示输入图像的高度、宽度、rgb通道数；
[0130]
目标信息张量o如式(1)所示，包含n个目标，张量的每一行表示1个目标的相关预测信息：
[0131][0132]
其中x、y分别表示在目标中心点位于输入图像上的横、纵坐标，h、w分别表示目标的高度和宽度，t∈t表示目标的类别，p∈(0,1)表示目标属于类别t的概率。
[0133]
目标检测与定位模块主要由基于卷积神经网络的目标检测算法实现，能够实现对输入图像所包含目标信息的推理，预测关于输入图像所包含的目标，并生成目标信息张量o。
[0134]
进一步地，所述步骤2包括：
[0135]
将所感兴趣的重点目标类别集合用t
key
表示；采纳目标的概率阈值用p
th
表示，仅当pi》p
th
认定该目标在图像中存在；
[0136]
重点目标提取模块依据输入图像的目标信息张量o，筛选出目标信息ti∈t
key
且pi》p
th
的目标，生成重点目标信息张量o
key
，共有m个重点目标，如式(2)所示：
[0137][0138]
进一步地，所述步骤3包括：
[0139]
重点目标图像截取模块依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横、纵坐标x、y以及高度和宽度h、w将重点目标所在区域裁剪出来，生成重点目标图像。
[0140]
进一步地，所述步骤4包括：
[0141]
步骤4.1：确定图像掩膜实施区域。目标掩膜处理模块依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横、纵坐标x、y以及高度和宽度h、w确定输入图像中每个重点目标的掩膜实施区域。
[0142]
步骤4.2：图像掩膜生成。将输入图像每一个掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜。
[0143]
步骤4.3：图像处理。基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行；完成图像对抗样本扰动消除处理后，即可生成相应的输入图像副本。
[0144]
步骤4.4：重复步骤4.2和步骤4.3，生成两个不一样的图像掩膜，并最终生成两张不一样的输入图像副本；原始输入图像与两张不一样的输入图像副本构成该输入图像的输入图像副本集。
[0145]
进一步地，所述步骤5包括：
[0146]
步骤5.1：确定图像掩膜实施区域。将步骤3截取生成的每一张重点目标图像的整个图像范围确定为输入图像掩膜实施区域。
[0147]
步骤5.2：图像掩膜生成。将重点目标图像的掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜。
[0148]
步骤5.3：图像处理。基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，扰动的消除处理可采用处理区域内像素值置0、取均值、或置为设定值的方式进行；完成图像对抗样本扰动消除处理后，即可生成相应的重点目标图像副本。
[0149]
步骤5.4：重复步骤5.2和步骤5.3，为每一张重点目标图像生成两个不一样的图像掩膜，并最终生成两张不一样的重点目标图像副本；原始重点目标图像与两张不一样的重点目标图像副本构成该重点目标的重点目标图像副本集。
[0150]
进一步地，所述步骤7包括：
[0151]
重点目标图像副本集中的重点目标图像可用张量表示，即目标图像其中h、w、c分别表示重点目标图像的高度、宽度、rgb通道数；
[0152]
图像分类模块主要由基于卷积神经网络的图像分类算法实现，能够实现对输入重点目标图像的分类，推理出输入目标图像所含目标的类别。
[0153]
进一步地，所述步骤8包括：
[0154]
步骤8.1：重点目标分类结果汇总。汇总步骤6针对输入图像副本集所产生的重点目标分类信息、以及步骤7针对重点目标图像副本集所产生的目标分类信息。
[0155]
步骤8.2：重点目标分类结果统计。设置目标检测与定位模块针对输入图像副本集(原始输入图像与两张不一样的输入图像副本)所产生的重点目标分类结果的权值分别为α1、α2、α3；设置图像分类模块针对重点目标图像副本集(原始重点目标图像和两张不一样的重点目标图像副本)所产生的重点目标分类信息结果的权值分别为β1、β2、β3；针对输入图像中每一个重点目标，将由目标检测与定位模块、图像分类模块所产生的分类结果信息进行加权统计和排序。
[0156]
步骤8.3：重点目标分类结果输出。针对输入图像中每一个重点目标，选择分类结果中权值最大的分类结果作为该重点目标最终的分类结果并输出；若输入图像中某一个重点目标，存在多个分类结果，则记录相关输入图像以及分类结果信息，并输出存在潜在对抗样本目标的告警信息。
[0157]
综上，本发明针对现有基于深度学习的目标检测器在面对精心设计的对抗样本时表现出的脆弱性问题，提出了一种基于图像掩膜的对抗样本防御系统及方法，该方法无需对目标检测器进行修改，仅需要对输入图像进行处理，能够广泛兼容现有的目标检测器，具备良好的通用性，有效提升目标检测系统抵抗对抗样本攻击的能力，全面提高系统的鲁棒性和安全性。
[0158]
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于图像掩膜的对抗样本防御系统，其特征在于，包括目标检测与定位模块、重点目标提取模块、重点目标图像截取模块、目标掩膜处理模块、图像掩膜处理模块、图像分类模块、加权表决模块；所述目标检测与定位模块由基于卷积神经网络的目标检测算法实现，用于实现对输入图像所包含目标信息的推理，实现对输入图像中多个目标的检测与定位；所述重点目标提取模块依据感兴趣的重点目标类别集合、以及设定的目标存在性概率阈值，实现对输入图像中重点目标信息的筛选；所述重点目标图像截取模块依据输入图像中的重点目标信息，实现重点目标图像的截取；所述目标掩膜处理模块依据输入图像的重点目标信息，生成包含图像处理区域的图像掩膜，基于图像掩膜完成对输入图像的对抗样本扰动消除处理，并生成输入图像副本；所述图像掩膜处理模块依据重点目标图像，生成包含图像处理区域的图像掩膜，并基于图像掩膜完成对重点目标图像的对抗样本扰动消除处理，并生成重点目标图像副本；所述图像分类模块由基于卷积神经网络的图像分类算法实现，用于实现对输入重点目标图像的分类，推理出输入目标图像所含目标的类别；所述加权表决模块用于完成重点目标分类结果的汇总、分类结果的加权统计、分类结果的输出以及存在潜在对抗样本目标时的告警。2.根据权利要求1所述的一种基于图像掩膜的对抗样本防御系统，其特征在于，所述目标检测与定位模块具体用于：实现对输入图像所包含目标信息的推理，预测关于输入图像所包含的目标，并生成目标信息张量o；其中h、w、c分别表示输入图像的高度、宽度、rgb通道数；目标信息张量o如式(1)所示，包含n个目标，张量的每一行表示1个目标的相关预测信息：其中x、y分别表示在目标中心点位于输入图像上的横、纵坐标，h、w分别表示目标的高度和宽度，t∈t表示目标的类别，p∈(0,1)表示目标属于类别t的概率。3.根据权利要求2所述的一种基于图像掩膜的对抗样本防御系统，其特征在于，所述重点目标提取模块具体用于：依据输入图像的目标信息张量o，筛选出目标信息t
i
∈t
key
且p
i
>p
th
的目标，生成重点目标信息张量o
key
，共有m个重点目标，如式(2)所示：其中t
key
表示所感兴趣的重点目标类别集合，p
th
表示采纳目标的概率阈值。4.根据权利要求3所述的一种基于图像掩膜的对抗样本防御系统，其特征在于，所述重点目标图像截取模块具体用于：依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标
中心点横坐标x、纵坐标y以及高度h和宽度w将重点目标所在区域裁剪出来，生成重点目标图像。5.根据权利要求1所述的一种基于图像掩膜的对抗样本防御系统，其特征在于，所述目标掩膜处理模块具体用于：确定图像掩膜实施区域：依据输入图像的重点目标信息张量o
key
，遍历张量o
key
中每一行目标信息，并依据目标中心点横坐标x、纵坐标y以及高度h和宽度w确定输入图像中每个重点目标的掩膜实施区域；图像掩膜生成：将输入图像每一个掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；图像处理：基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，生成相应的输入图像副本；重复上述过程，生成两个不一样的图像掩膜，并最终生成两张不一样的输入图像副本；原始输入图像与两张不一样的输入图像副本构成该输入图像的输入图像副本集。6.根据权利要求1所述的一种基于图像掩膜的对抗样本防御系统，其特征在于，所述图像掩膜处理模块具体用于：确定图像掩膜实施区域：将重点目标图像截取模块截取生成的每一张重点目标图像的整个图像范围确定为输入图像掩膜实施区域；图像掩膜生成：将重点目标图像的掩膜实施区域分割为k
×
s的网格，每个方格的高度和宽度分别为从k
×
s个方格中随机选出z个方格作为最终图像处理实施区域，生成包含图像处理区域的图像掩膜；图像处理：基于图像掩膜，对图像处理实施区域的图像方格进行对抗样本扰动消除处理，生成相应的重点目标图像副本；重复上述过程，为每一张重点目标图像生成两个不一样的图像掩膜，并最终生成两张不一样的重点目标图像副本；原始重点目标图像与两张不一样的重点目标图像副本构成该重点目标的重点目标图像副本集。7.根据权利要求1所述的一种基于图像掩膜的对抗样本防御系统，其特征在于，所述图像分类模块具体用于：实现对输入重点目标图像的分类，推理出输入目标图像所含目标的类别；其中h、w、c分别表示重点目标图像的高度、宽度、rgb通道数。8.根据权利要求1所述的一种基于图像掩膜的对抗样本防御系统，其特征在于，所述加权表决模块具体用于：重点目标分类结果汇总：汇总目标检测与定位模块针对输入图像副本集所产生的重点目标分类信息、以及图像分类模块针对重点目标图像副本集所产生的目标分类信息；重点目标分类结果统计：设置目标检测与定位模块针对输入图像副本集所产生的重点目标分类结果的权值分别为α1、α2、α3；设置图像分类模块针对重点目标图像副本集所产生的重点目标分类信息结果的权值分别为β1、β2、β3；针对输入图像中每一个重点目标，将由目
标检测与定位模块、图像分类模块所产生的分类结果信息进行加权统计和排序；重点目标分类结果输出：针对输入图像中每一个重点目标，选择分类结果中权值最大的分类结果作为该重点目标最终的分类结果并输出；若输入图像中某一个重点目标，存在多个分类结果，则记录相关输入图像以及分类结果信息，并输出存在潜在对抗样本目标的告警信息。9.基于权利要求1-8任一所述的一种基于图像掩膜的对抗样本防御系统的一种基于图像掩膜的对抗样本防御方法，其特征在于，包括：步骤1：将包含潜在对抗样本目标的输入图像输入目标检测与定位模块，进行目标的检测与定位，并生成输入图像的目标信息张量；步骤2：重点目标提取模块依据输入图像的目标信息张量，提取出输入图像中的重点目标，并生成重点目标信息张量；步骤3：重点目标图像截取模块依据输入图像的重点目标信息张量，对输入图像进行截取，生成重点目标图像；步骤4：目标掩膜处理模块依据输入图像的重点目标信息张量，对输入图像重点目标所在区域应用图像掩膜，生成多个输入图像副本，形成输入图像副本集；步骤5：图像掩膜处理模块，对截取生成的重点目标图像应用图像掩膜，生成多个重点目标图像副本，形成重点目标图像副本集；步骤6：将生成的输入图像副本集输入目标检测与定位模块再次进行目标的检测，产生重点目标分类信息和定位信息；步骤7：将生成的重点目标图像副本集输入图像分类模块进行目标的分类，产生重点目标分类信息；步骤8：加权表决模块依据步骤6和步骤7所产生的重点目标分类信息，加权表决产生重点目标分类结果，并对潜在的对抗样本目标进行告警。

技术总结
本发明涉及目标检测对抗样本防御领域，公开一种基于图像掩膜的对抗样本防御系统及方法，该系统包括目标检测与定位模块、重点目标提取模块、重点目标图像截取模块、目标掩膜处理模块、图像掩膜处理模块、图像分类模块、加权表决模块；该方法无需对目标检测器进行修改，仅需要对输入图像进行处理。本发明能够广泛兼容现有的目标检测器，具备良好的通用性，有效提升目标检测系统抵抗对抗样本攻击的能力，全面提高系统的鲁棒性和安全性。面提高系统的鲁棒性和安全性。面提高系统的鲁棒性和安全性。


技术研发人员：谢记超 段通 张震 陆杰 伊鹏 马海龙 于婧 张鹏 周锟 李鹏坤
受保护的技术使用者：中国人民解放军战略支援部队信息工程大学
技术研发日：2022.12.08
技术公布日：2023/7/13