一种针对车辆识别系统中边界框尺寸的对抗补丁生成方法

1.本发明属于车联网安全领域，具体涉及一种针对车辆识别系统中边界框尺寸的对抗补丁生成方法。


背景技术：

2.目前，随着深度神经网络(dnn)在车联网领域的应用越来越广泛，然而由于dnn本身的不可解释性和脆弱性，这对于模型的应用会带来巨大的安全隐患。对抗补丁攻击(adversarial patch attack)是指一种针对深度学习模型的攻击方式。攻击者可以通过在输入数据中嵌入一种被称为“对抗补丁”的小型图片，以此来干扰模型判断结果。
3.这种攻击方式有很多实际应用，例如，对抗补丁攻击已经被用于欺骗安全监控系统或人脸识别系统等关键应用；对抗补丁攻击也可以欺骗自动驾驶汽车的感应系统，使其无法正常识别道路标志或其他交通信号。
4.然而，在车联网中，针对智能车识别系统的边界框尺寸的攻击还没有被认真研究过。如果边界框尺寸不能被准确识别，会使得车辆无法正确判断与其他车辆之间的距离，从而导致交通事故。


技术实现要素：

5.为了解决上述技术存在的空缺，本发明提出一种针对车辆识别系统中边界框尺寸的对抗补丁生成方法，以期能根据车辆在图像中的位置生成对抗补丁，从而能有效实现在真实世界中对车辆识别系统的鲁棒攻击，为车联网安全的研究提供了新的思路。
6.本发明采用以下技术方案实现：
7.本发明一种针对车辆识别系统中边界框尺寸的对抗补丁生成方法的特点在于，所述车辆识别系统是由图像分类模型f训练后得到；所述车辆识别系统用于对图像进行目标识别，并输出分类结果和边界框，将所述边界框的尺寸记为s＝w*h，其中，w和h分别代表边界框的宽度和高度，所述对抗补丁生成方法是按如下步骤进行：
8.步骤一：初始化补丁；
9.定义当前更新次数为t，并初始化t＝1；
10.给定补丁的初始尺寸为s
p
，并依据s
p
随机生成第t-1次更新的补丁o
t-1
；
11.从车辆数据集d中选取任意一张图像x并作为第t-1次补丁的图像x
t-1
；
12.步骤二：补丁变换；
13.步骤2.1：利用式(1)将第t-1次更新的补丁p
t-1
在预设范围内进行旋转、放缩和调整亮度的操作，从而得到第t次更新的补丁p
t
：
[0014][0015]
式(1)中，pt(
·
)表示patchtransformation算法；
[0016]
步骤2.2：利用式(2)将p
t
添加到图像x
t-1
上待识别的目标车辆v所在的真实的边界框内，从而得到第t次补丁后的图像x
t
：
[0017]
x
t
＝pa(p
t
,l
p
,s'
p
)
⊙
pt(p
t
)+(1-pa(p
t
,l
p
,s'
p
))
⊙
x
t-1
ꢀꢀꢀ
(2)
[0018]
式(2)中，pa(
·
)表示patchapplier算法；l
p
表示补丁p
t
在图像x
t-1
中的位置，且中的位置，且(x0,x1)和(y0,y1)分别表示图像x
t-1
上目标车辆v所在的真实的边界框的左上角和右下角的坐标；s'
p
表示初始尺寸s
p
经过放缩后的尺寸，且λ表示放缩比例，(w0,h0)分别表示图像x
t-1
上目标车辆v的真实的边界框的宽度和高度；
⊙
表示像素化的哈达玛德乘积；
[0019]
步骤三：训练补丁；
[0020]
步骤3.1：将图像x
t
输入所述图像分类模型f中进行识别，输出图像x
t
上目标车辆v所在的预测的边界框；
[0021]
步骤3.2：构建损失函数：
[0022]
步骤3.2.1：基于真实的边界框和预测的边界框，利用式(3)构建第t次更新的目标损失函数
[0023][0024]
式(3)中，(wd,hd)表示数据集d中图像x上目标车辆v所在的真实的边界框的宽度和高度；w
t
,h
t
)表示数据集d中图像x
t
上目标车辆v在所述图像分类模型f中输出的预测边界框的宽度和高度，n表示所识别的目标种类的数量；
[0025]
步骤3.2.2：利用式(4)构建第t次更新的补丁能打印损失函数
[0026][0027]
式(4)中，表示hd补丁p
t
中坐标为(i,j)的像素值，c表示实际能打印的像素集，c表示实际能打印的像素集c中任一像素值；
[0028]
步骤3.2.3：利用式(5)构建第t次更新的补丁平滑度损失函数
[0029][0030]
式(5)中，表示第t次更新的补丁p
t
中坐标为(i+1,j)的像素值，表示第t次更新的补丁p
t
中坐标为(i,j+1)的像素值；
[0031]
步骤3.2.4：利用式(5)构建第t次更新的总损失函数l
t
：
[0032][0033]
式(6)中，α,β,γ表示三种损失函数所对应的权重；
[0034]
步骤3.3：根据总损失函数l
t
，对图像分类模型f中进行反向传播，通过优化器adam最小化总的损失函数并更新第t次更新的补丁p
t
的像素值；
[0035]
步骤3.4：将t+1赋值给t后，判断t是否达到预先设定的迭代次数epoch，若达到，则输出第epoch次更新的补丁p
epoch
并作为最优对抗补丁p
*
，否则，步骤2.1顺序执行；
[0036]
步骤3.5：将最优对抗补丁p
*
设置在目标车辆v上，并将带有最优对抗补丁p
*
的目标车辆v的图像输入所述图像分类模型f中，以攻击图像分类模型f对图像的目标识别结果。
[0037]
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述对抗补丁生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0038]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述对抗补丁生成方法的步骤。
[0039]
与已有技术相比，本发明有益效果体现在：
[0040]
1、本发明提出了一种新的针对车辆识别系统的边界框尺寸的对抗补丁攻击，基于深度神经网络训练对抗补丁，并将补丁放置在车辆上对应的位置，已到达误导车辆识别系统的目的，为车联网安全的研究提供了一种新的思路。
[0041]
2、本发明设计了一个新的损失函数用于优化对抗补丁的生成过程，通过最大化预测的边界框的宽度和高度与数据集中真实的边界框的宽度和高度之间的差值的绝对值，以达到攻击目的和提升攻击的效果。
[0042]
3、本发明中使用的补丁可打印损失函数是为了保证训练的补丁可以被实际打印出来；而补丁平滑度损失函数是为了增强补丁在真实世界的鲁棒性，两种损失函数确保了补丁在真实世界的有效性。
附图说明
[0043]
图1为本发明方法的流程图。
具体实施方式
[0044]
本实施例中，一种针对车辆识别系统中边界框尺寸的对抗补丁生成方法是聚焦于依靠摄像机感知周围环境的智能车上，使用基于dnn的方法来训练对抗性补丁，目的是扰乱车辆识别系统中边界框的尺寸。如果边界框的尺寸不能被准确识别，会使得车辆无法正确判断与其他车辆之间的距离，从而造成交通安全问题。因此，本实施例中利用dnn训练了一种对抗性补丁，该补丁可以在真实场景中对车辆识别系统中边界框的尺寸产生干扰。如图1所示，具体的说，该方法具体步骤如下：
[0045]
步骤一：初始化补丁；
[0046]
定义当前更新次数为t，并初始化t＝1；
[0047]
给定补丁的初始尺寸为s
p
，并依据s
p
随机生成第t-1次更新的补丁p
t-1
；
[0048]
从数据集d中选取任意一张图像x并作为第t-1次补丁的图像x
t-1
；
[0049]
步骤二：补丁变换；
[0050]
步骤2.1：为了增强补丁在真实世界中的有效性，本实施例中通过patchtransformation算法使得补丁在预设范围内进行物理自适应变换，以消除真实世界中光照等因素对补丁的影响。
[0051]
利用式(1)将第t-1次更新的补丁p
t-1
在预设范围内进行旋转、放缩和调整亮度的操作，从而得到第t次更新的补丁p
t
：
[0052]
p
t
＝pt(p
t-1
)
ꢀꢀꢀꢀꢀ
(1)
[0053]
式(1)中，pt(
·
)表示patchtransformation算法；
[0054]
步骤2.2：本实施例中，通过patchapplier算法将自适应尺寸的补丁放置到相应位
置上。利用式(2)将p
t
添加到图像x
t-1
上待识别的目标车辆v所在的真实的边界框内，从而得到第t次补丁后的图像x
t
：
[0055]
x
t
＝pa(p
t
,l
p
,s'
p
)
⊙
pt(p
t
)+(1-pa(p
t
,l
p
,s'
p
))
⊙
x
t-1
ꢀꢀꢀꢀ
(2)式(2)中，pa(
·
)表示patchapplier算法；l
p
表示补丁p
t
在图像x
t-1
中的位置，且中的位置，且(x0,x1)和(y0,y1)分别表示图像x
t-1
上目标车辆v所在的真实的边界框的左上角和右下角的坐标；s'
p
表示初始尺寸s
p
经过放缩后的尺寸，且λ表示放缩比例，(w0,h0)分别表示图像x
t-1
上目标车辆v的真实的边界框的宽度和高度；
⊙
表示像素化的哈达玛德乘积；
[0056]
步骤三：训练补丁；
[0057]
步骤3.1：将图像x
t
输入所述图像分类模型f中进行识别，输出图像x
t
上目标车辆v所在的预测的边界框；
[0058]
步骤3.2：构建损失函数：
[0059]
通过构建目标损失函数、补丁可打印损失函数和补丁平滑度损失函数，加权求得总的损失函数。目标损失函数用于扰动预测的边界框的宽度和高度；补丁可打印损失函数用于使补丁可以在真实世界中被打印；补丁平滑度损失函数用于提高对抗补丁在真实世界中的鲁棒性；
[0060]
步骤3.2.1：基于真实的边界框和预测的边界框，利用式(3)构建第t次更新的目标损失函数
[0061][0062]
式(3)中，(wd,hd)表示数据集d中图像x上目标车辆v所在的真实的边界框的宽度和高度；(w
t
,h
t
)表示数据集d中图像x
t
上目标车辆v在所述图像分类模型f中输出的预测边界框的宽度和高度，n表示所识别的目标种类的数量；
[0063]
步骤3.2.2：利用式(4)构建第t次更新的补丁能打印损失函数
[0064][0065]
式(4)中，表示hd补丁p
t
中坐标为(i,j)的像素值，c表示实际能打印的像素集，c表示实际能打印的像素集c中任一像素值；
[0066]
步骤3.2.3：利用式(5)构建第t次更新的补丁平滑度损失函数
[0067][0068]
式(5)中，表示第t次更新的补丁p
t
中坐标为(i+1,j)的像素值，表示第t次更新的补丁p
t
中坐标为(i,j+1)的像素值；
[0069]
步骤3.2.4：利用式(5)构建第t次更新的总损失函数l
t
：
[0070][0071]
式(6)中，α,β,γ表示三种损失函数所对应的权重；
[0072]
步骤3.3：根据总损失函数l
t
，对图像分类模型f中进行反向传播，通过优化器adam
最小化总的损失函数并更新第t次更新的补丁p
t
的像素值；
[0073]
步骤3.4：将t+1赋值给t后，判断t是否达到预先设定的迭代次数epoch，若达到，则输出第epoch次更新的补丁p
epoch
并作为最优对抗补丁p
*
，否则，步骤2.1顺序执行；
[0074]
步骤3.5：通过打印出真实的最优对抗补丁p
*
并贴到对应真实车辆v上，使得图像分类模型f对带有最优对抗补丁p
*
的目标车辆v的图像进行识别的过程中，产生错误尺寸的边界框，从而达到攻击车辆识别系统的目的。
[0075]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0076]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

技术特征：
1.一种针对车辆识别系统中边界框尺寸的对抗补丁生成方法，其特征在于，所述车辆识别系统是由图像分类模型f训练后得到；所述车辆识别系统用于对图像进行目标识别，并输出分类结果和边界框，将所述边界框的尺寸记为s＝w*h，其中，w和h分别代表边界框的宽度和高度，所述对抗补丁生成方法是按如下步骤进行：步骤一：初始化补丁；定义当前更新次数为t，并初始化t＝1；给定补丁的初始尺寸为s
p
，并依据s
p
随机生成第t-1次更新的补丁p
t-1
；从车辆数据集d中选取任意一张图像x并作为第t-1次补丁的图像x
t-1
；步骤二：补丁变换；步骤2.1：利用式(1)将第t-1次更新的补丁p
t-1
在预设范围内进行旋转、放缩和调整亮度的操作，从而得到第t次更新的补丁p
t
：p
t
＝pt(p
t-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式(1)中，pt(
·
)表示patchtransformation算法；步骤2.2：利用式(2)将p
t
添加到图像x
t-1
上待识别的目标车辆v所在的真实的边界框内，从而得到第t次补丁后的图像x
t
：x
t
＝pa(p
t
,l
p
,s'
p
)
⊙
pt(p
t
)+(1-pa(p
t
,l
p
,s'
p
))
⊙
x
t-1
ꢀꢀꢀꢀꢀ
(2)式(2)中，pa(
·
)表示patchapplier算法；l
p
表示补丁p
t
在图像x
t-1
中的位置，且中的位置，且(x0,x1)和(y0,y1)分别表示图像x
t-1
上目标车辆v所在的真实的边界框的左上角和右下角的坐标；s'
p
表示初始尺寸s
p
经过放缩后的尺寸，且λ表示放缩比例，(w0,h0)分别表示图像x
t-1
上目标车辆v的真实的边界框的宽度和高度；
⊙
表示像素化的哈达玛德乘积；步骤三：训练补丁；步骤3.1：将图像x
t
输入所述图像分类模型f中进行识别，输出图像x
t
上目标车辆v所在的预测的边界框；步骤3.2：构建损失函数：步骤3.2.1：基于真实的边界框和预测的边界框，利用式(3)构建第t次更新的目标损失函数函数式(3)中，(w
d
,h
d
)表示数据集d中图像x上目标车辆v所在的真实的边界框的宽度和高度；(w
t
,h
t
)表示数据集d中图像x
t
上目标车辆v在所述图像分类模型f中输出的预测边界框的宽度和高度，n表示所识别的目标种类的数量；步骤3.2.2：利用式(4)构建第t次更新的补丁能打印损失函数步骤3.2.2：利用式(4)构建第t次更新的补丁能打印损失函数式(4)中，表示h
d
补丁p
t
中坐标为(i,j)的像素值，c表示实际能打印的像素集，c表示实际能打印的像素集c中任一像素值；
步骤3.2.3：利用式(5)构建第t次更新的补丁平滑度损失函数步骤3.2.3：利用式(5)构建第t次更新的补丁平滑度损失函数式(5)中，表示第t次更新的补丁p
t
中坐标为(i+1,j)的像素值，表示第t次更新的补丁p
t
中坐标为(i,j+1)的像素值；步骤3.2.4：利用式(5)构建第t次更新的总损失函数l
t
：式(6)中，α,β,γ表示三种损失函数所对应的权重；步骤3.3：根据总损失函数l
t
，对图像分类模型f中进行反向传播，通过优化器adam最小化总的损失函数并更新第t次更新的补丁p
t
的像素值；步骤3.4：将t+1赋值给t后，判断t是否达到预先设定的迭代次数epoch，若达到，则输出第epoch次更新的补丁p
epoch
并作为最优对抗补丁p
*
，否则，步骤2.1顺序执行；步骤3.5：将最优对抗补丁p
*
设置在目标车辆v上，并将带有最优对抗补丁p
*
的目标车辆v的图像输入所述图像分类模型f中，以攻击图像分类模型f对图像的目标识别结果。2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述对抗补丁生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述对抗补丁生成方法的步骤。

技术总结
本发明公开了一种针对车辆识别系统中边界框尺寸的对抗补丁生成方法，其中，车辆识别系统是由图像分类模型f训练后得到；该车辆识别系统用于对图像进行目标识别，并输出分类结果和边界框，该对抗补丁生成方法包括：1初始化补丁；2补丁变换；3训练补丁。本发明通过深度神经网络训练一种对抗补丁来扰乱车辆识别系统中边界框的尺寸，从而达到车辆识别系统产生错误尺寸的边界框的攻击目的。误尺寸的边界框的攻击目的。误尺寸的边界框的攻击目的。


技术研发人员：胡东辉 马宝山 顾辰 黄秋生
受保护的技术使用者：合肥工业大学
技术研发日：2023.06.01
技术公布日：2023/8/6